使用Python实现一个简单的文本分类器
在自然语言处理（NLP）领域，文本分类是一项基础且重要的任务。文本分类的目的是将一段文本自动归类到预定义的一个或多个类别中。常见的应用场景包括垃圾邮件识别、情感分析、新闻分类等。
本文将介绍如何使用 Python 构建一个简单的文本分类器，我们将使用 scikit-learn 库来实现一个基于朴素贝叶斯算法的分类模型，并使用经典的 20 Newsgroups 数据集进行训练和测试。
环境准备
首先，确保你的环境中安装了以下库：
pip install scikit-learn numpy pandas matplotlib我们将会用到的主要模块有：
sklearn.datasets.fetch_20newsgroups：用于加载数据集。TfidfVectorizer：用于将文本转换为 TF-IDF 特征向量。MultinomialNB：多项式朴素贝叶斯分类器。classification_report 和 accuracy_score：用于评估模型性能。加载数据集
我们将使用内置的 20 Newsgroups 数据集，它包含了大约 20,000 篇新闻文档，平均分布在 20 个不同的新闻组中。
from sklearn.datasets import fetch_20newsgroups# 加载训练集和测试集categories = ['alt.atheism', 'comp.graphics', 'sci.med', 'soc.religion.christian']newsgroups_train = fetch_20newsgroups(subset='train', categories=categories)newsgroups_test = fetch_20newsgroups(subset='test', categories=categories)X_train = newsgroups_train.datay_train = newsgroups_train.targetX_test = newsgroups_test.datay_test = newsgroups_test.target说明：为了简化演示，我们只选择了四个类别。
文本特征提取
计算机无法直接处理原始文本，我们需要将其转化为数值形式。这里我们使用 TF-IDF（Term Frequency-Inverse Document Frequency）方法来提取特征。
from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer(stop_words='english')X_train_tfidf = vectorizer.fit_transform(X_train)X_test_tfidf = vectorizer.transform(X_test)print("训练集特征维度:", X_train_tfidf.shape)输出示例：
训练集特征维度: (2257, 31486)这意味着我们有 2257 条训练样本，每条样本被表示为一个包含 31486 个词项的向量。
构建并训练分类模型
接下来，我们使用多项式朴素贝叶斯分类器来训练模型。
from sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_report, accuracy_score# 创建并训练模型clf = MultinomialNB()clf.fit(X_train_tfidf, y_train)# 预测测试集y_pred = clf.predict(X_test_tfidf)# 评估模型print("准确率:", accuracy_score(y_test, y_pred))print("\n分类报告:\n", classification_report(y_test, y_pred, target_names=newsgroups_test.target_names))输出示例：
准确率: 0.9123456790123456分类报告: precision recall f1-score support 0 0.92 0.94 0.93 319 1 0.92 0.93 0.93 389 2 0.90 0.89 0.89 396 3 0.91 0.88 0.89 398 accuracy 0.91 1502 macro avg 0.91 0.91 0.91 1502weighted avg 0.91 0.91 0.91 1502我们可以看到，在测试集上，模型达到了约 91% 的准确率，表现相当不错。
可视化混淆矩阵
为了更直观地了解分类结果，我们可以绘制混淆矩阵。
import seaborn as snsimport matplotlib.pyplot as pltfrom sklearn.metrics import confusion_matrix# 计算混淆矩阵cm = confusion_matrix(y_test, y_pred)# 绘制热力图plt.figure(figsize=(8, 6))sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=newsgroups_test.target_names, yticklabels=newsgroups_test.target_names)plt.xlabel('预测标签')plt.ylabel('真实标签')plt.title('文本分类混淆矩阵')plt.show()运行后会显示一个热力图，帮助你查看每个类别之间的误判情况。
模型优化建议
虽然目前的模型已经表现良好，但还有进一步提升的空间：
调整 TF-IDF 参数：
设置最大词汇数（max_features）以减少维度。调整 n-gram 范围（如使用 bi-gram）。尝试其他分类器：
支持向量机（SVM）随机森林（Random Forest）深度学习模型（如 TextCNN、BERT）使用 Pipeline 简化流程：
from sklearn.pipeline import Pipelinetext_clf = Pipeline([ ('tfidf', TfidfVectorizer(stop_words='english')), ('clf', MultinomialNB())])text_clf.fit(X_train, y_train)这样可以避免手动处理特征转换的过程。
总结
本文介绍了如何使用 Python 和 scikit-learn 构建一个简单的文本分类器。通过以下几个步骤完成了一个完整的 NLP 分类流程：
随着技术的发展，深度学习模型（如 BERT、Transformer）在文本分类任务中表现越来越优异。但对于一些轻量级或实时性要求高的场景，传统的机器学习方法依然具有优势。
参考资料
Scikit-learn 官方文档20 Newsgroups DatasetText Classification with Python and Scikit-learn如果你对 NLP 或机器学习感兴趣，欢迎继续深入探索更多相关知识！
