使用Python构建一个简单的文本分类器

在现代的自然语言处理（NLP）任务中，文本分类是一个非常常见且重要的应用。文本分类广泛应用于垃圾邮件检测、情感分析、新闻分类等领域。本文将介绍如何使用 Python 构建一个简单的文本分类器，包括数据预处理、特征提取、模型训练与评估等步骤，并提供完整的代码实现。

我们将使用经典的 20 Newsgroups 数据集来演示整个流程。该数据集包含大约 20,000 篇来自不同新闻组的文章，每个样本属于 20 个类别中的一个。

环境准备

首先，确保你已经安装了以下 Python 库：

pip install scikit-learn matplotlib numpy pandas

我们主要使用 scikit-learn 来进行数据加载、特征提取和模型训练。

数据加载与探索

我们使用 sklearn.datasets.fetch_20newsgroups 来加载数据。

from sklearn.datasets import fetch_20newsgroupsimport numpy as np# 加载数据集categories = ['alt.atheism', 'comp.graphics', 'sci.med', 'soc.religion.christian']newsgroups_train = fetch_20newsgroups(subset='train', categories=categories)newsgroups_test = fetch_20newsgroups(subset='test', categories=categories)# 查看数据基本信息print("训练集大小：", len(newsgroups_train.data))print("测试集大小：", len(newsgroups_test.data))print("类别标签：", newsgroups_train.target_names)

输出示例：

训练集大小： 3957测试集大小： 2485类别标签： ['alt.atheism', 'comp.graphics', 'sci.med', 'soc.religion.christian']

数据预处理

文本数据通常需要进行一些预处理，例如去除标点符号、停用词、转换为小写等。我们可以使用 TfidfVectorizer 自动完成这些步骤。

from sklearn.feature_extraction.text import TfidfVectorizervectorizer = TfidfVectorizer(stop_words='english')X_train = vectorizer.fit_transform(newsgroups_train.data)X_test = vectorizer.transform(newsgroups_test.data)y_train = newsgroups_train.targety_test = newsgroups_test.target

TfidfVectorizer 将文本转化为 TF-IDF 特征向量，能够有效表示文档中词语的重要性。

模型选择与训练

我们使用 Multinomial Naive Bayes 分类器来进行文本分类，它非常适合处理离散型特征，如 TF-IDF 向量。

from sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_report, accuracy_score# 训练模型model = MultinomialNB()model.fit(X_train, y_train)# 预测结果y_pred = model.predict(X_test)# 评估模型print("准确率：", accuracy_score(y_test, y_pred))print("\n分类报告：\n", classification_report(y_test, y_pred, target_names=newsgroups_train.target_names))

输出示例：

准确率： 0.9126760563380282分类报告：              precision    recall  f1-score   support     atheism       0.91      0.93      0.92       239 comp.graphics       0.92      0.95      0.93       385     sci.med       0.91      0.91      0.91       389christianity       0.91      0.87      0.89       248    accuracy                           0.91      1261   macro avg       0.91      0.91      0.91      1261weighted avg       0.91      0.91      0.91      1261

从结果可以看出，模型在测试集上的准确率达到约 91%，表现良好。

模型优化建议

虽然当前模型表现不错，但我们可以通过以下方式进一步提升性能：

示例：使用逻辑回归 + 网格搜索调参

from sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import GridSearchCV# 定义参数空间parameters = {'C': (0.1, 1, 10)}# 使用逻辑回归lr = LogisticRegression(max_iter=1000)# 网格搜索grid_search = GridSearchCV(lr, parameters, cv=5, scoring='accuracy')grid_search.fit(X_train, y_train)# 最佳参数与模型评估print("最佳参数：", grid_search.best_params_)print("最优模型准确率：", grid_search.score(X_test, y_test))

可视化分析

我们可以使用混淆矩阵来查看分类器在各个类别上的表现。

from sklearn.metrics import confusion_matriximport seaborn as snsimport matplotlib.pyplot as pltcm = confusion_matrix(y_test, y_pred)plt.figure(figsize=(8,6))sns.heatmap(cm, annot=True, fmt='d', xticklabels=newsgroups_train.target_names,            yticklabels=newsgroups_train.target_names, cmap="Blues")plt.xlabel('预测标签')plt.ylabel('真实标签')plt.title('混淆矩阵')plt.show()

这会显示一个热力图，帮助我们更直观地理解模型的错误类型。

总结

通过本文，我们完成了以下内容：

文本分类是 NLP 的基础任务之一，掌握其基本流程对于后续深入研究非常重要。希望本文能为你入门文本分类提供帮助。

附录：完整代码汇总

from sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_report, accuracy_scorefrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import confusion_matriximport seaborn as snsimport matplotlib.pyplot as plt# 加载数据categories = ['alt.atheism', 'comp.graphics', 'sci.med', 'soc.religion.christian']newsgroups_train = fetch_20newsgroups(subset='train', categories=categories)newsgroups_test = fetch_20newsgroups(subset='test', categories=categories)# 特征提取vectorizer = TfidfVectorizer(stop_words='english')X_train = vectorizer.fit_transform(newsgroups_train.data)X_test = vectorizer.transform(newsgroups_test.data)y_train = newsgroups_train.targety_test = newsgroups_test.target# 训练模型model = MultinomialNB()model.fit(X_train, y_train)# 预测与评估y_pred = model.predict(X_test)print("准确率：", accuracy_score(y_test, y_pred))print("\n分类报告：\n", classification_report(y_test, y_pred, target_names=newsgroups_train.target_names))# 可视化混淆矩阵cm = confusion_matrix(y_test, y_pred)plt.figure(figsize=(8,6))sns.heatmap(cm, annot=True, fmt='d', xticklabels=newsgroups_train.target_names,            yticklabels=newsgroups_train.target_names, cmap="Blues")plt.xlabel('预测标签')plt.ylabel('真实标签')plt.title('混淆矩阵')plt.show()# 模型调参示例parameters = {'C': (0.1, 1, 10)}grid_search = GridSearchCV(LogisticRegression(max_iter=1000), parameters, cv=5)grid_search.fit(X_train, y_train)print("最佳参数：", grid_search.best_params_)print("最优模型准确率：", grid_search.score(X_test, y_test))

如果你对深度学习模型感兴趣，欢迎继续阅读我后续关于 BERT 或 LSTM 文本分类的文章。