对于文本分类问题，第一个挑战是清理数据并将其转换为计算机可以轻松理解的格式。考虑到我们必须根据内容找到一本书或一部电影的类型，我们要做的第一件事就是准备训练数据集。这里我们有两种方法来做到这一点，一种是简单的词袋方法，另一种是Doc2Vec。让我们探索根据字幕预测电影类型的方法。

Bag Of Words:

Bag Of Words 是一种将文本表示为单词忽略语法和词序但保持多样性的文本的方法。这将使我们能够在分类问题中使用该模型，其中我们可以使用每个单词的出现作为特征来训练分类器。我们的训练数据将包含以下5 种类型的电影。

喜剧

行动

科幻小说

戏剧

恐怖

第一个任务是下载每个类型至少25 部电影的字幕，并将它们分成训练和测试。我将每种类型保存20 部电影用于训练，5 部电影用于测试。所以我们的火车文件夹将有5 个子文件夹，每个子文件夹将有20 个字幕文件，如下所示。

我们的测试文件夹也具有相同的结构，但每个文件夹中只有5 个文件。现在，对于数据预处理，我们将使用自然语言工具包，对于神经网络的训练，我们将使用Tensorflow 和Keras。我们来编码吧。

#imports 用于数据处理

导入nltk

从nltk.stem.lancaster 导入LancasterStemmer

将numpy 导入为np

导入unicode数据

导入系统

从tqdm 导入tqdm

将pandas 导入为pd

导入操作系统

从随机导入随机播放

导入字符串

#imports 自然网络

导入张量流astf

从keras.models 导入顺序

从keras.layers 导入*

从keras.optimizers 导入*

从keras.models 导入load_model

创建一个用于设置数据的类。里面会有多个功能，我一一解释。

创建一个类SetData 并初始化变量。函数one_hot_classes 将用于用其相应的类来标记训练数据集。另一个函数remove_punctuation将用于通过删除标点符号来清理数据。这里我们使用字典来理解字符串中的字符。将它们从我们的数据集中删除。

上面的函数“train_data_with_label”正在清理训练数据并将它们转换为两个列表。第一个列表将包含元组，第二个列表将是语料库中所有唯一单词的列表（训练集中每个单词的组合称为语料库）。第一个列表将有100 个元组，每个元组将有一个标记文档，这是一个热编码类。函数“train_data_with_label”也在做同样的事情，只是打乱数据，我们只会打乱训练数据。

上述函数将为我们的训练/测试数据集创建BOW（词袋），然后将其输入分类器神经网络。

#初始化类和数据集

sd=设置数据()

train_data, tr_words=sd.train_data_with_label()

test_data, tst_words=sd.test_data_with_label()

#生成训练/测试数据的词袋

训练=sd.bag_of_words(train_data,tr_words)

训练数据=列表(训练[: 0])

训练标签=列表(训练[: 1])

test=sd.bag_of_words(test_data,tr_words,'test')#这里我们还必须传递训练单词，因为即使对于测试集，BOW也会根据训练集语料库生成

测试数据=列表(测试[: 0])

测试标签=列表(测试[: 1])

我们已经准备好了数据集，我们需要做的就是创建训练模型。我们将使用Keras 顺序模型。

经过100 次迭代训练后，我们将看到训练的准确率达到97%，我们要考虑的问题是，我们要解决的问题是100 个训练数据非常低，所以我们会看到测试的准确度性别有很大差异，是时候测试我们的模型。

类别=sd.classes

对于我在范围内（len（testing_data））:

print(类别[np.argmax(testing_label[i:i+1])] +'\t\t'+ 类别[np.argmax(tc_model.predict(np.array(testing_data[i:i+1])))])

下面是我们得到的结果，准确率只有60% 左右，考虑到训练集的大小，这已经很好了。我们可以通过添加更多的训练数据来获得更好的性能

这种BOW方法适合小型语料库。对于大型语料库，需要更多的计算能力。例如，如果我们的语料库中有100万个单词，需要50万个训练数据，那么每个训练数据将有一个长度为100万的A BOW数组。

Doc2Vec：

Doc2Vec 方法是Word2Vec 的扩展版本，它将为每个文档生成一个向量空间。相似的文件将具有彼此接近的向量。在此实现中，我们将创建两个类。一个用于标记要训练的文件，另一个用于预处理。对于Doc2Vec，我们可以使用gensim的模型。

导入nltk

从nltk.stem.lancaster 导入LancasterStemmer

将numpy 导入为np

导入unicode数据

导入系统

从tqdm 导入tqdm

将pandas 导入为pd

导入操作系统

从随机导入随机播放

导入字符串

进口根西姆

该类将为文档创建一个生成器对象，并使用gensim 的LabeledSentence 类生成标签。

接下来是SetData 类，我们可以使用BOW 之前的实现重用__init__()、remove_punctuation() 函数。

“train_data_with_label”函数将清理输入数据，对其进行标记并创建列表，每个列表对象又是标记化单词的列表，其类索引位于类变量中。该索引位置将在LabelDocs 类中使用，以使用正确的类来标记文档。另一个函数“get_tokenwords_for_new_data”将为测试数据生成标记化单词列表，然后将其用于输入模型进行预测。

上面的代码将初始化类并为训练集创建一个生成器对象。然后，gensim的Doc2Vec模型将使用gen_op对象构建词汇表，并且模型将在gen_op对象上训练100个epoch（它是任意值，越多越好）。

现在我们可以根据测试数据来测试模型。我们将为每个测试数据集获取前两个最相似的标签，因此我们将为每部电影获取2 个类型。

我们按照我们的预测去做！