传统方法和深度学习的情感分析

传统方法和深度学习的情感分析

1.问题

Kaggle竞赛Bag of Words Meets Bags of Popcorn是电影评论（review）的情感分析，可以视作为短文本的二分类问题（正向、负向）。标注数据集长这样：

评价指标是AUC。因此，在测试数据集上应该给出概率而不是类别；即为predict_proba 而不是predict：

# random frorest result = forest.predict_proba(test_data_features)[:, 1] # not `predict` result = forest.predict(test_data_features)

采用BoW特征、RF (random forest)分类器，预测类别的AUC为0.84436，预测概率的AUC 则为0.92154。

2.分析

传统方法

传统方法一般会使用到两种特征：BoW (bag of words)，n-gram。BoW忽略了词序，只是单纯对词计数；而n-gram则是考虑到了词序，比如bigram词对"dog run"、"run dog"是两个不同的特征。BoW可以用CountVectorizer向量化：

from sklearn.feature_extraction.text import CountVectorizer vectorizer = CountVectorizer(analyzer="word", tokenizer=None, preprocessor=None, stop_words=None, max_features=5000) train_data_features = vectorizer.fit_transform(clean_train_reviews)

在一个句子中，不同的词重要性是不同的；需要用TFIDF来给词加权重。n-gram特征则可以用TfidfVectorizer向量化：

from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(max_features=40000, ngram_range=(1, 3), sublinear_tf=True) train_x = vectorizer.fit_transform(clean_train_reviews)

使用unigram、bigram、trigram特征+ RF分类器，AUC为0.93058；如果改成LR分类器，则AUC为0.96330。