转载来源:http://pocore.com/blog/article_504.html
从美国的两个城市中选取一些人, 通过分析这些人发布的征婚广告信息,来比较这两个城市的人们在广告用词上是否不同,如果结论确实是不同,那么他们各自常用的词是哪些?从人们的用词当中,我们能否对不同城市的人所关心的内容有所了解
大致流程算法和区分广告邮件的差不多下面记录差异的部分
1.对所有词出现频率进行排序,返回排序后出现频率最高的前30个
2.训练词表去掉出现频数最高的钱30个词(关键)
3.trainingSet取较小rss源的文档数的两倍
4.testSet随机取20个文档
5.按区分广告邮件的的操作从trainingSet剔除掉testSet
6.交叉测试分类错误率并返回 listOPosts, p0V, p1V
挑出最具代表性的词汇
最具代表性的词汇显示函数
由于p0V, p1V 中的单个值表示了某个单词属于0或者1的概率,我们只需要指定一个概率阀值便可以得到大于该阀值得所有单词并且按概率顺序排序然后将单词输出即可,下面是摘要的书中的结果
本文通过对两个美国城市中人们发布的征婚广告进行分析,比较两地居民在广告用词上的差异,并探讨这些差异背后可能反映的城市文化特点。

922

被折叠的 条评论
为什么被折叠?



