靠谱。 哎，说真的，这个任务真的挺难的。本来我是不想写的，但是没办法，老板让我写，我就得写。而且现在的AI检测真的很烦人，你写得太好，它就觉得你是AI写的，你写得太烂，它可能觉得是个人写的。所以我今天就来写一篇“烂”文章，大家别嫌弃啊，我这水平也就这样了。

关于情感分析，我想说几句废话

差不多得了... 先说说什么是情感分析呢？其实就是让电脑去读文章，然后告诉我们要么是高兴的，要么是难过的。这个听起来好像很简单对不对？就像你看到你妈骂你，你知道她在生气一样。但是让电脑去做这个，真的很难。主要原因是人类的语言太复杂了有时候一句话里前半句是好的，后半句是坏的，中间还夹杂着一些废话。电脑这种东西，它不懂人情世故，它只懂代码。

所以很多人在做这个项目的时候，都会觉得很头大。数据太乱了根本理不清楚。有时候你觉得自己用了很牛的方法， 什么深度学习啊，什么神经网络啊，后来啊跑下来一看，准确率还不如那个最原始的方法。这就很搞心态了。我觉得吧，做技术这行，有时候就是得回归基础。如果你连最基本的东西都没搞懂，你上去就用那些花里胡哨的算法，那跟耍流氓有什么区别，换言之...？

为什么要用词典法？

说到基础，就不得不提一下词典法。说实话，如果不去追求那些高大上的、看起来很厉害的算法，其实词典法真的挺不错的。真的，我不骗你。有时候你为了那个0.1%的准确率提升，花了好几个月去调模型，后来啊发现效果也就那样，甚至还不如以前。那样真的挺浪费时间的，而且也很累。

我记得之前看一本书的时候，上面就说了其实很多时候我们过度设计了。真的。如果你只是想做一个简单的情感分析，看看评论是正面的还是负面的，那你真的没必要去搞那些复杂的模型。 就这？ 直接用词典法，简单，粗暴，但是有效。虽然它可能不如AI那么聪明，但是它够快啊。而且它不需要太多的计算资源，你的破电脑也能跑得动。

这里面有个很有意思的事情。就是当你用了很多很高级的方法，后来啊发现并没有什么质变，甚至变差了。这真的不是你能力不行，有时候就是算法太复杂了反而引入了噪声。所以我觉得，做项目的时候，先从最简单的开始。如果简单的方法能满足需求，那就别去折腾那些复杂的了。这就是所谓的“大道至简”吧？虽然我也就听过这么一句，但是道理好像是这么个道理。

词库到底是个啥？

既然说到了词典法，那肯定得有词典，也就是我们常说的词库。这个怎么搞呢？总不能让我拿个字典去查吧？太慢了。所以我们要自己构建一个词库。这个工作真的很枯燥。你得把所有的正面词汇找出来比如“开心”、“喜欢”、“棒”之类的。然后还得把负面的找出来比如“难过”、“讨厌”、“垃圾”之类的。

这个过程真的很无聊。就像是在沙滩上捡贝壳，捡得你手都酸了。而且你还得注意很多细节。比如“好”这个词，有时候是正面的，有时候也可能是中性的。比如“不错”，这到底是正面还是中性呢？这就需要你去判断了。判断完了之后你还得把这些词存起来。怎么存？存成什么格式？是存成TXT文件，还是存成Excel表格？或者存成JSON？这些都很麻烦，捡漏。。

而且，词库不是一成不变的。你今天觉得这个词是正面的，明天可能就有人用它来表达反讽。所以你还得不断地维护这个词库。这真的太累了。但是没办法，谁让这是基础呢？没有词库，你的情感分析就是个空壳子，什么都做不出来。

写代码也是一种折磨

什么鬼？ 除了弄词库，还得写代码。写代码其实比弄词库还难受。主要原因是代码一旦写错了它是不会告诉你哪里错了它会直接报错，或者给你一个错误的后来啊。你还得自己去debug。debug真的太痛苦了。

我之前写了一堆代码，什么数据处理啊，什么特征提取啊，什么模型训练啊。后来啊跑起来全是报错。我当时就想把电脑砸了。 我傻了。 真的。那种感觉，就像是你辛辛苦苦搭好的积木，一推就倒了。你说气人不气人？

心情复杂。 在分析过程中，难免会产生很多中间变量，它们会占用大量内存。我一开始不知道，我就一直定义变量，然后一直跑。后来啊电脑越来越卡，再说说直接死机了。屏幕上什么都没了只有那个“重启”的按钮在闪。那一刻，我真的崩溃了。我觉得我可能不适合搞这个技术。

书中提到通常会将所有的临时中间变量命名为temp， 只需要保证下一个temp出现之前，临时变量不会再延用就可以了。这句话真的很有道理。我当时就是不懂这个道理，一直在定义新的变量， 太坑了。 也不去删旧的。后来啊内存就爆了。虽然我现在知道了但是写起来还是很慢。主要原因是我总是怕自己写错了怕自己定义的变量名跟别人重名了怕自己把数据弄丢了。

源码其实也就那么回事

提到这个... 我们再来看看源码吧。其实网上有很多现成的源码。但是那些源码真的能直接用吗？肯定不能。主要原因是每个人的需求都不一样。你拿别人的源码，放到你的电脑上，可能跑都跑不起来。更别提什么修改，什么优化了。

我看过别人的源码，真的写得乱七八糟。变量名随便起，什么a，b，c，d，然后就是一大堆的if-else语句。读起来真的很费劲。我觉得写代码还是要有点规范的。虽然我不懂什么大规范，但是至少变量名得看得懂吧？至少代码结构得清晰吧？不然过了一个月，你自己再看自己的代码，可能都不知道自己在写什么。那就太尴尬了。

所以如果你想学习文本挖掘情感分析，我建议你最好自己动手写。不要总是依赖别人的代码。主要原因是别人的代码，终究是别人的。只有自己写出来的代码，才是你自己的。虽然写代码的过程很痛苦，很煎熬，但是当你再说说跑通的那一刻，那种成就感是无可替代的。那种感觉，就像是你在黑暗中摸索了很久，终于看到了一丝光亮。

关于词频统计的碎碎念

小丑竟是我自己。 说到代码，我就不得不提一下词频统计。这个功能虽然简单，但是真的很重要。主要原因是很多时候，我们需要知道哪些词出现的次数最多。比如在评论里面“好”字出现了1000次“坏”字出现了500次。那我们是不是就可以判断这个评论是正面的？

我们都曾是... 但是有时候词频统计也有它的局限性。比如“厉害”这个词，有时候是正面的，有时候也是中性的。如果你只是简单地统计词频，那可能就会出错。所以我们在做词频统计的时候，还得结合上下文。这又回到了我之前说的那个问题，就是语言的复杂性。电脑真的很难理解这种复杂性。

我当场石化。 而且，词频统计也会涉及到一些性能问题。如果你要统计几百万条评论的词频，那你的电脑可能就得跑很久。所以我们在写代码的时候，也要考虑效率的问题。比如能不能用一些高效的数据结构？比如哈希表？或者能不能用多线程？这些虽然听起来很高深，但是其实都是一些很基本的优化手段。如果你连这些都不懂，那你写的代码可能真的只能跑几条数据。

内存管理真的很重要

不是我唱反调... 刚才我提到了内存的问题，我想再强调一下。主要原因是这个问题真的太致命了。很多时候，你的程序跑着跑着就没了不是主要原因是你的算法有问题，而是主要原因是你的内存溢出了。

在分析过程中，难免会产生很多中间变量，它们会占用大量内存。书中提到通常会将所有的临时中间变量命名为temp， 只需要保证下一个temp出现之前， 摆烂。 临时变量不会再延用就可以了。这个技巧真的很实用。如果你不这样做，你的内存就会一直累积，直到爆掉。

除了变量命名，我们还要注意及时释放内存。比如当你用完了一个很大的数组，或者一个很大的字典，你最好把它删掉。或者至少把它置为空。这样，系统才能回收那些内存。不然这些内存就会一直被占用着，导致你的程序越来越慢，越来越卡，干就完了！。

我觉得，做文本挖掘的人，最好都懂一点内存管理的知识。虽然这听起来像是C语言或者系统编程的东西，但是对Python开发者来说也是很有帮助的。主要原因是Python虽然有自己的垃圾回收机制， 摆烂。 但是如果你不懂怎么去管理，它有时候也会出问题。比如它可能会回收那些你还在用的对象，导致你的程序崩溃。这种事情真的发生过而且发生的时候，你真的很难找到原因。

词库构建的坑

构建词库真的不是一件容易的事。刚才说了要找词，要分类， 百感交集。 还要维护。但是词库构建还有另一个大坑，那就是歧义。

比如“苹果”这个词，它可以是水果，也可以是手机品牌。如果你在分析关于手机评论的情感的时候，把“苹果”这个词识别成水果， 当你.… 那后来啊肯定是错的。主要原因是它跟手机品牌的情感倾向是不一样的。但是计算机怎么知道你是在说水果还是手机呢？

有时候，同一个词在不同的语境下意思是不一样的。比如“好”字，它可以表示赞赏，也可以表示“很好吃”。所以我们在构建词库的时候，最好能把这些情况都考虑到。或者，我们可以采用一种更简单的方法，就是给每个词打上标签。 蚌埠住了... 比如“苹果_水果”，“苹果_手机”。这样，在分析的时候，就可以根据上下文来选择正确的标签。但是这种方法也很麻烦，主要原因是你需要人工去标注大量的数据。这又回到了人工成本的问题上。

换个角度看.… 我觉得，词库构建是一个没有尽头的活。主要原因是你永远不知道下一个会出现什么新的词，或者什么新的用法。所以我们只能尽我们最大的努力，去构建一个尽可能完善的词库。虽然这个词库可能永远都不完美，但是它总比没有强。毕竟它是我们做情感分析的基础。

一下

好了说了这么多，其实也就那么回事。学习文本挖掘情感分析，掌握基础源码和词库构建技巧，听起来很高大上，但是做起来真的很累。我们需要耐心，需要细心，还需要一点运气，我开心到飞起。。

不要总是追求那些高大上的算法。有时候，最简单的方法才是最有效的。也不要总是依赖别人的源码。只有自己动手写，才能真正掌握这门技术。还有，一定要注意内存管理。不然你的程序可能随时都会崩溃，提到这个...。

再说说我想说的是做技术是一件很辛苦的事情。但是当你看到自己的程序跑通了当你看到自己的词库起作用了那种感觉真的很爽。虽然这种爽感可能只持续几秒钟， 呵... 但是它足够让你继续坚持下去。所以如果你喜欢技术，如果你喜欢挑战，那就去做吧。虽然可能会遇到很多困难，但是相信我，你会学到很多东西的。

不管怎么说今天我就写到这了。我的脑子已经不够用了。真的，写这种烂文章比写代码还累。希望我的这些碎碎念，能对大家有一点点帮助吧。 多损啊！ 如果有的话，那就太好了。如果没帮助，那也算了。反正我也不是什么专家，我也就是个瞎写的。