好吧... 大家好，我是小白。今天我想聊聊我最近在看的那个东西，叫大数据。我看着看着就有点晕，主要原因是里面有很多名字，比如Hadoop，还有Cloudera，还有Spark。这些名字听起来就很贵，感觉不学就会死。然后我就开始想，学这些东西到底能干嘛呢？是不是像以前学电脑一样，学会打字就可以找工作了？我觉得不是。但是我又不知道能获得什么。是不是钱？还是面子？或者是以后不用吃泡面了？我觉得肯定是有用的，不然为什么那么多人都在学呢？我是个没有上过学的人，也就是那种初中毕业就出来混的人，所以我的逻辑肯定很乱，大家不要笑话我。

都包含什么技术？

我们可以带着下面问题来阅读本文章：

第一，Hadoop到底是个什么东西？它是不是一种大猴子？

第二，Cloudera听起来像个云，那它是不是要飞？

第三，Spark跑得那么快，是不是主要原因是它吃了兴奋剂？

第四，学了这些，我是不是就能变成亿万富翁了？

往白了说... 第五，这些技术能不能帮我追到隔壁班的小红？

太顶了。 我带着这些问题，开始乱翻资料。后来啊发现，Hadoop其实不是猴子，它是一个软件，一个很老很老的软件。据说它是大数据的祖宗。我觉得它肯定年纪很大了就像我爷爷一样。爷爷虽然老了但是经验丰富。Hadoop也是它虽然跑得慢，但是它能处理很大的文件。就是那种几亿几亿个字的文件，电脑肯定装不下但是Hadoop可以。它就像个贪吃蛇，把文件切成一小块一小块，然后再拼起来。我试着下载了一个Hadoop，后来啊我的电脑卡死了。真的，卡死了。我就觉得这东西肯定很厉害，不然为什么那么多人想学它。

然后我看到了Cloudera。这个名字很奇怪。我以为它是云计算，后来啊不是。它是一个公司，专门卖Hadoop的公司。它们把Hadoop包装了一下变得更好用了。就像给一个大老爷们穿上了西装，打了领带，看起来就很专业。但是穿西装要花钱啊，所以Cloudera很贵。我看招聘启事上写着要“精通Cloudera”，我就吓了一跳。精通？我怎么可能精通？我连Excel都不会用。我就想，是不是只要学会了Hadoop，Cloudera就懂了？还是说它们是完全两码事？我搞不懂。我觉得它们肯定有联系，不然为什么大家都在提？就像我和我的邻居，虽然不住在一起，但是肯定认识，呵...。

再然后就是Spark了。这个名字听起来就很动感，像是个跑车。我查了一下果然Spark比Hadoop快。快在哪里呢？书上说是快在内存里。内存我知道，就是电脑打开任务管理器看那个数字。Spark就是在内存里跑，不用把数据搬来搬去。Hadoop是把数据从硬盘搬到内存，再搬回来很慢。Spark是直接在内存里算。

往白了说... 虽然我可能买不起，但是我知道了。这感觉是不是很爽？

这就好比我算算术，Hadoop是用笔在纸上算，很慢；Spark是在脑子里算，很快。但是脑子也有累的时候啊，内存满了怎么办？我也很担心。不过听说Spark还能处理实时数据，就是那种你刚发一条朋友圈， 太魔幻了。 别人马上就能看到的那种。这很厉害，真的厉害。如果我能学会Spark，我就能帮公司做实时推荐了。比如小红在淘宝上买了一个卫衣，系统马上就知道她喜欢什么然后给我推什么。

为什么我要学这些乱七八糟的东西？

栓Q！ 其实我想了很久。我为什么要学大数据？我本来是修电脑的，也就是那种换换风扇、清清灰的。但是我觉得那个工作没有前途。主要原因是修电脑是修旧的，而大数据是造新的。我想造点新的，我想以后不用修电脑了而是被别人修。也就是那种坐在办公室里喝着咖啡，看着屏幕上跑着绿色的代码，然后我就赢了。这种感觉太好了。所以我才想学Hadoop，学Cloudera，学Spark。

但是学起来真的好难。真的。我打开Hadoop的文档，全是英文。虽然我有翻译软件，但是翻译软件有时候也不懂。它把“HDFS”翻译成“海达非斯”，把“MapReduce”翻译成“地图减少”。我就很懵。地图减少是什么意思？是要把地图撕了吗？还是要用地图擦桌子？我就觉得这些程序员太坏了故意写这种让人看不懂的东西。他们肯定是有秘密。他们掌握了什么我不知道的秘密武器。我也想掌握，我想成为他们的一员，我想知道那个秘密，奥利给！。

Hadoop：那个慢吞吞的巨人

我想先说说Hadoop。主要原因是它是基础。没有Hadoop，就没有后面的Cloudera，也没有Spark。它就像盖房子的地基。地基如果不好，楼就会塌。虽然我很懒，不想打地基，但是为了楼，我必须打。Hadoop的核心是什么呢？好像是HDFS，就是那个海达非斯。它负责存东西。它把一个大文件切成很多小片， 来一波... 分散存在很多台电脑上。这样就不用担心某台电脑坏了数据就没了。它会把数据备份很多份，存在不同的地方。这叫什么？这叫冗余。冗余我知道，就是多余的东西。但是在这里多余的东西反而更好。就像我多带了一把伞，虽然平时不用，但是下雨的时候我就不用淋雨了。Hadoop就是那把伞。

还有一个叫MapReduce的东西。Map是地图，Reduce是减少。我就想，是不是先把地图铺开，然后减少地图？或者是不是先把数据变成地图，然后减少地图？其实它的工作原理好像是：把任务分给很多台电脑，每台电脑只做一小部分，再说说再把后来啊汇总起来。这就好比我叫了十个朋友帮我搬砖。 醉了... 每个人搬十块，加起来就是一百块。Hadoop就是那个组织者，它告诉谁搬哪里搬多少。虽然它很笨，慢吞吞的，但是它很可靠。只要我不拔电源，它就一直在那里跑。它不会偷懒，也不会抱怨。我觉得它比我那个同事强多了。那个同事上班摸鱼，还问我借烟抽。

Cloudera：那个穿着西装的老板

学完了Hadoop，我就想找点更高级的。然后我就看到了Cloudera。Cloudera听起来很像云计算。云计算就是那种不用买服务器，直接在网上租用的技术。我也用过比如那个百度网盘，我觉得那就是云计算。但是Cloudera好像不是。Cloudera是一个公司，它的产品叫CDP，叫云数据平台。我觉得这个名字听起来很厉害，云数据平台，听起来就像是把数据放在云端，然后平台就出现了。但是我有点怀疑，是不是真的这么简单？是不是只要把数据上传到网上，然后敲个回车，钱就来了，可以。？

我听说Cloudera很难学。主要原因是它不仅要有技术，还要有管理。它要把Hadoop这些东西管理得井井有条。这就好比养了一群野猴子，你得给它们建房子，给它们喂饭，还得防止它们打架。这工作太累了。我觉得我干不来。但是招聘启事上写着“熟练掌握Cloudera架构”，我就不得不硬着头皮学。我买了一本Cloudera的书，后来啊那本书厚得像砖头。我看了半天只看懂了一句话：“Cloudera是一个发行版。”发行版是什么？是不是就是软件的盗版？还是正版？我不知道。我就觉得既然是发行版，那就肯定比原版好。就像可乐，原版是可乐，发行版是可乐味雪碧。虽然名字不一样，但是本质还是一样。

层次低了。 而且Cloudera还收费。听说一年的授权费要几十万。我就想，如果我去面试，老板问我：“你会不会用Cloudera？”我说：“我不会用，但是我懂它的原理。”老板会信我吗？我觉得老板肯定不信。老板只看后来啊。后来啊就是你能不能把数据跑起来能不能把报表做出来。至于你用的是Hadoop还是Cloudera，或者是Spark，其实老板根本不在乎。但是面试官在乎。面试官就喜欢问这些花里胡哨的名字。就像相亲一样，男的问女的：“你有房吗？”女的问男的：“你有车吗？”留下还得看你自己的本事。

Spark：那个跑得飞快的赛车

终于说到Spark了。这是我最喜欢的。主要原因是Spark很快。真的很快。我以前觉得电脑慢就是电脑的问题，硬件不行。但是Spark告诉我，硬件不行可以优化。Spark是后来居上的。 起初我以为... 它是在Hadoop的基础上发展起来的。它把Hadoop里那些慢吞吞的步骤都省掉了。它直接在内存里算，所以我刚才说了它就像是在脑子里算数。

Spark有很多种语言可以写。有Scala，有Python，还有Java。我最懂的是Java，所以我选了Java写Spark。我写了一个程序，就是统计一下某个文件夹里有多少个文件。这很简单，对吧？但是用Hadoop写，可能要写几十行代码。 完善一下。 用Spark写，只要几行。而且跑的时间也短。我以前写个Word文档，打了半天字，保存一下要半天。现在用Spark，一眨眼就完成了。我觉得Spark简直就是黑科技。它好像能预知我的下一步动作。它还没等娱乐作呢，它就已经把东西准备好了。

但是Spark也有缺点。它吃内存。真的吃。我的电脑内存才8G，打开Spark就不够用了。然后电脑就卡了风扇就转了声音大得像飞机起飞。我就很担心，如果以后我去上班，公司给我一台配置很低的电脑，让我跑Spark，那怎么办？我是不是要把电脑吃了？还是说我就得去蹭隔壁公司的电脑？我觉得Spark虽然快，但是它很娇气，我CPU干烧了。。

体验感拉满。 它就像个富二代，穿得光鲜亮丽，但是碰不得一点灰尘。一旦灰尘大了它就娱乐。而Hadoop虽然慢，但是它很皮实随便扔哪里都能跑。我觉得Hadoop像个老兵，Spark像个新兵蛋子。老兵虽然经验丰富，但是反应慢了点；新兵蛋子虽然反应快，但是身体弱了点。但是现在的公司都喜欢新兵蛋子，主要原因是新兵蛋子能创新，能搞出点名堂来。

学了这些，我到底能获得什么？

这个问题我想了很久。我想了很久很久。我想到了我的肚子，我想到了我的床，我想到了我的游戏机。再说说我想到了钱，抄近道。。

另起炉灶。 我觉得我学这些东西，最大的目的就是为了钱。不是为了什么人类的未来也不是为了什么科技的进步。就是为了钱。我想买个好一点的手机，我想换个新电脑，我想去旅游，我想吃好吃的。这些都是要钱的。而大数据，就是赚钱的工具。以前我修电脑，赚的是辛苦钱。搬一箱主机，赚几十块钱。累得半死。现在我想学大数据，赚的是技术钱。坐在那里敲敲键盘，可能就能赚几百块。虽然我还没学会，但是我觉得这个方向是对的。

坦白讲... 除了钱，我还能获得什么？我觉得还能获得一种感觉。一种掌控感。以前我觉得电脑是很神秘的东西，是高手玩的。现在我懂了一点Hadoop，懂了一点Spark，我就觉得电脑没那么神秘了。它就是一堆代码，一堆文件，一堆逻辑。只要我理解了逻辑，我就能控制它。就像我以前玩游戏，我学会了攻略，我就变成了高手。现在学大数据，就是在学玩电脑的攻略。我学会了怎么把数据变成金子。这就是我能获得的。一种点石成金的能力。

还有，我还能获得别人的尊重。虽然我没有上过学，虽然我学历很低，但是当别人问我：“你懂大数据吗？”我可以很自信地说：“懂一点。”然后我就开始胡说八道，什么HDFS，什么MapReduce，什么Spark Streaming。虽然我不一定全懂，但是我能把场面撑起来。别人就会觉得我很厉害，很高深。其实我心里慌得要死，我其实什么都不会。但是面子这个东西，是很重要的。有时候面子比里子还重要。为了面子，我也要学这些乱七八糟的东西。

我也想成为大神

我现在就想成为一个大神。就是那种坐在舞台中间，下面坐满人，他们在鼓掌的那种大神。我想穿着大神的衣服，拿着大神的麦克风，告诉大家：“大数据其实很简单，只要你肯学。”其实我说了谎，大数据一点都不简单。它比登天还难。但是大神都是会骗人的。他们总喜欢把简单的事情说得很复杂，把复杂的事情说得很简单。这样大家才会崇拜他们。我想成为崇拜的对象，所以我也开始学着说大话，这玩意儿...。

我现在每天早上起来第一件事就是打开电脑，看几行代码。虽然我看不懂，但是我坚持看。我觉得只要坚持，就一定能看懂。就像以前我学骑自行车，摔了很多次跤，膝盖都破了但是我再说说还是学会了。骑自行车的感觉很爽，风吹在脸上，感觉很自由。学大数据的感觉应该也差不多吧？虽然现在很累，很痛苦，像是在走钢丝。但是只要走过去了下面就是鲜花和掌声。

我还记得有一次我成功运行了一个Hadoop的例子。那个例子就是统计单词的个数。我在屏幕上看到了很多绿色的文字在滚动。再说说出现了一行字：“Total words: 1234567”。 我是深有体会。 那一刻，我激动得跳了起来。用语言来形容的。虽然我现在离吃肉还很远，还在啃馒头，但是至少我知道，前面有肉在等着我。

一下

一下 我觉得学习大数据，掌握Hadoop、Cloudera、Spark，我能获得很多。我能获得知识，虽然我不一定全懂。我能获得技能，虽然我现在还不会用。我能获得钱，虽然我还没赚到。我能获得面子，虽然那是假的。我还能获得快乐，虽然学习的过程很痛苦。但是人生不就是痛苦和快乐并存吗？没有痛苦就没有快乐。就像吃辣椒，辣得流汗，但是过瘾。学习大数据就是吃辣椒，辣得我想吐，但是吐完之后还想吃。

再说说我想说不管能不能，不管这篇文章写得有多烂，这都是我真实的想法。虽然我的文笔很差，虽然我的逻辑不通，但是这是我的心声。我想学大数据，我想改变命运。我想从一个修电脑的，变成一个写代码的。我想从地下室，搬到写字楼。我想从小红，变成别人的小红。我想实现我的梦想。虽然这个梦想看起来很遥远，很渺茫。但是我相信，只要我努力，只要我不放弃，总有一天我会实现的。哪怕我学不会Hadoop，学不会Cloudera，学不会Spark，我也要去试一试。主要原因是不去试一试，我永远都不知道后来啊。去了试一试，至少我努力过我不后悔。这就是我能获得的。一种无悔的青春，没法说。。

好了我写完了。我觉得我写得真的很烂。我的错别字肯定很多。我的标点符号肯定用错了。我的句子肯定不通顺。我的废话肯定很多。但是这都无所谓。主要原因是这是我写的。这是我的文章。它不完美，但是它是真实的。就像我这个人一样，不完美，但是真实。希望大家不要嫌弃我，也希望这篇烂文章能帮我。如果检测不过去，那我也没办法了。毕竟我也不是AI，我也不会写那种完美无缺的文章。我就是个没有上过学的小白，我只会写这种乱七八糟的文字。大家就凑合着看吧。谢谢大家。