兄弟们，今天咱们来聊点好玩的。我知道你们都想要数据，对吧？谷歌、百度、必应，这些搜索引擎里全是金子，但是它们把你拦在外面这就是不礼貌。所以呢，我决定自己造个轮子。不是那种普通的轮子，是个能爬虫子的轮子。这个爬虫是开源的，开源就是好，主要原因是免费。免费的东西通常是最好的，真的，我不骗你。很多软件都要钱，我就不花钱。这很酷，对吧？咱们今天就来搞这个，怎么抓取搜索引擎的数据。这东西其实不难，只要你手别抖，别把电脑玩坏了就行。我保证，教程很烂，但很有用，主要原因是我就是这么烂过来的，你没事吧？。

前言：为什么我要搞这个？

我是个程序员，但我也是个懒人。懒人有什么好处呢？懒人就想把事情做得越简单越好。比如我想知道今天谁在我的网站上发表评论了我就不想一个一个点开看。我想让电脑帮我去看。这就是爬虫的由来。爬虫就是一只电子蚂蚁。它爬到你的网站上，把好吃的数据叼回来。但是谷歌这种大网站，它有防火墙，它有反爬虫机制。所以普通的蚂蚁爬不过去。我们需要一个特种兵。这个特种兵就是我说的这个开源爬虫。

很多人问我，为什么不用现成的工具？比如 Scrapy？Scrapy 是个好东西，但它太官方了太规矩了。规矩的东西没有灵魂。我想写一个乱七八糟的，但是能跑通的爬虫。这个爬虫能抓取搜索引擎的数据。 我个人认为... 什么意思呢？就是说你输入几个关键词，它就能帮你把搜索引擎里所有相关的东西都找出来。哪怕它找不到，它也会帮你找一万个不相关的。反正就是乱抓。这很符合我的性格。

而且，这个教程真的很烂。如果你觉得哪里看不懂，那很正常。主要原因是我也没看懂。我只是把代码扔进去，然后它就出来了。这叫玄学。咱们今天就来探讨一下这种玄学。

准备工作：我们要吃哪些东西？

在开始之前，你得先有东西。不是吃的，是软件。咱们得准备一个叫做 Nutch 的东西。还有 HBase。这两个名字听起来就很高大上，对吧？其实就是两个压缩包。 实际上... 你把它解压下来放在你的电脑桌面上。或者放在 D 盘，随便你。反正别放在 C 盘，C 盘是系统盘，别把你的电脑搞崩了我可不负责修电脑。

下面这段话是重点，你一定要记在小本本上，虽然我不指望你记。咱们使用环境变量来指代这些东西。比如 我解压到了 `/home/user/nutch` 这个地方，那我就叫它 `$NUTCH_ROOT`。 容我插一句... 如果你解压到了别的地方，比如 `/tmp/nutch`，那它就是 `$NUTCH_ROOT`。名字不重要，重要的是你心里得有数。这就是一种心理暗示。你心里想着它在那里它就在那里。

还有一个 HBase。也是一样的。解压，然后叫它 `$HBASE_ROOT`。这名字起的真烂，但我懒得想更好的了。 我比较认同... 反正就是两个文件夹。文件夹里面全是文件。文件里面全是代码。代码里面全是乱码。这就对了这就是我们要的效果。

安装那些乱七八糟的依赖

光有 Nutch 和 HBase 是不够的。这就好比你只有一辆跑车，但是没有汽油。那跑不起来。所以你需要安装一些东西。这些东西叫什么来着？哦对，OpenJDK。这个是必须的。没有 Java，什么都没用。Java 很大，安装的时候它会问你很多问题，比如安装在哪里。你就一直点“下一步”就行了。别改路径，改了你会死的。就像你把家里的水管改了水就会流得到处都是。

不是我唱反调... 还有 Ant。Ant 是干嘛的？我也不知道。反正就是用来编译代码的。编译代码就是把人类能看懂的代码，变成机器能看懂的代码。这个过程叫编译。就像把生肉变成烤肉。虽然不卫生，但是能吃。Ant 就是那个烤肉机。

再说说是 ElasticSearch。这个很重要。主要原因是抓下来的数据要存哪里？存硬盘里？太慢了。存到 ElasticSearch 里？这就快多了。ElasticSearch 就像是一个巨大的图书馆。你把数据放进去，它就能帮你找出来。虽然它找出来的东西可能不对，但是它速度快。这就是我们要的。速度就是一切，是个狼人。。

开始安装：这过程很繁琐

先说说你需要下载 OpenJDK。去官网下别去那些乱七八糟的网站。那些网站全是病毒。下载下来双击安装。一直下一步，下一步，下一步。直到它告诉你安装完成了。恭喜你，你完成了一半的工作。

我满足了。 然后是 Ant。下载解压。解压之后你需要配置环境变量。打开命令行，输入 `ant -version`。如果它显示版本号，说明你成功了。如果它说找不到命令，说明你搞砸了。别急，再试一次。也许是你手抖了。或者是你电脑没电了。反正多试几次。

准确地说... 再说说是 ElasticSearch。这个更麻烦。它需要 Java。所以你得先装 Java。这就陷入了死循环。这就是软件的宿命。你永远在装依赖，依赖还依赖。就像我依赖咖啡，咖啡依赖钱，钱依赖工作。工作依赖我。我依赖睡觉。睡觉依赖床。床依赖……我就不说了太复杂了。

解压与配置：传说中的变量

好了废话不多说。咱们继续。下面这个链接很重要，你一定要看仔细了。 我算是看透了。 虽然它长得有点丑，像一坨大便。

https:///apache/nutch/archive/release-:///pub/software/apache/hbase/hbase-0.94.26/hbase-:///elasticsearch/elasticsearch/elasticsearch-

这串代码是什么意思？我也不知道。可能是下载链接，也可能是乱码。不管它是什么反正它就在那里。我们要用到的就是下面这句话：，差点意思。

把 Nutch 和 HBase 解压到自己定义的文件目录内， 下面教程中我们使用 $NUTCH_ROOT 代表你 Nutch 软件解压后的存放目录， $HBASE_ROOT 表你 HBase 软件解压后的存放目录，哭笑不得。！

这句话翻译成人话就是：把你解压出来的 Nutch 文件夹路径赋值给一个叫 $NUTCH_ROOT 的变量。同理，HBase 也是。这叫环境变量。就像你把家里的钥匙放在门口的鞋柜上，这样你回家就能直接拿到钥匙开门。不需要翻箱倒柜，太坑了。。

先说说需要安装上面列出的这几项 OpenJDK, ant 和 ElasticSearch。这句话是说在解压 Nutch 和 HBase 之前，你必须先把这些东西装好。不然你解压了也没用。就像你想做饭，但是你没有菜刀和锅。你拿个苹果刀切菜，肯定切不动。除非你想吃苹果泥。

配置文件：修改那些神秘的 XML

安装完之后你需要配置 Nutch。配置文件在 `conf` 目录下。具体是哪个文件，我也不知道。可能是 `nutch-site.xml`。也可能是 `nutch-default.xml`。 推倒重来。 或者是一个叫 `readme.txt` 的文件。不管它叫什么你都要打开它。用记事本打开。记事本是最通用的编辑器。虽然它功能很差，但它足够简单。简单就是好。

在配置文件里你要写很多东西。比如你的爬虫名字叫什么。叫“超级无敌大爬虫”怎么样？ 痛并快乐着。 有点中二。或者叫“我是垃圾爬虫”。我觉得这个更好。符合我的风格。

你还要设置爬取的深度。深度是什么？深度就是爬几层。层是孙页。如果你设置深度为 1，它就只爬主页。如果你设置深度为 10， 摸个底。 它就会一直爬下去，直到爬到外太空。所以深度不要设太大。设成 2 或者 3 就行了。太多了电脑会死机。死机了可别怪我。

运行爬虫：见证奇迹的时刻

配置好了现在可以运行了。打开终端。黑黑的窗口。这代表神秘的力量。在终端里输入命令。命令是什么呢，佛系。？

先说说你得进入 Nutch 的 bin 目录。输入 `cd $NUTCH_ROOT/bin`。如果你不知道 $NUTCH_ROOT 是什么那你还是算了吧。别瞎折腾。

然后你要运行 crawl 命令。命令格式大概是：`bin/nutch crawl urls -dir crawl -depth 2 -threads 5`，换句话说...。

这个命令是什么意思？`urls` 是一个文件，里面放着你想要爬取的网址。比如 `http://www.google.com`。`crawl` 是你要生成的文件夹名字。`depth` 是深度，刚才说了设成 2 吧。`threads` 是线程数。设成 5 吧。别设太高，电脑会卡。5 个线程刚刚好。不多不少。不多不少就是最好的，毕竟.…。

按下回车键。屏幕上开始滚动文字。这些文字是日志。日志就是程序的日记。它记录了程序运行的一切。如果你看到红色的文字，说明出错了。别慌，大概率是你配置错了。或者是你电脑坏了，嚯...。

程序会开始爬取。它先访问你给的网址，然后下载页面然后分析页面然后找页面里的链接， 太水了。 然后继续爬。这就像一只蜘蛛织网。越织越大。越织越密。

数据存储：去 Elasticsearch 里看

爬下来的数据去哪了？默认情况下它会在 Nutch 自己的数据库里。那个数据库叫 Solr。Solr 也是一个搜索引擎。 不夸张地说... 它也是开源的。它和 ElasticSearch 很像。有时候我也分不清它们谁是谁。反正都是用来存数据的。

但是咱们刚才装了 ElasticSearch。咱们想用 ElasticSearch。所以你需要把数据从 Solr 导入到 ElasticSearch 里。 太硬核了。 这又是一个痛苦的过程。你需要写一些脚本。或者用一些工具。比如 Logstash。Logstash 是个管道。它把数据从这边吸过去，再吐到那边。

啊这... 配置 Logstash 也很麻烦。你需要写一个配置文件。配置文件里要定义输入源和输出目标。输入源是 Solr，输出目标是 ElasticSearch。然后运行 Logstash。它就会开始搬运数据。

搬运数据的时候，你会看到很多进度条。进度条走得很慢。像蜗牛一样。这是主要原因是网络很慢。或者数据量很大。没关系，慢慢等。 研究研究。 只要不报错就行。报错了就重启。重启是万能的。重启能解决 90% 的问题。剩下 10% 的问题，重启两次就能解决。

虽然很烂但很有用

你想... 好了教程讲完了。你现在应该有一个爬虫了。虽然它很烂，虽然它跑得很慢，虽然它经常出错。但是它真的能抓取数据。这就是开源的力量。开源就是让每个人都参与进来。哪怕你只会复制粘贴。复制粘贴也是一种技术。我尊重复制粘贴技术。

话说回来.…. 用我的开源爬虫，轻松抓取搜索引擎数据。这句话是标题。标题党。但是内容是真的。内容是真实的废话。废话也是真的。废话是真实存在的。就像你的胡思乱想。你的胡思乱想也是真实存在的。

如果你觉得这个教程有用，请点赞。如果你觉得这个教程没用，请收藏。 就这样吧... 收藏也是一种美德。美德就是做你不想做的事。比如看这篇烂文章。

再说说祝你好运。希望你的爬虫能跑通。希望你的 ElasticSearch 能正常工作。希望你的电脑不会死机。如果电脑死机了记得关机重启。如果还不行，那就拔电源。拔电源是再说说的手段。虽然这会损坏数据，但这是为了救电脑。为了救电脑，牺牲数据是值得的。数据可以重新爬，电脑坏了就真的坏了，ICU你。。

这就是全部了。真的。我已经写了 2000 字了。我累了。我要去喝咖啡了。 话虽然是这么说… 咖啡里有咖啡因。咖啡因能让我清醒。清醒了就能继续写废话。废话是无尽的。

再见了。别回头。回头会让你看到这篇文章有多烂。烂东西就该被遗忘。就像被搜索引擎遗忘一样。但是别担心，我帮你们抓下来了。都在 ElasticSearch 里面。在里面等你。

---