目前人们从网上获得信息的主要工具是浏览器#xff0c;搜索引擎在网络中占有举足轻…摘

随着互联网的不断发展和日益普及网上的信息量在迅速地增长在2004年4月全球Web页面的数目已经超过40亿中国的网页数估计也超过了3亿。

目前人们从网上获得信息的主要工具是浏览器搜索引擎在网络中占有举足轻重的地位本文将在此深入的对搜索引擎做一个研究与阐述。

并且详细介绍了基于因特网的搜索引擎的系统结构然后从网络机器人、索引引擎、Web服务器三个方面进行详细的说明。

为了更加深刻的理解这种技术本人还亲自实现了一个简单的搜索引擎Damon。

关键词

在网络迅速发展的今天面临非常丰富的网络资源不论我们是学习、研究、还是工作需要在网络上能查找到相关的资料信息人们现在对网络的依赖程度越来越高但是如何有效的搜索信息却是一件困难的事情。

但是幸运的是类似于百度、Google这样的搜索网站的出现能帮助我们解决这样的问题使我们可以在网络中查找自己所需要的信息资源。

从理论上讲所有的用户都可以从搜索出发到达自己想去的网上任何一个地方。

并且我们在网络中可以找到几乎我们需要的一切的可能的东西本文从搜索引擎发展历史开始然后详细介绍了程序中使用的组件Lucene重点阐述了全文搜索引擎的基本原理、所采用的相关技术进而引出专题搜索引擎并且为提高专题性所采取的一些方法。

分析了网页文档半结构化的数据特点以及使用自己编写的spider程序从Internet上取回综合的信息经过Lucene处理加入索引文件中最终用户在客户端输入关键字后实现将与关键字相关信息返回给用户。

Web出现之前互联网上就已经存在许多让人们共享的信息资源了。

那些资源当时主要存在于各种允许匿名访问的FTP

站点anonymous

ftp内容以学术技术报告、研究性软件居多它们以计算机文件的形式存在文字材料的编码通常是PostScript

或者纯文本那时还没有HTML。

在互联网发展初期网站相对较少信息查找比较容易。

然而伴随互联网爆炸性的发展普通网络用户想找到所需的资料简直如同大海捞针这时为满足大众信息检索需求的专业搜索网站便应运而生了。

为了便于人们在分散的FTP

Wide

Web还未出现但网络中文件传输还是相当频繁的而且由于大量的文件散布在各个分散的FTP主机中查询起来非常不便因此Alan

Emtage想到了开发一个可以以文件名查找文件的系统于是便有了Archie。

Archie工作原理与现在的搜索引擎已经很接近它依靠脚本程序自动搜索网上的文件然后对有关信息进行索引供使用者以一定的表达式查询。

受其启发

1993

程序。

现代搜索引擎的思路源于Wanderer不少人在此基础上对它的蜘蛛程序做了改进。

当时“机器人”一词在编程者中十分流行。

电脑“机器人”Computer

Robot是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。

由于专门用于检索信息的“机器人”程序像蜘蛛一样在网络间爬来爬去因此搜索引擎的“机器人”程序就被称为“蜘蛛”程序。

1994

的蜘蛛程序接入到其索引程序中创建了大家现在熟知的Lycos成为第一个现代意义的搜索引擎。

在那之后随着Web上信息的爆炸性增长搜索引擎的应用价值也越来越高不断有更新、更强的搜索引擎系统推出。

同年斯坦福Stanford大学的两名博士生共同创办了超级目录索引Yahoo并成功地使搜索引擎的概念深入人心。

从此搜索引擎进入了高速发展时期。

随着互联网规模的急剧膨胀一家搜索引擎光靠自己单打独斗已无法适应目前的市场状况因此现在搜索引擎之间开始出现了分工协作并有了专业的搜索引擎技术和搜索数据库服务提供商。

如国外的Inktomi它本身并不是直接面向用户的搜索引擎但向包括Overture原GoTo、LookSmart、MSN、HotBot等在内的其他搜索引擎提供全文网页搜索服务因此从这个意义上说它们是搜索引擎的搜索引擎。

三、搜索引擎基本结构

搜索引擎是根据用户的查询请求信息按照一定算法从索引数据中查找符合用户需求的信息后将结果返回给用户。

一般的搜索引擎由网络机器人程序、索引与搜索程序、索引数据库等部分组成。

图3-1结构图一网络机器人

网络机器人也称为“网络蜘蛛”(Spider)是一个功能很强的WEB扫描程序。

它可以在扫描WEB页面的同时检索其内的超链接并加入扫描队列等待以后扫描。

因为WEB中广泛使用HTML超链接所以一个Spider程序理论上可以访问整个WEB页面。

为了保证网络机器人遍历信息的广度和深度需要设定一些重要的链接并制定相关的扫描策略。

其设计思想就是将整个网络看做一颗树通过递归不断的将符合条件的页面的连接拿到进行处理。

二索引与搜索

网络机器人将遍历得到的页面存放在临时数据库中如果通过SQL直接查询信息速度将会难以忍受。

为了提高检索效率需要建立索引我们学过的SqlServer2005中曾介绍字段添加索引能提高查询速度这个倍数是惊人的用户输入搜索条件后搜索程序将通过索引数据库进行检索然后把符合查询要求的数据返回给用户。

三Web服务器

在Web程序开发中使用的Wdb服务器有很多种类其中比较常见的有tomcat服务器、WebLogic服务器、还有JBoss服务器其中tomcat是最比较普遍常用的一个它以稳定的性能和开源的优势得到了广大用户的承认其实JBoss也是一个开源的但是它的结构比较复杂使用起来不是很灵活而WebLogic则是一款收费的商业型的服务器在我实现的开发中择用了简单使用的tomcat容器作为我web程序的服务器。

客户一般通过浏览器进行查询这就需要系统提供Web服务器并且与后台的搜索逻辑进行交互。

客户在浏览器中输入查询条件Web服务器接收到客户的查询条件后在索引数据库中进行查询处理然后返回给客户端。

搜索引擎的主要指标有响应时间、准确率、相关度等。

这些指标决定了搜索引擎的技术指标。

搜索引擎的技术指标决定了搜索引擎的评价指标。

好的搜索引擎应该是具有较快的反应速度和准确率的当然这些都需要搜索引擎技术指标来保障。

1准确率一次搜索结果中符合用户要求的数目与该次搜索结果总数之比

四、网络机器人

网络机器人又称为Spider程序是一种专业的网页爬虫程序。

它能查找大量的Web页面。

从一个简单的Web入口页面上开始执行然后通过其超链接一次递归访问其他页面因此理论上网络机器人可以扫描互联网上的所有页面。

但是实际中并非如此因为这样将会耗去大量的时间和金钱一次所有的企业基于商业盈利的角度都不会不停的使用网络机器人进行搜索WEB页面。

一般来说这些企业都是定时的进行索引数据库的更新据说Google是每隔28天进行一次索引数据库的更新并维护这些大型数据库。

Internet是建立在很多相关协议基础上的而更复杂的协议又建立在系统层协议之上。

Web就是建立在HTTP

Hypertext

协议之上它同时也是一种Socket协议。

所以网络机器人本质上是一种基于Socket的网络程序。

因为Web中的网页信息都是使用HTML标记语言因此网络机器人在检索网页时首先就是对HTML标记进行解析。

在处理解析之前先来了解一下HTML中主要数据类型。

我们在进行解析的时候不用关心所有的标签只需要对其中几种重要的进行解析即可。

以下是一些HTML基本的标签元素。

1脚本一些嵌入HTML标签中的代码语言例如JavaScript、jsp页面中的Java代码等等

①超连接标签

超连接定义了WWW通过Internet链接文档的功能。

他们的主要目的是使用户能够任意迁移到新的页面这正是网络机器人最关心的标签。

②图像映射标签

图像映射是另一种非常重要的标签。

它可以让用户通过点击图片来迁移到新的页面中。

③表单标签

表单是Web页面中可以输入数据的单元。

许多站点让用户填写数据然后通过点击按钮来提交内容这就是表单的典型应用。

④表格标签

我们在具体解析这些HTML标签有两种方法通过JavaTM中的Swing类来解析或者通过组件包中的HTMLParser来解析本人在实际编程中采用后者使用组件对html进行操作。

HTMLParser是一个很优秀的开源组件它有很强大的支持HTML解析的功能下面我就来介绍一下HTMLParser中的核心组件类。

定义了htmlparser的一些基础类。

其中最为重要的是Parser类。

Parser是htmlparser的最核心的类。

2org.htmlparser.beans对Visitor和Filter的方法进行了封装定义了针对一些常用html元素操作的bean简化对常用元素的提取操作。

3org.htmlparser.nodes定义了基础的node包括AbstractNode、RemarkNode、TagNode、TextNode等。

4org.htmlparser.tags定义了htmlparser的各种tag。

5org.htmlparser.filters定义了htmlparser所提供的各种filter主要通过extractAllNodesThatMatch

(NodeFilter

6org.htmlparser.visitors定义了htmlparser所提供的各种visitor主要通过visitAllNodesWith

(NodeVisitor

网络机器人必须从一个网页迁移到另一个网页所以必须找到该页面上的超连接。

程序首先解析网页的HTML代码查找该页面内的超连接然后通过递归和非递归两种结构来实现Spider程序。

1递归结构

递归是在一个方法中调用自己本身的程序设计技术。

虽然比较容易实现但耗费内存且不能使用多线程技术故不适合大型项目。

2非递归结构

这种方法使用队列的数据结构当Spider程序发现超连接后并不调用自己本身而是把超链接加入到等待队列中。

当Spider程序扫描完当前页面后会根据制定的策略访问队列中的下一个超链接地址。

虽然这里只描述了一个队列但在实际编程中用到了四个队列他们每个队列都保存着同样处理状态的URL。

等待队列在这个队列中URL等待被Spider程序处理。

新发现的URL也被加入到这个队列中

处理队列

如果在解析网页时出错URL将被送到这里。

该队列中的URL不能被移入其他队列中。

完成队列

如果解析网页没有出错URL将被送到这里。

该队列中的URL不能被移入其它队列中在同一时间URL只能在一个队列中把它称为URL的状态。

图4-1spider运行过程以上的图表示了队列的变化过程在这个过程中当一个URL被加入到等待队列中时Spider程序就会开始运行。

只要等待队列中有一个网页或Spider程序正在处理一个网页程序就会继续他的工作。

当等待队列为空并且当前没有任何网页时Spider程序就会停止它的工作。

四如何提高程序性能

Internet中拥有大量的Web页面如果开发出高效的Spider程序是非常重要的。

通过查询资料我主要研究了使用Java的多线程技术提高性能的技术

线程是通过程序的一条执行路线。

多线程是一个程序同时运行多个任务的能力。

它是在一个程序的内部进行分工合作。

优化程序的通常方法是确定瓶颈并改进他。

瓶颈是一个程序中最慢的部分他限制了其他任务的运行。

例如一个Spider程序需要下载十个页面要完成这一任务程序必须向服务器发出请求然后接受这些网页。

当程序等待响应的时候其他任务不能执行这就影响了程序的效率。

如果用多线程技术可以让这些网页的等待时间合在一起不用互相影响这就可以极大的改进程序性能。

一开发工具、平台及资源

我在程序设计实现中使用了lucene开源组件并未使用数据库做为存放大量信息的索引数据库最主要的原因就是考虑使用Lucene效率会大大的高于使用普通数据库的性能。

因此首先简单介绍一下Lucene相关的技术。

Apache的开源项目。

它是一个用Java写的全文索引引擎工具包可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。

如果搜索引擎网络机器人检索到的网页信息放到数据库中的话当用户在客户端检索数据的时候如果数据库中存放着大量数据的话没有好的数据库检索策略数据查询速度大大减慢而且其搜索引擎的性能也会因此而大打折扣会导致用户长期的等待结果超出用户的人手时间。

考虑以上的原因我在设计的时候选择了使用Lucene将网络机器人检索到的网页的基本信息交给Lucene处理经过Lucene处理后将搜索到的网页信息建立相应的索引并且存放到Lucene创建的索引文件中去从而在用户检索相应的数据的时候免去了从数据库中查询的步骤直接从索引文件中获取所需的信息这样程序对文件的IO操作要远远大于数据库的检索的效率。

从而提高了程序的性能和用户的体验。

Lucene的API接口设计的比较通用输入输出结构都很像数据库的表记录字段所以很多传统的应用文件、数据库等都可以比较方便的映射到Lucene的存储结构和接口中。

总体上看可以先把Lucene当成一个支持全文索引的数据库系统因此Lucene和数据库在很大程度上有一定的相似度在Lucene中的索引数据源即doc(field1,field2…)

doc(field1,field2…)很像数据库中的数据库表而Lucene中的Document类即一个需要进行索引的“单元”一个Document由多个字段组成很类似与数据库中表中的一条记录行在Lucene中的Field类则是充当了索引文件中的Decument类的属性的集合字段它的作用当然就是相当于数据库的列的属性在我们使用Java也好或者是C#也罢查询数据库的时候数据库返回的结果集就相当于Lucene结果输出也就是Hits类对象了即(doc(field1,field2)

doc(field1…))在Hits中查询结果集匹配是由Document组成相当于数据库中查询出来的结果集。

前面提到了我使用Lucene主要的目的就是为了提高索引数据库中的数据查询速度下面我们就来看看Lucene的基本的索引原理吧通常书籍后面常常附关键词索引表比如北京12,

34页上海3,77页……感性的讲它就像我们常用的字典中的目录很相似它能帮读者较快地找到相关内容的页码。

而数据库索引能够大大提高查询的速度原理也是如此通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所以效率高另外一个原因是它是排好序的。

对于检索系统来说核心是一个排序问题。

“%keyword%“时数据库索引是不起作用的在使用like查询时搜索过程又变成类似于一页页翻书的遍历过程了所以对于含有模糊查询的数据库服务来说LIKE对性能的危害是极大的。

我曾经在Oracle中做过一个实验在数据库中使用索引和不使用索引的速度先比前者是后者速度的将近上百倍当然这个结果不是唯一的对于数据量越大的数据库中我们使用索引的效率以及能给我们带来的方便时越为明显的如果是需要对多个关键词进行模糊匹配like”%keyword1%”

and

…其效率也就可想而知了。

所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制将数据源排序顺序存储的同时有另外一个排好序的关键词列表用于存储关键词文章映射关系这样检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。

从而大大提高了多关键词查询的效率所以全文检索问题归结到最后是一个排序问题。

在本文中我们主要是研究的搜索引擎的效率问题其实在Lucene中还有很多个人认为很经典的技术比如是分词技术还有相关的信息匹配技术等等由于时间和文章篇幅的限制我在此不多赘述。

Web服务器是在网络中为实现信息发布、资料查询、数据处理等诸多应用搭建基本平台的服务器。

Web服务器如何工作在Web页面处理中大致可分为三个步骤第一步Web浏览器向一个特定的服务器发出Web页面请求第二步Web服务器接收到Web页面请求后寻找所请求的Web页面并将所请求的Web页面传送给Web浏览器第三步Web服务器接收到所请求的Web页面并将它显示出来。

这就是一个典型的HTTP请求过程。

Web应用软件的基于Java的Web应用软件容器。

Tomcat由Apache-Jakarta子项目支持并由来自开放性源代码Java社区的志愿者进行维护。

Tomcat

Server是根据servlet和JSP规范进行执行的因此我们就可以说Tomcat

Server也实行了Apache-Jakarta规范且比绝大多数商业应用软件服务器要好。

四用户接口设计

一个良好的查询界面非常重要例如Google就以他简洁的查询界面而闻名。

我在设计的时候也充分考虑了实用性和简洁性。

图5-1查询界面图5-2查询结果

主要利用jsp技术实现用户通过GET方法从客户端向服务端提交查询条件服务端通过Tomcat的jsp接受并分析提交参数再调用lucene的开发包进行搜索操作。

最后把搜索的结果以HTTP消息包的形式发送至客户端从而完成一次搜索操作。

int

(request.getParameter(“thispage”)

null)

Integer.parseInt(request.getParameter(“thispage”));//当前页码

long

response.sendRedirect(“./index.jsp”);}

IndexFiles

indexFiles.searchIndexContent(path,

queryString);

newQueryScorer(query));highlighter.setTextFragmenter(new

1、程序结构图如下

System.out.println(“此页面禁止爬虫获取资源”);

queue.remove();

返回此列表中第一次出现的指定元素的索引如果此列表不包含该元素则返回

of方法效率要高些

urlToCheck.getHost().toLowerCase();

Locale

InputStreamReader(robotsFileUrl.openStream()));

while

line.substring(“Disallow:”.length());

int

disallowList.add(disallowPath);

for

将此主机名相对应的禁止访问的路径放到定义的map中disallowListCache.put(host,

disallowList);

①以上是网络机器人的核心算法代码运用的是半自动递归思想搜索引擎系统维护人员将定时的执行网络机器人代码来更新索引数据库中的内容确保用户能拿到自己所需要的最符合用户的最新的消息。

②值得说明的一点是在我做这个程序的时候遇见的一个难题吧在确定URL的时候怎么能知道我们访问的网站是否允许我们的搜索引擎访问本网站的内容呢,

这样roboots.txt就起到了关键的作用在此我们介绍一下roboots文件.

搜索引擎通过一种程序robot又称spider自动访问互联网上的网页并获取网页信息。

我们可以在您的网站中创建一个纯文本文件robots.txt在这个文件中声明该网站中不想被robot访问的部分这样该网站的部分或全部内容就可以不被搜索引擎收录了或者指定搜索引擎只收录指定的内容。

robots.txt文件应该放在网站根目录下。

举例来说当robots访问一个网站比如http://www.abc.com时首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件如果机器人找到这个文件它会根据这个文件的内容来确定它访问权限的范围。

http://www.w3.org/robots.txt在robots.txt中

Disallow

该项的值用于描述不希望被访问到的一个URL这个URL可以是一条完整的路径也可以是部分的任何以Disallow开头的URL均不会被robot访问到。

例如Disallow:

/help对/help.html和/help/index.html都不允许搜索引擎访问而Disallow:

/help/“则允许robot访问/help.html而不能访问/help/index.html。

任何一条Disallow记录为空说明该网站的所有部分都允许被访问

在”/robots.txt文件中至少要有一条Disallow记录。

如果/robots.txt是一个空文件则对于所有的搜索引擎robot

2网络机器人解析网页HTML核心代码

System.out.println(-----------------this

link

说明本代码是将网络机器人拿到符合条件的标签加到Lucene索引文件中即搜索引擎的索引数据库。

六关于程序说明

1本人在网络机器人运用了Java语言开发主要涉及到了net和io两个包。

2还有Java线程技术由于时间比较紧迫本程序只用的了Java中的单线程技术具体的程序优化后期应该能涉及到Java中的线程池技术。

3此外还用了第三方开发包htmlparser组件用于解析HTML网页标签。

本程序使用的算法是介于递归和非递归的半自动递归算法使用递归算法的时候如果有意外可能会导致内存溢出对于本文的程序如果使用非递归算法的话有点复杂会使得程序的性能无法达到最佳的状态因为我对非递归的算法进行了改造自己将它命名为半自动的非递归算法是本程序性能达到比较好的状态。

六、在Tomcat上部署项目

Archive文件。

WAR是Sun提出的一种Web应用程序格式与JAR类似也是许多文件的一个压缩包。

这个包中的文件按一定下包含有Html和Jsp文件或者包含这两种文件的这个下有一个web.xml文件和一个classes下则包含编译好的Servlet类和Jsp或Servlet所依赖的其它类如JavaBean。

通常这些所依赖的类也可以打包成JAR放到WEB-INF下的lib下Tomcat会自动检测到这个文件并将其解压。

你在浏览器中访问这个应用的Jsp时通常第一次会很慢因为Tomcat要将Jsp转化为Servlet文件然后编译。

编译以后访问将会很快。

七、总结

全文搜索引擎已经成为人们在信息化时代中检索信息不可缺少的工具。

本设计将lucene这一开源的搜索引擎框架结合Java

Web开发流行的SSH、Ajax等技术实现一个可以在小型局域网或海量文件存储的主机上进行数据检索的引擎。

并且通过Spring可以实现灵活的配置。

为无法使用互连网搜索引擎下的海量数据检索提供了一个很好的解决方案。

当我写完这篇毕业论文的时候心情十分激动感慨很多。

从开始进入课题到资料的搜集再到论文的顺利完成整个过程都离不开指导老师、朋友们的热情帮助在这里请接受我诚挚的谢意!

首先我要感谢我的论文指导老师老师。

这篇论文的每一步都是在齐老师的悉心指导下完成的。

老师为人随和热情正是有了齐老师的无私帮助与热忱鼓励我的毕业论文才能够得以顺利完成这里我要诚挚的向老师说一声“谢谢您齐老师。

”

此外我要感谢身边的朋友们。

在这次论文写作过程中他们对我总是有求必应帮助我搜集和提供了大量有价值的文献资料帮助我理清了论文的写作思路对我的论文提出了诸多宝贵的意见和建议。

借此机会我要对各位朋友们的帮助表示真挚的感谢谢谢你们

参考文献

[1]似杰.盘古搜索购物资讯引擎的设计与实现[D].北京工业大学,2013.

[2]李雪利.基于Solr的企业搜索引擎的研究与实现[D].浙江理工大学,2013.

[3]范晨熙.基于Hadoop的搜索引擎的研究与应用[D].浙江理工大学,2013.

[4]张菊琴.基于模糊聚类算法及推荐技术的搜索引擎结果排序[D].江西理工大学,2013.

[5]裴一蕾,薛万欣,赵宗,陶秋燕.基于用户体验视角的搜索引擎评价研究[J].情报科学,2013,05:94-97112.

[6]雷鸣,刘建国,王建勇,陈葆珏.一种基于词典的搜索引擎系统动态更新模型[J].计算机研究与发展,2000,10:1265-1270.

[7]朱亮,顾俊峰,马范援.基于MobileAgent的搜索引擎关键技术研究[J].计算机工程,2000,08:126-129.

[8]项珍.基于语义的搜索引擎探讨[J].浙江高校图书情报工作,2008,06:15-20.

[9]张杰.基于Web数据挖掘的搜索引擎研究[J].信息与电脑(理论版),2013,11:95-96.

[10]李豫山.基于聚焦搜索引擎的搜索引擎优化策略的研究[J].科技信息,2014,12:10-11.

[11]伍大勇.搜索引擎中命名实体查询处理相关技术研究[D].哈尔滨工业大学,2012.

[12]宋巍.基于主题的查询意图识别研究[D].哈尔滨工业大学,2013.