STAKE中国官方网站看法

搜索引擎事情原理详解

宣布时间：2008-10-26

差别的Web信息检索系统在事情原理上各纷歧样，，，，，，下面就团结搜索引擎来详细说明一下一样平常Web信息检索系统的特点。。。。。。。

差别的Web信息检索系统在事情原理上各纷歧样，，，，，，下面就团结搜索引擎来详细说明一下一样平常Web信息检索系统的特点。。。。。。。虽然各个搜索引擎的详细实现不尽相同，，，，，，但一样平常包括爬虫程序、剖析程序、索引程序、检索程序和用户接口界面5个基本部分，，，，，，并且大致的事情原理是相同的。。。。。。。

Web搜索引擎主要是通过爬虫程序按期遍历互联网，，，，，，将网页的统一资源定位符(URL)、内容和收罗时间等相关信息网络到Web服务器上，，，，，，然后通过须要的信息索引和存储优化处置惩罚，，，，，，使用特定的检索界面临Web用户直接提供服务。。。。。。。这种处置惩罚方法在许多方面顺应了Web信息的特点。。。。。。。例如，，，，，，爬虫程序的按期遍历可以将一直动态转变的Web网页信息收罗过来，，，，，，既能有用反应最新的网页信息，，，，，，又能将漫衍于各地的Web信息统一存储在搜索引擎的外地服务器上，，，，，，实现信息资源的外地化，，，，，，以实现对用户盘问的快速响应；；；；；；同时，，，，，，搜索引擎提供了基于要害词的全文检索方法，，，，，，阻止了不须要的词语剖析和语义处置惩罚，，，，，，顺应半结构化网页信息的处置惩罚特点，，，，，，并且还能提高信息的查全率。。。。。。。

它的详细事情流程包括以下几步：

步，，，，，，由爬虫程序接纳一定的搜索战略对Web网络举行遍历并下载网页，，，，，，系统中维护一个超链行列或者客栈，，，，，，其中包括一些起始URL；；；；；；爬虫程序从这些URL出发，，，，，，下载响应的页面，，，，，，并从中抽取出新的超链加入到行列或者客栈中。。。。。。。上述历程一直重复直到客栈为空。。。。。。。为提高效率，，，，，，搜索引擎中可能会有多个爬虫程序历程同时遍历差别的Web子空间。。。。。。。为了便于未来扩展服务，，，，，，爬虫程序应能改变搜索规模和搜索战略，，，，，，一样平常接纳以宽度优先搜索战略为主、深度优先搜索战略为辅的搜索战略。。。。。。。

第二步，，，，，，由剖析程序对爬虫程序下载的网页举行剖析以用于索引，，，，，，网页剖析手艺一样平常包括分词(有些仅从文档某些部分抽词，，，，，，如Altavista)或者使用停用词表(stop list)来过滤网页信息，，，，，，同时还提供诸如单复数转换、词缀去除和同义词替换等词语转换，，，，，，这些手艺的详细实现往往与处置惩罚方法以及系统的索引模子亲近相关。。。。。。。

第三步，，，，，，索引程序将网页信息体现为一种便于检索的方法并存储在索引数据库中。。。。。。。索引的质量是Web信息检索系统乐成的要害因素之一。。。。。。。一个好的索引模子应该易于实现和维护、检索速率更快、空间需求更低。。。。。。。搜索引擎普遍借鉴了古板信息检索中的索引模子，，，，，，包括倒排文档、向量空间模子和概率模子等。。。。。。。

第四步，，，，，，检索程序从索引中找出与用户盘问请求相关的网页信息，，，，，，接纳与剖析网页文档相似的要领来处置惩罚用户盘问请求，，，，，，最后将相关度大于阈值的所有网页凭证相关度递减的顺序排列并返还给用户，，，，，，虽然搜索引擎的相关度判断并纷歧定与用户的需求完全吻合。。。。。。。古板的方法只是使用词频和词语泛起的标记和位置来设置权重，，，，，，新的设置权重方法主要使用基于超链剖析的要领，，，，，，然而只有在系统中引入用户特征模式信息后才华最终为用户提供个性化的信息检索服务。。。。。。。

最后，，，，，，用户接口为用户提供可视化的盘问输入和效果输出界面。。。。。。。在盘问界面中，，，，，，用户凭证搜索引擎的盘问语法使用检索词语及种种简朴、高级的检索条件，，，，，，结构自己的盘问表达式。。。。。。。在输出界面中，，，，，，搜索引擎将检索效果展现为一个线性的网页列表，，，，，，其中包括了网页的问题、摘要和相关超链等信息。。。。。。。由于Web信息是动态转变的，，，，，，因此，，，，，，Robot剖析器和索引器�？？？？？？？？橐雌诟率菘猓�，，，，，时间通常约为一个月。。。。。。。索引数据库越大，，，，，，更新也越难题。。。。。。。这就使得这种古板的被动服务方法着实不是很是实时有用，，，，，，借鉴信息推送服务的头脑可以极大地提高Web信息检索系统的实时性。。。。。。。

上一篇：搜索引擎优化相关性排名手艺

下一篇：搜索引擎的生长历史

STAKE中国官方网站

STAKE中国官方网站看法

搜索引擎事情原理详解

相关内容NEW