搜索引擎相关度算法分析
搜索引擎相关度算法分析
相关性，是搜索引擎优化中的重点。但是对于相关性的搜索引擎工作原理，相信大部分的SEOER对于都缺乏了解。作为职业SEO对于搜索引擎算法的研究是必须的，虽然说，我们不可能知道搜索引擎算法的全部。但是只需要我们主流搜索引擎技术的方向，你就可以知道搜索引擎时代的脉搏。
相关度排序技术的产生主要是由搜索引擎的特点决定的。
首先，现代搜索引擎能够访问的Web网页数量已经达到上十亿的规模，哪怕用Hu 只是搜索其中很少的一部分内容，基于全文搜索技术的搜索引擎也能返回成千上万的页面。即便这些结果网页都是用Hu所需要的，用Hu也没有可能对所有的网页浏览一遍，所以能够将用Hu最感兴趣的结果网页放于前面，势必可以增强搜索引擎用Hu的满意度。
其次，搜索引擎用Hu自身的检索专业能力通常很有限，在最为普遍的关键词检索行为中，用Hu一般只是键人几个词语。例如，Spink等曾对Excite等搜索引擎的近300位用Hu做过实验调查，发现人均输入的检索词为3.34个。国内部分学者也有相似的结论，发现90%左右的用Hu输入的中文检索单字为2～6个，而且2字词居多，约占58%，其次为4字词(约占18%)和3字词(约占14%)。过少的检索词事实上无法真正表达用Hu 的检索需求，而且用Hu通常也不去进行复杂的逻辑构造，只有相当少的用Hu进行布尔逻辑检索、限制性检索和高级检索等方法，仅有5.24%的检索式中包含有布尔逻辑算符。国内的部分学者的研究结果也表明，约40%的用Hu不能正确运用字段检索或二次检索，80%左右的用Hu不能正确运用高级检索功能，甚至还发现用Hu缺乏动力去学习复杂的检索技能，多数用Hu都寄希望于搜索引擎能够自动地为他们构造有效的检索
式。由于缺乏过去联机检索中常常具备的检索人员，因此，用Hu实际的检索行为与用Hu理想的检索行为存在事实上的差距，检索结果的不满意也是不奇怪的。正是由于这个特点，搜索引擎就必须设法将用Hu最想要的网页结果尽可能地放到网页结果的前面，这就是网页相关度排序算法在搜索引擎中为什么非常重要的原因。
现阶段的相关度排序技术主要有以下几种：一是基于传统信息检索技术的方式，它主要利用关键词本身在文档中的重要程度来对文档与用Hu查询要求的相关度做出测量，如利用网页中关键词出现的频率和位置。一般而言，检索出的网页文档中含有的查询关键词个数越多，相关性越大，并且此关键词的区分度越高；同时，查询关键词如果出现在诸如标题字段等重要位置上，则比出现在正文的相关度要大。二是超连分析技术，使用此技术的代表性搜索引擎有Google和Bai。和前者相比，它以网页被认可的重要程度作为检索结果的相关度排序依据。从设计思想上看，它更注重第三方对该网页的认可，如具有较大连入网页数的网页才是得到广泛认可的重要网页，而根据关键词位置和频率的传统方法只是一种网页自我认可的形式，缺乏客观性。最后还有一些其他方式，如由用Hu自由定义排序规则的自定义方式。北京大学的天网FTP搜索引擎就采用这种排序方式，它可以让用Hu选择诸如时间、大小、稳定性和距离等具体排序指标来对结果网页进行相关度排序。再如收费排名模式，它作为搜索引擎的一种主要赢利手段，在具有网络门Hu特点的大型搜索引擎中广为使用，但于担心影响搜索结果的客观性，这种方式不是它们的主流排序方式，而仅仅作为一个补充显示在付费搜索栏目中。
相关度排序技术主要依赖于超连分析技术实现。超连分析技术可以提供多种功能，其中的主要功能就是解决结果网页的相关度排序问题。它主要是利用网页间存在的各种超连指向，对网页之间的引用关系进行分析，依据网页连人数的多少计算该网页的重要度权值。一般认为，如果A网页有超连指向B网页，相当于A网页投了B网页一票，
即A认可了B网页的重要性。深入理解超连分析算法，可以根据连接结构把整个Web 网页文档集看成一个有向的拓扑图，其中每个网页都构成图中的一个结点，网页之间的连接就构成了结点间的有向边，按照这个思想，可以根据每个结点的出度和入度来评价网页的重要性。
对于超连分析技术，有代表性的算法主要是Page等设计的PageRank算法和Kleinberg创造的HITS算法。其中，PageRank算法在实际使用中的效果要好于HITS算法，这主要是由于以下原因：首先，PageRank算法可以一次性、脱机且独立于查询的对网页进行预计算以得到网页重要度的估计值，然后在具体的用Hu查询中，结合其他查询指标值，一起对查询结果进行相关性排序，从而节省了系统查询时的运算开销；其次，PageRank算法是利用整个网页集合进行计算的，不像HITS算法易受到局部连接陷阱的影响而产生“主题漂移”现象，所以现在这种技术广泛地应用在许多搜索引擎系统中，Google搜索引擎的广获成功也表明了以超连分析为特征的网页相关度排序算法日益成熟。
PageRank技术基于一种假设，即对于Web中的一个网页A，如果存在指向网页A 的连接，则可以将A看成是一个重要的网页。PageRank认为网页的连入连接数可以反映网页的重要程度，但是由于现实中的人们在设计网页的各种超连时往往并不严格，有很多网页的超连纯粹是为了诸如网站导航、商业广告等目的而制作，显然这类网页对于它所指向网页的重要程度贡献程度并不高。但是，由于算法的复杂性，PageRank没有过多考虑网页超连内容对网页重要度的影响，只是使用了两个相对简单的方法:其一，如果一个网页的连出网页数太多，则它对每个连出网页重要度的认可能力降低；其二，如果一个网页由于本身连入网页数很低造成它的重要程度降低，则它对连出网页重要度的影响也相应降低。所以，在实际计算中，网页A的重要性权值正比于连入网页A的
重要性权值，并且和连入网页A的连出网页数量呈反比。由于无法知道网页A自身的重要性权值，所以决定每个网页的重要权值需要反复迭代地进行运算才能得到。也就是说，一个网页的重要性决定着同时也依赖于其他网页的重要性.
———————————————————————————————————————
【补充材料：搜索引擎的相关排序算法分析与优化】
WWW是一个巨大的潜在的知识库,它所拥有的web页已经从最初的几千个发展到至今的20多亿个(已被编入索引).随着网络规模的爆炸性增长,搜索引擎已经成了帮助人们寻找相关信息的重要工具.据纽约市场研究机构朱比特通信公司的调查分析,88%的网上用户使用搜索工具,成为除Email之外使用最多的互联网应用之一.但是由于Web数据本身具有分布、异质、动态、半结构或非结构等特征,这无疑给Web上的信息检索提出了挑战[1].目前的搜索引擎普遍存在着查全率和查准率不高的现象,任何一个简单的查询都至少返回数以万计的检索结果,而其中只有很少一部分与用户真正的检索要求有关.同时,由于搜索引擎数据量巨大,而用户的接受能力有限,查全率对搜索引擎来说基本失去了评价的意义.而前X个检索结果的查准率对于用户的检索目标更具意义[1].影响查准率的因素有很多,相关排序算法是其中的一个关键点。
1、相关排序的概念和存在的问题。
传统上,人们将信息检索系统返回结果的排序称为“相关排序”(RelevanceRanking),隐含其中各条目的顺序反映了结果和查询的相关程度.在搜索引擎中,其排序不是一个狭
义的相关序,而是一种反映多种因素的综合统计优先序.在排序方面,搜索引擎目前存在的问题:(1)对于多数检索课题,要么输出的检索结果过载,记录数量达千条以上,给相关性判断带来困难;要么是零输出或输出量太少,造成过分的漏检.(2)在相关度方面,搜索引擎对相关度参数的选择、计量和算法各不相同.(3)由于搜索引擎是按照已定的相关度对检索结果进行排序,关键词检索返回结果的相关度排序方式单一,用户不能根据需要选择输入的排序方法,用户对结果的排序无能为力,因而用户基本上是在被动接受返回序列,这难免与用户的检索目标冲突,受到用户接受能力的限制,无疑会影响到检全率与检准率。
2、现有的排序算法。
现有的搜索引擎排序技术主要有PageRank算法和HITS算法.PageRank算法以“随机冲浪”模型为理论基础,而HITS算法使用Hub和Authority相互加强模型,二者都是利用了网页和超链组成的有向图,根据相互连接的关系进行递归运算.
2.1 PageRank算法。
LawrencePage和SergeyBrin描述了PageRank最初的算法,网页A页的PageRank值PR(A)=(1-d)+d(PR(T1)ΠC(T1)+…+PR(Tn)ΠC(Tn)),其中d为阻尼系数,且0 网页的PageRank值决定了随机访问到这个页面的概率.用户点击页面内的链接概率,完全由页面上链接数量的多少决定的,这也是上面PR(Ti)ΠC(Ti)的原因.因此,一个页面通过随机冲浪到达的概率就是链入它的页面上的链接被点击概率的和,且阻尼系数的减低了这个概率.阻尼系数的引入,是因为用户不可能无限的点击链接,常常因无聊而随机跳入另一个页面. 由此可见,PageRank并不是将整个网站排等级,而是以单个页面计算的.页面A的PageRank值取决于那些连接到A页面的PageRank的递归值.PR(Ti)值并不是均等影响页 面PR(A)的.在PageRank的计算公式里,T对于A的影响还受T的出站链接数C(T)的影响.这就是说,T的出站链接越多,A受T的这个连接的影响就越少.PR(A)是所有PR(Ti)之和.所以,对于A来说,每多增加一个入站链接都会增加PR(A).所有PR(Ti)之和乘以一个阻尼系数的,它的值在0到1之间.因此,阻尼系数的使用,减少了其它页面对当前页面A的排序贡献.另外,PageRank算法中对于向外链接的权值贡献是平均的,也就是不考虑不同链接的重要性.斯坦福大学计算机科学系Arvin的Arasu等科学家经过试验表明,PageRank 算法计算效率还可以得到很大的提高 2.2 HITS算法。 HITS(Hyperlink-In的uce的TopicSearch)算法是利用HubΠAuthority的搜索方法,具体算法如下:将查询q提交给传统的基于关键字匹配的搜索引擎.搜索引擎返回很多网页,从中取前n个网页作为根集(RootSet),用S表示.S满足如下3个条件:S中网页数量相对较小;S中网页大多数是与查询q相关的网页;S中网页包含较多的权威网页.通过向S中加入被S引用的网页和引用S的网页,将S扩展成一个更大的集合T.以T中的Hub网页为顶点集V1,以权威网页为顶点集V2.V1中的网页到V2中的网页的超链接为边集E,形成一个二分有向图.对V1中的任一个顶点v,用h(v)表示网页v的Hub值,且h(v)收敛;对V2中的顶点u,用a(u)表示网页的Authority值.开始时h(v)=a(u)=1,对u执行I操作,修改它的a(u),对v执行O操作,修改它的h(v),然后规范化a(u)Πh(v),如此不断的重复计算下面的I操作和O操作,直到a(u).其中I操作:a(u)=∑h(v);O操作:h(v)=∑a(u). 每次迭代对a(u)、h(v)进行规范化处理:a(u)=a(u)Π∑[a(q)]2;h(v)=h(v)Π∑[h(q)]2.HITS算法可以获得比较好的查全率,输出一组具有较大Hub值的网页和具有较大权威值的网页.但在实际应用中,HITS算法有以下几个问题:由S生成T的时间开销是很昂贵的,由T生成有向图也很耗时,需要分别计算网页的AΠH值,计算量大;网页中广告等 无关链接影响A、H值的计算,降低HITS算法的精度;HITS算法只计算主特征向量,处理不好主题漂移问题;进行窄主题查询时,可能产生主题泛化问题. 相关分析算法大体可以分为4类:基于随机漫游模型的算法,比如PageRank,Repution 算法;基于Hub和Authority相互加强模型的算法,如HITS及其变种;基于概率模型的算法,如SALSA,PHITS;基于贝叶斯模型的算法,如贝叶斯算法.所有的算法在实际应用中都结合传统的内容分析技术进行优化[3].AllanBoro的in也指出没有一种算法是完美的,在某些查询下,结果可能很好,在另外的查询下,结果可能很差。 3、排序算法的优化。 要提高现有算法的精度,首先,必须增强根集的质量,算法再好,也无法在低质量网页集找出很多高质量的网页;其次,降低噪音链接;最后,选择合适的查询分类.为此,笔者提出了一个考虑综合因素的相关排序实现方案. 3.1重组网页中特征项的权重。 考虑到HTML的标签的功能不同,将其分为功能类和附加类,对其分配不同的权重表,设标签权重WBT(T,P)=∑WBT(i)×LG(SMAXΠS(P))×LG(NΠT(t)),其中:SMAX表示最大网页可索引文本大小;S(P)代表网页P的可索引文本大小;N代表被索引网页的数量;T(t)代表包含特征项的网页数量.可以看出该方案综合考虑了标签权重、网页大小和特征项的频度. 3.2利用改进的PageRank算法分配链接结构。 PageRank因子的优化可从下面3个方面着手:设置导入链接PageRank得分;最大回馈和最小损耗的PageRank值的网页做导出链接;修正内部导航结构和内部页面的链接PageRank值,实现PageRank在网站内部的良好分布.设链接值ΠkiR(u)=C∑R(v)ΠN(v){v ∈B(u)}.其中:u表示一个网页;R(u)表示网页u的PageRank值;B(u)表示链接到网页u的网页集合,即网页u的链入网页集合;N(v)表示从网页v向外的链接数量,即网页v的链出网页数;C为规范化因子,用于保证所有网页的PageRank总和为常量. 3.3利用锚文本技术修正其权值。 锚文本就是链接文本,它既可以做为锚文本所在页面的内容评估,又能做为对所指向页面的评估,锚文本有很高的精度,对链接和目标网页的描述比较精确.可以利用相似度函数来计算锚文本和特征项,链接的相似度函数表达式:Slinks=W的×S的es+Wa×Sanc+Ws×Ssql.其中:W的、Wa、Ws是权值;S的es是公共子孙计算的相似度;Sanc是共同祖先计算的相似度;Ssql是最短路径长度计算的相似度. 3.4收集用户的信息。 在搜索引擎中,若用户给出一个查询并得到一个返回结果列表之后,大多数的情况之下,会点击前几个页面,可以判断其关心的主题范围,将主题和点击次数结合起来,就可以作为相关排序的一个重要权值.若WUH(p,q)>m,则其为1,负责为0,所以WUH(p,q)=∑Ki ×WUHi(p,q).其中K为衰减系数;q为查询;p为网页的点击次数. 3.5综合计算。 页面文档综合权重公式:W(P,Q)=K1×WBT(T,P)+K2×R(u)+K3×Slinks+K4×WUH(p,q),其中K1+K2+K3+K4=1.此方法的优点是它不需要象以往的算法一样模拟Web 站点的拓扑结构,使用聚类,计算Web页面的等级和Web页面之间的关联度,它只是采用了一些统计,性能有所提高.此算法与用户检索信息相关联,具有更好的针对性和个性化.缺点是结果直接受样本集的质量影响,并且样本分类的个数、模式提取的阈值等一些参数不能自动生成,需要指定 4、结语。 随着WWW的不断发展以及Web页数量的级数级增长,网上检索信息变得越来越困难.如质量不能精确的定义,链接是否包含重要的信息也没有有效的方法准确的判定,分析锚文本又涉及到语义问题,查询的分类也没有明确界限.如果欲使算法要取得更好的效果,需要继续做深入的研究。走到茶几边，我认出了外婆的杯子，但是哪一个才是妈妈的杯子呢？突然之间，我觉得，自己真得太不了解父母了。当妈妈为我倒水时，我却不知她的杯子是什么样的；当妈妈为我夹我喜欢吃的菜时，我却没想过他们是爱吃淡一点，还是浓一点。。。。。。2009年到了，意味着过去一年的逝去和新的一年的到来。妈妈为我操劳了一整年，仔细想想，现在的我也应该为她做一点点事了。 于是，我决定先将茶沏好再找杯子。学着爸爸平时沏茶的顺序，我先从茶柜里找出了一罐普洱茶，再往烧水的壶里加入水放在电茶炉上烧，接着，我将爸爸已经掰好的普洱茶片拿了两片放在盖碗里，等了一会，水开了，我小心地将水注入盖碗，将盖盖上，把盖碗里第一遍的茶水滤掉，然后再次注水，盖上盖，焖一会才两手并用地将茶水倒入茶海里，因为第一次自己动手，盖碗的烫手是我所没想到的，手忙脚乱的我弄得茶几上一片片的水渍。重复几次这样的程序后，我先帮外婆倒了一杯茶，因为外婆特别喜欢喝茶。当外婆从厨房走出来的时候我已经把茶都给倒好了，这时，外婆才告诉我哪一个是妈妈的杯子。 妈妈起床了，我双手捧着水杯送到她的面前，就像捧着一颗温热的心。妈妈一愣，随即脸上露出了微笑，她一手接过水杯，伸出另一只手将我拉进了她的怀里，那手轻轻柔柔地在我的头上抚摸着，接着妈妈在我的脸上深深地亲了一口。虽然妈妈经常亲我，但这一刻的亲吻却最让我感到幸福。我抬起头对妈妈说：“妈 妈快喝吧，要不茶要凉了。”妈妈仰起了脖子，张着嘴巴，“咕咚，咕咚”地喝了几大口。看她那甜蜜蜜的样子，仿佛微苦的普洱茶也是蜜一般甜。 我记得在我小学的时侯，就读过一首曹值的七步诗：“煮豆持作梗，辘毂以为汁；秸在釜下燃，豆在釜中泣；本是同根生，相煎何太急”。那时只知其大意，只知道曹操的长子曹丕继位，他在一些奸臣的影响下，担心他的同胞弟弟曹值篡位，便逼迫曹值在七步之内作出一首诗来，否则处死；结果他的弟弟就在七步之内写出了流传至今的“七步诗”。当时这首诗对曹丕也是一种极大的潮讽。 几个世纪过去了，社会和生活都发生了极大的变化；应该说人的素质也应有所提高；一个人生活在世上，是离不开亲情、友情和爱情的；有人说：打架亲兄弟，上阵父子兵，但是，兄弟姐妹的团结并不是真对与他人打架斗殴，在生活上，事业上应是不可或缺的照应；俗话说“一根筷子容易断，十双筷子断就难”；可见，团结是一种力量，只有团结才有攻不破的堡垒。 然而，就在生活优越的今天，兄弟姐妹往往因为一点小事，一点利益而你争我斗，反目成仇，甚而相残；我和我的朋友在聊天时有时聊及这个问题，有人这样评论：一个人生活在世上，如果不顾亲情，对兄弟姐妹甚至父母于不顾，那他在这个社会上和任何人都不要谈“情”字，特别是友情。 树大分枝，各自成立家庭后，在生活中一些小事是难免发生的，但要看你怎样去对待，把金钱和利益看的太重，那麽，你就会值亲情于不顾；看淡名利，注重亲情才是做人的底线；争则不足，让则有余，在利益和金钱面前，我们何不礼让一点，做一个有道德、有素质、有亲情的人呢？ 家和万事兴，团结是一种力量，让我们团结友爱，和睦共处，为个人的事业、 为家庭的生活、为国家的兴盛而看重亲情、友情、爱情；把金钱和利益看淡一些吧！人过留名，雁去留声，希望在几十年之后，当你离开这个世界的时侯，留给后人的不是唾泣，而是美愉。 今天是她父亲的生日,她要回家和父亲一起过生日.我很理解她的想法,更理解她的思念之情.是的,她父亲已经六十多岁了,为了子女的成长与幸福,含辛茹苦,真的的不容易.话说过来,人一辈子真的很不容易.人年老时非常希望能够和子女在一起,即使不能在一起,哪怕一个电话甚至一个短信,父母也已经很知足了.我由于长期在外,很想念爸爸妈妈.想起过去,心里真的很辛酸,父母亲为了我们的成长真的付出了很多,然而他们现在又生活得怎么样呢?想起过去的一幕一幕,我心里很难受!我很希望做做子女的我们,踏踏实实地做好每一件事情,不让父母担忧,这是最基本的我们应当做的事情. 谈到这里我不由自主地想起一部电影《我的兄弟姐妹》,这是一部关于亲情的影片,暂且不管故事的真实性,主要考究它的内涵.主人公齐思甜和哥哥齐忆苦、妹妹奇妙、弟弟齐天生活在一个不富裕却充满温馨和爱的家。然而在一个暴风雪的夜晚，他们的母亲旧病复发，咳得吐血了。父亲背她去医院，却出了意外，他们俩都亡故了。次日，另一家人搬进了四个孩子的家。性格刚强的哥哥无法忍受这个新家庭的种种，无奈地带着弟弟妹妹离开了家。他们开始四处奔波，寻找落脚之处。当实在没有能力照顾弟弟妹妹的时候，他把妹妹齐思甜送给一对正要出国的夫妇；把弟弟送给他的舅妈一家；又把小妹妹带到一对老人家中请他们收养。他自己和弟弟妹妹们便各奔东西……20年后，齐忆苦在北京当上了出租车司机；齐思甜出国受到良好的教育，成了音乐家；齐天成为东北大学学生；齐妙却当上了舞厅小姐。在北京的音乐会上，思甜蓦然回首的瞬间，音乐霎时凝固了。 他们四人拥抱在一起，泪水顺着另一支悠扬的乐曲落下，听众的掌声久久不息……终于，他们有了一次永久的重逢。 齐思甜的父亲是一个音乐教师，他们一家人都生活在音乐的天堂里，这也为后来思甜成为音乐家打好了基础。父亲说：“人生路上有许多困难的事情，只要有音乐在，你的灵魂便不再寂寞。”这位父亲是伟大的，他乐观开朗，以身作则。尽管他和蔼可亲，但同时又是一个严厉的父亲。有一回，齐忆苦偷邻居家的鸡蛋，是为了满足妹妹小小的心愿。而他却因此挨了父亲的鞭子，还罚他站在雪地里很久。在父亲被分配到别的地方边劳动边教音乐时，他对这“莫须有的罪名”并没有悲愤倒下，而是瞒着家人当搬运工挨家挨户送木材，还干各种各样的粗活。他也没有一丝怨言，还对孩子说：“我没事。”懂事的孩子们也拿起了工具，帮父亲干活。他哼着小调，阳光幸福地洒在他们脸上。 可见,这位父亲是多么伟大，他以他的行动告诉了孩子们音乐的重要性及如何面对生活的苦难。 那么，又是一种什么样的力量，使后来的四个孩子重逢，使他们欢聚，使他们接受心灵的洗礼？ 毋庸置疑，是亲情。 寒冷的冬天，四个孩子依偎在车站。他们在为下一餐饭而担心着。“哥，我饿。”、“哥，我冷。”、“哥，我想回家……”弟妹们的话刺痛了哥哥。他说：“只要我还有一口气，就不让你们受委屈。”事实上他也这么做了。如果不是亲情，他又何必活得如此累呢？他又怎能忘记，那一晚，父母临走时对他的嘱咐：“你是哥哥，要照顾好弟弟妹妹。” 生活改变了许多人和事，也改变了他们。但是，亲情是始终不渝的。 最小的妹妹齐妙长大后竟成了舞厅小姐！她离开原来的家后，养父母去世得早，加上无人看管，就开始堕落下去了。她在20年后与齐思甜相遇时，大言不惭地对她说她满足于当前腐朽昏暗的生活方式。但是自那以后，她回忆起以前的一点一滴，又不免伤感和懊悔。她发现自己对不起所有爱她的人，她的良心受到了谴责。于是，亲情的归来使她的精神方面的巨人复活了！她的灵魂才得以解放。 亲情给人以新生，亲情又犹如一支镇心剂。 亲情是心中的太阳，照耀着我们；亲情是温柔的春风，抚摸着我们；亲情如绵绵的春雨，滋润着我们。 亲情是雪，晶莹剔透；亲情也可以是雷，惊天撼地。 亲情可以是灯，温暖柔和；亲情也可以是微弱的烛光，不亮却很辉煌。 不管怎么说，亲情一定是无价的宝藏。 没有了亲情，世界变得荒芜、凄凉；没有了亲情，生命则无法繁衍后代；没有了亲情，生活就单调枯燥；没有了亲情，人间也成了地狱。 亲情是沟通两代之间思想交流的桥梁，是一条连结两颗心的纽带。 “兄弟姐妹原是天上掉下的水花，谁也不认得谁。但落在地下后，结成一体，结成冰，化成水，就永远也分不开了。” “临行密密封，意恐迟迟归”，是亲情。 “我在这头，母亲在那头”，也是亲情。 无价的亲情呵，愿我们在你的鼓舞下，驶向美好灿烂的明天。关于亲情的影片..我看这部影片时,心情很沉重,流泪了. 我想,不论一个人的出身是多么卑微,只要我们能够记住亲情的鼓舞与期待,只要我们我们去刻苦努力,只要我们在心理上能够战胜自己,那么我们就是生活的 强者! 搜索引擎的分类及工作原理 姓名:XXX班级:XXX 摘要：这篇论文是关于搜索引擎的分类及原理的分析。在浩瀚的网络资源中，搜索引擎（SearchEngine）是一种网上信息检索工具，它能帮助用户迅速而全面地找到所需要的信息。它是一个集中了千千万万个站点的地方,主要功能是给人们搜索这些站点。它还会分门别类的把一些好的站点列出来，以方便人们查找资料，有了搜索引擎你就能很容易的找到你想要的内容或站点， 关键词： 1.前言 2. ）、目录 2.1全文搜索引擎 全文搜索引擎是从网站提取信息建立网页数据库。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于近年来搜索引擎索引规则发生了很大变化，主动提交网址 并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度，出现的位置/频次，链接质量等——计算出各网页的相关度及排名等级，然后根据关联度高低，按 2.2 2.3 搜索引擎。在搜索结果排列方面，有的直接按来源引擎排列搜索结果，如Dogpile，有的则按自定的规则将结果重新排列组合，如Vivisimo 3搜索引擎的原理 全文搜索引擎的“网络机器人”或“网络蜘蛛”是一种网络上的软件，它遍历Web空间，能够扫描一定IP地址范围内的网站，并沿着网络上的链接从一个网页到另一个网页，从一个网站到另一个网站采集网页资料。它为保证采集的资料最新，还会回访已抓取过的网页。网络机 许多用户上网首先浏览的页面是淘宝搜索引擎页面，这时，脑海中就会出现一些他们所需求商品的关键词，然后通过引擎搜索到符合条件的商品。因此，要想提高网店商品被浏览的几率，就必须对搜索引擎排序原理有充分的了解。淘宝网商品的搜索排序先后规则有如下四部分:第一部分：被设为橱窗推荐位的宝贝;第二部分:虽然是橱窗推荐，但是该商品已经有90天未被人购买;第三部分:未被橱窗推荐的一般宝贝; 第四部分：一般宝贝中90天未被购买的宝贝。 由此看出，如果买家在淘宝网搜索引擎里用关键词来搜索商品，所有带关键词的商品是这样显示的，先是显示橱窗推荐的商品13天后，接下来再显示设置了橱窗推荐，但长期（超过90天）没有售出的商品0-13天，然后再显示没有设置为橱窗推荐的所有宝贝0-13天，最后显示所有宝贝里长期没有售出的宝贝0-13天，一共分四个层次来显示搜索结果，同时只显示100页的商品，101页以后的商品是不显示的。从这个规则来看，网店要想办法让商品在同类商品的排名中尽量显示在前几页，就必须从商品名称、定时发布和橱 窗推荐这三方面入手。 （1）商品名称——30个汉字尽可能包括商品更多的信息。比如店内一款的商品名称为：“韩国/专柜正品/The face shop /金盏花系列/ 毛孔收缩乳液”。这个名称中包含了“专柜”、“正品”、“韩国”、“The face shop”、“金盏花系列”、“毛孔收缩乳 液”，只要买家在首页输入以上任何一个关键词，都有可能搜索到这款商品。但这种手段并不能完全确保“一定能搜索到”，因为在淘宝网同一种商品是数以千计的，而搜索结果只显示前100页，要想让商品在搜索结果前几页被看到，就要做好 定时发布。 （2）定时发布——保证商品处在搜索结果的首页。定时发布，就涉及到“发布时间”的问题。只有知道了这准确的时间点才能有的放矢。这个“时间点”的信息要从相关的统计网站获取，他们能统计分析出每天进入网店的人流量及各时段的具体情况，这样店主就能知道哪些时间段是真正的人流高峰期，哪些时间段是人流低谷。根据淘宝网店的平均统计显示：上午9点～10点、下午16点～18点、晚上20点～22点，这三个时段是相对的人流高峰期，而其他时间，尤其是夜间1点～6点为人流低谷。这样，店主就能把商品定时发布在 以上三个高峰时段。 （3）橱窗推荐——巩固加强，确保万无一失。橱窗推荐是指在所售商品中选取15个在店内推荐橱窗栏中进行展示，这15件商品就相当于商店的“门面”，以此来吸引买家的眼球，而买家如果想看店内更多的宝贝，则需要进到店铺里。就像传统实体店铺一样，每位掌柜在街边都有一个店铺橱窗，他们会把时下最流行、最能代表店铺特点的商品摆放在那里。每个店铺的可用橱窗推荐位是有限的，因此更应该准 七、 国内外著名搜索引擎介绍 教学目的 掌握常见搜索引擎的使用方法与技巧 教学内容 1、搜索引擎介绍 1.1搜索引擎发展 十几年前，WWW（World Wide Web，万维网）还没有诞生的时候，互联网上只有冰冷的 文字，没有图像和声音，而且网站数量也不多，感兴趣的网站就那么几个，可以在很短 的时间内就掌握其中的全部信息，搜索引擎完全没有出现的必要。1993年，互联网上出 现了最早的Web浏览器Mosaic，次年Netscape推出了Navigator。浏览器的发展促使 Web得到迅速推广，站点数目以惊人的速度增加，我们再也不能用传统记忆方式来应付 与日俱增的站点。于是，搜索引擎就诞生了。第一个搜索引擎的出生地在美国，它的名 字叫Archie,是由McGill大学的一个小组开发的。 1.2搜索引擎工作原理 利用自动搜寻软件，不断发现与收集各类新网址及网页，利用自动索引软件对网页进行 标引，建立记录的数据库。当用户输入提问关键词之后，以不同的检索方法在其数据库中找 出相关的记录，并按相关性顺序排列，将包含此关键词或符合检索条件的所有网址信息和指 向这些网址的链接反馈给用户，从而实现查询目的。简单地说，搜索引擎的原理，可以看作 三步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索排序。 1.3搜索引擎如何排列Web页面 依据是"位置/频率法"。 1.4搜索引擎词语介绍 简单搜索；词组搜索；语句搜索；目录搜索；高级搜索； 1.5搜索引擎的类型 按搜索引擎获取信息的不同：独立搜索引擎；元搜索引擎；网络搜索软件。 按组织信息的方式：目录搜索引擎；全文搜索引擎；分类全文型搜索引擎；智能搜索引擎。 按服务对象和规模：综合门户搜索引擎；垂直搜索引擎。 2、综合性搜索引擎 在互联网发展的最初阶段，网民在各项活动中的主要浏览对象几乎都是综合性的网站（或称 为门户性网站），所谓综合，指其提供信息与服务的范围广泛，从新闻、讨论组、免费信箱、 下载软件到图片的搜索，不固定在专一知识领域，涉及多种主题内容。 2.1 Google Google是一个搜索引擎，由两个斯坦福大学博士生Larry Page与Sergey Brin于1998年 9月发明，Google Inc. 于1999年创立。2000年7月份，Google替代Inktomi成为Yahoo 公司的搜索引擎，同年9月份，Google成为中国网易公司的搜索引擎。98年至今，GOOGLE 已经获得30多项业界大奖。 GOOGLE基本搜索 Google支持大多数的搜索基本语法规则，比如‘ AND’、 ‘OR’、‘-’，Google无需用 明文的‘AND ’来表示逻辑‘与’操作，只要空格就可以了；Google用减号‘-’表示逻 辑‘非’操作；Google用大写的‘OR’表示逻辑‘或’操作； ·不区分英文字母大小写，所有的字母均当作小写处理； ·Google不支持通配符，如‘*’、‘?’等； 搜索引擎基本工作原理 目录 1工作原理 2搜索引擎 3目录索引 4百度谷歌 5优化核心 6SEO优化 ?网站url ? title信息 ? meta信息 ?图片alt ? flash信息 ? frame框架 1工作原理 搜索引擎的基本工作原理包括如下三个过程：首先在互联网中发现、搜集网页信息；同时对信息进行提取和组织建立索引库；再由检索器根据用户输入的查询关键字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。 1、抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫（spider）。爬虫Spider顺着网页中的超链接，从这个网站爬到另一个网站，通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 2、处理网页。搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引库和索引。其他还包括去除重 复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。 3、提供检索服务。用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 搜索引擎基本工作原理 2搜索引擎 在搜索引擎分类部分我们提到过全文搜索引擎从网站提取信息建立网页数据库 的概念。搜索引擎的自动信息搜集功能分两种。一种是定期搜索，即每隔一段时间（比如Google一般是28天），搜索引擎主动派出“蜘蛛”程序，对一定IP 地址范围内的互联网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。 另一种是提交网站搜索，即网站拥有者主动向搜索引擎提交网址，它在一定时间内（2天到数月不等）定向向你的网站派出“蜘蛛”程序，扫描你的网站并将有关信息存入数据库，以备用户查询。由于搜索引擎索引规则发生了很大变化，主动提交网址并不保证你的网站能进入搜索引擎数据库，因此目前最好的办法是多获得一些外部链接，让搜索引擎有更多机会找到你并自动将你的网站收录。 当用户以关键词查找信息时，搜索引擎会在数据库中进行搜寻，如果找到与用户要求内容相符的网站，便采用特殊的算法——通常根据网页中关键词的匹配程度， 最佳优先模式--搜索引擎算法分析 搜索时大部分用户只关注排在最前面的搜索结果。尽管视系统，用户，任务和界面的不同，具体的搜索结果数量也不同，但可以肯定的是前三个搜索结果将吸引你80%的主意力。搜索结果第一页的其他链接也会得到部分关注，但其后的内容则不然。 有两个原因决定了这很重要。首先，搜索的最简单用例就是：浏览有用的搜索结果。用户输入关键词，扫视前面几个搜索结果，点击链接，搜索就完成了。要让搜索简单，快速，有用，最佳优化搜索模式非常重要。其次，最前面的几个搜索结果对于查询重构有着极大的影响。用户输入搜索字词，浏览最初的几个结果，然后再试试搜索其他的内容。大约20%~50%的搜索都包括查询重构。前三个搜索结果是用户界面的重要组成部分。 因此，选择搜索引擎时，应该首先考虑最佳优先模式。高质量，透明，灵活的结果排序算法是成功的关键。他们自始至终都应该是优秀而出色的，能够根据特定内容集而变或是随着应用的独特需求而变。其算法应该包括： 相关性 包括主题的相关性，目的在于将搜索关键字和内容文本元数据匹配起来。有效算法包括词汇排序，相似性，位置，频度和文档长度等。短标题里的精确词汇匹配比起长篇内容里的AND共现匹配要有价值得多。在一个网页上反复出现，但在网站上其他地方却难寻踪迹的词语其权重也更高。相关性算法必须处理好文本查询的特殊情况，包括复数和其他单词变体，比如诗人和诗歌。只有做出调整才能在查准率和查全率之间取得合适的平衡。相关性是典型的搜索引擎默认设置，而且事实上往往也是一种混合模式，把多种算法整合到一个平衡的解决方案中。 流行性 在大多数情境中，社会化数据能够极大地改善语义算法。谷歌的PageRank算法把链接视为投票，这是一个大获成功的做法。如今流行性已经成为典型的多算法度量。在Flickr 上，照片的兴趣度有浏览数，评论数，注释数和收藏次数等决定。在亚马逊网站上，用户按照最畅销或最佳评论来排序。不过，及时用户按照相关性来排序时，社会化数据也影响着搜索结果的显示排序。 日期 默认日期排序并不好，但这一选项也自有用处。尤其是对于新闻和邮件应用来说，按照反向时间顺序（即最新的内容优先显示）相对更加常见。在许多情况下，出版日期或是修改日期可以为通用相关性算法提供有价值的数据，从而改善首选搜索结果的实时性。 格式 在单一形式中，格式和内容类型就像过滤器一样有用，用户可以选择只查看特定格式的内容，比如图片，视频或新闻。而且，他们还可以帮助改善最佳搜索结果。比如，在企业内 搜索引擎的工作原理： 抓取网页 每个独立的搜索引擎都有自己的网页抓取程序（spider）。Spider顺着网页中的超链接，连续地抓取网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍，理论上，从一定范围的网页出发，就能搜集到绝大多数的网页。 处理网页 搜索引擎抓到网页后，还要做大量的预处理工作，才能提供检索服务。其中，最重要的就是提取关键词，建立索引文件。其他还包括去除重复网页、分词（中文）、判断网页类型、分析超链接、计算网页的重要度/丰富度等。 提供检索服务 用户输入关键词进行检索，搜索引擎从索引数据库中找到匹配该关键词的网页；为了用户便于判断，除了网页标题和URL外，还会提供一段来自网页的摘要以及其他信息。 搜索引擎的作用 以百度为例介绍搜素引擎的用法 1. 搜索，就这么简单 只要在搜索框中输入关键词，并按一下按钮，百度就会自动找出相关的网站和资料。 百度会寻找所有符合您全部查询条件的资料，并把最相关的网站或资料排在前列。 小技巧：输入关键词后，直接按键盘上的回车键（即Enter健），百度也会自动找出相关的网站或资料。 2. 什么是关键词 关键词，就是您输入搜索框中的文字，也就是您命令百度寻找的东西。 您可以命令百度寻找任何内容，所以关键词的内容可以是：人名、网站、新闻、小说、软件、游戏、星座、工作、购物、论文、、、 关键词，可以是任何中文、英文、数字，或中文英文数字的混合体。 例如，您可以搜索[大话西游]、[windows]、[911]、[F-1赛车]。 关键词，您可以输入一个，也可以输入两个、三个、四个，您甚至可以输入一句话。 例如，您可以搜索[爱]、[美女]、[mp3 下载]、[游戏攻略大全]、[蓦然回首，那人却在灯火阑珊处]。 提示：多个关键词之间必须留一个空格（按一下键盘上最长的那个键）。 3. 准确的关键词 百度搜索引擎严谨认真，要求“一字不差“。 例如：分别输入[舒淇] 和[舒琪] ，搜索结果是不同的。 分别输入[电脑] 和[计算机] ，搜索结果也是不同的。 因此，如果您对搜索结果不满意，建议检查输入文字有无错误，并换用不同的关键词搜索。 4. 输入两个关键词搜索 输入多个关键词搜索，可以获得更精确更丰富的搜索结果。 例如，搜索[北京暂住证]，可以找到几万篇资料。而搜索[北京暂住证]，则只有严格含有“北京暂住证“连续5个字的网页才能被找出来，不但找到的资料只有几百篇，资料的准确性也比前者差得多。 因此，当你要查的关键词较为冗长时，建议将它拆成几个关键词来搜索，词与词之间用空格隔开。 多数情况下，输入两个关键词搜索，就已经有很好的搜索结果。 高级搜索功能 1. 减除无关资料 有时候，排除含有某些词语的资料有利于缩小查询范围。 百度支持“-“功能，用于有目的地删除某些无关网页，但减号之前必须留一空格，语法是“A -B“。 例如，要搜寻关于“武侠小说“，但不含“古龙“的资料，可使用如下查询： 2. 并行搜索 使用“A | B“来搜索“或者包含关键词A，或者包含关键词B“的网页。 例如：您要查询“图片“或“写真“相关资料，无须分两次查询，只要输入[图片| 写真] 搜索即可。百度会提供跟“|“前后任何关键词相关的网站和资料。 3. 相关检索 几大搜索引擎排名算法趣味解析 做优化最关心的是什么，当然是在几大搜索引擎的排名，几年的淘汰，现在的格局是百度一家独大，然后带领360和新搜狗二个小弟，谷歌中国只剩下不到3%的市场，基本上可以忽略不计，但是谷歌毕竟在全球还是搜索老大，粉丝效应还有一些的用户。 百度：个人觉得百度在排名算法是最人性的，虽然说这个话可能引来好多人的吐槽，因为好多人深受百度其害，认为百度是是难伺候的，算法层出不穷，而且经常所谓的大姨妈，很是伤了好多人的心，但是从我感觉来看，从来没有感受过百度所谓的K站，优化手法也是一直采用正规的白帽手法，几年来优化过的一些站也是得到了自己心仪的排名，为什么说百度最人性呢，最近上了一个新站，到现在差不多刚好一个月的时间，虽然关健词的指数都不高，不过几个关健词已经齐齐的奔入了百度前三页，而且还在稳步的上升中，为什么能这样呢，就是因为百度的新站效应这个人性化的举措，好些优化人士也说，只要你网站按照百度要求搭建，然后内容建设也符合百度规律，那么你网站上线收录不久后百度就会给部份关健词相应的排名，大家都知道优化是一个相当枯燥的事情，能坚持是一件相当困难的事情了，给了甜头，当然有干下去的动力，只要你持续，那后来一定会收到一个比较理想的排名的，但是也有好些人一直所谓的抱怨这，抱怨那，一直没有得到自己想要的排名，这个呢估计得自己找原因了， 360：上线以来，给了人们好大的期望，但是我感觉期望的这部份人应该大部份是来自百度受害者，欺许能在这里得到心灵的安慰，也就出现了一些研究360排名的人，但是至今网上也没有关于这方面的文章，个人感觉360应该没有什么核心算法，搜索结果跟百度也是惊人的雷同，新站基本上不可能在360出现排名，一些老站排名和百度差不多，为什么新站不给排名呢，估计是在等百度排名稳定后再抄袭，这个也就是最近百度频繁推出新算法的的原因，推出新算法一方面是为了提高体验，一方面是打造技术门槛防止被抄袭。 谷歌：在说谷歌之前先上一幅图，这个是这几天在A5上面看到的一篇文章 现在不知道还有多少人是这样的，经常聊天的时候也听到类似的一些观点，认为谷歌怎么怎么的好，谷歌虽然是全球巨头，但是谷歌中文我感觉来是最差的，排版布局上面首先就让人看得难受，我也不知道好多人所说的谷歌好是指的是谷歌中文，还是谷歌英文了，也不知道他们到底是谷歌的用户，还是谷歌的粉丝，还是因为就像以前流行的那样，搜索用谷歌，聊天用MSN等这样的，谷歌中文排名也是我感觉最简单的，那就是一句话外链至上，就是如果你有足够的外链， 相对于TF-IDF 而言，在信息检索和文本挖掘领域，BM25算法则更具理论基础，而且是工程实践中当仁不让的重要基线（Baseline）算法。BM25在20世纪70年代到80年代被提出，到目前为止已经过去二三十年了，但是这个算法依然在很多信息检索的任务中表现优异，是很多工程师首选的算法之一。 今天我就来谈谈BM25算法的历史、算法本身的核心概念以及BM25的一些重要变种，帮助你快速掌握这个信息检索和文本挖掘的利器。 BM25的历史 BM25，有时候全称是Okapi BM25，是由英国一批信息检索领域的计算机科学家开发的排序算法。这里的“BM”是“最佳匹配”（Best Match）的简称。 BM25背后有两位著名的英国计算机科学家。第一位叫斯蒂芬·罗伯逊（Stephen Robertson）。斯蒂芬最早从剑桥大学数学系本科毕业，然后从城市大学（City University）获得硕士学位，之后从伦敦大学学院（University College London）获得博士学位。斯蒂芬从1978年到1998年之间在城市大学任教。1998年到2013年间在微软研究院剑桥实验室工作。我们之前提到过，美国计算机协会ACM 现在每三年颁发一次“杰拉德·索尔顿奖”，用于表彰对信息检索技术有突出贡献的研究人员。2000年这个奖项颁给斯蒂芬，奖励他在理论方面对信息检索的贡献。BM25可谓斯蒂芬一生中最重要的成果。 另外一位重要的计算机科学家就是英国的卡伦·琼斯（Karen Sp?rck Jones）。周一我们在TF-IDF 的文章中讲过。卡伦也是剑桥大学博士毕业，并且毕生致力于信息检索技术的研究。卡伦的最大贡献是发现IDF 以及对TF-IDF 的总结。卡伦在1988年获得了第二届“杰拉德·索尔顿奖”。 BM25算法详解 现代BM25算法是用来计算某一个目标文档（Document）相对于一个查询关键字（Query）的“相关性”（Relevance）的流程。通常情况下，BM25是“非监督学习”排序算法中的一个典型代表。 一、界面、广告以及速度搜索引擎在我们日常操作中的使用频率非常高，大家使用它的目的都非常明确，就是用它来搜寻需要的内容，而不会为搜索引擎的页面做过多的停留，因此搜索引擎的界面设计和速度就对我们的使用产生不小的影响，下面来看看这六款搜索引擎在界面和速度上的表现。谷歌、百度和微软的Live Search，这三大搜索引擎的界面大家都已经相当熟悉，它们有着共同的特点，就是简洁至极：网站LOGO、搜索框和按钮以及个别功能服务链接，除此以外，页面上就没有其他多余和花哨的东西了，给人的感觉非常清爽，界面一目了然，特别是Live Search在不失简洁的同时还通过一些小脚本和背景图片使得页面整体更加美观。三者使用起来都很方便，并且首页界面上没有任何第三方的广告。搜索结果页面，三者同样是采用简洁的风格，页面左侧排列着搜索结果，百度搜索结果页面右侧有不少广告，谷歌视关键词的不同也可能出现右侧广告。 Live Search的界面十分简洁且美观 百度搜索结果页面右侧的广告与上面三者相比，雅虎全能搜在界面上显得更为活泼、色彩更加多样，并且在首页内容上也更丰富。首页上除了常规的搜索所需组成部分外，雅虎全能搜还加入了天气预报、邮箱登录的显示区域。虽然这些占据了一点点页面，但是它们功能实用且不影响正常使用。雅虎全能搜的搜索主页 搜狗搜索的界面可谓结合了谷歌和Live Search：在布局上 与谷歌类似，而在细节上与Live Search有着异曲同工之妙；而搜索新军——网易有道的界面与谷歌、百度站在同一阵线，风格、版式都十分一致。在搜索结果页面中，搜狗搜索页面左侧有少量广告。总的来说，六款搜索引擎的界面设计都比较合理、美观、大方。雅虎全能搜的界面稍有不同，加入了天气预报和邮箱模块，而其他五款都尽量精简，其中谷歌、百度和有道趋于一致，采用最简的风格，而Live Search和搜狗在首页的一些细节上多加以了一些修饰。此外，值得一提的是一些搜索引擎对于Logo文化的重视，在传统的节日或者一些特殊的纪念日时都会将首页的Logo徽标换成与该日子相关的设计。其中在这方面要数谷歌和百度做得最为出色：无论是三八节、五一节这样的国际节日，或者情人节、万圣节这样的西方舶来物，还是春节、清明、端午等传统的中国农历节日，谷歌和百度都会精心设计相应的节日Logo；此外，谷歌在一些特殊的纪念日，如达芬奇诞辰、地球日之类的纪念日也会推出专门的徽标；而百度近期开始定期在首页推出一个搜索封面人物，以此反映对互联网时代风云人物的价值取向，十分有特色。雅虎和搜狗在节日Logo设计方面也有所表现，在节日时也可经常看到其专门的徽标；网易有道正式版新近推出不久，我们还无法对其在特殊Logo的设计上是否会有所表现作出评价。搜索引擎的特色Logo其实并不仅仅是一个单纯的设计，它还有更多的作用：它承载了一种信息，传达了搜索引擎提供商对于创新、 信息检索与搜索引擎技术实 验向量空间模型 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII 昆明理工大学信息工程与自动化学院学生实验报告 （ 2014—2015学年第 1学期） 课程名称：信息检索与搜索引擎技术开课实验室：信自楼445 2014 年12月 23日 一、上机目的及内容： 给定文档语料: d1: 北京安立文高新技术公司 d2: 新一代的网络访问技术 d3: 北京卫星网络有限公司 d4: 是最先进的总线技术。。。 d5: 北京升平卫星技术有限公司的新技术有。。。 设计一个针对这些文档的信息检索系统。具体要求是： 1)给出系统的有效词汇集合（说明取舍原因）。 2)写出d1和d2在VSM中的表示（使用tf*idf，写出各项的数字表达式，具体数值不必 实际计算出来）。 3)画出系统的倒排文件示意图。 4)按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前3个反馈结果。 2 二、实验原理 1)给出系统的有效词汇集合（说明取舍原因）。 北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平 的、是、最、有，这些词作为停用词不能加入系统的有效集合 一、代，去除后并不影响原来句子语义的表达也不能算作系统的有效集合。 2)写出d1和d2在VSM中的表示（使用tf*idf，写出各项的数字表达式，具体数值不必实际 计算出来）。 得到的矩阵： 3 4 说明： TF ：表示词项在该文档或者查询词中出现 的频度。即该词项出现次数除以该文档的长度（所有词的个数） ：表示词项k 在D i 中的出现次数。 ：表示该文档的长度（所有词的个数） IDF ：表示词项在文档集合中的重要程度。一个词项出现的文档数越多，说明该词项的区分度越差，其在文档集合中的重要性就越低。 N ：表示集合中的文档数； ：表示出现词项k 的文档数。 d1中各词项的数字表达式 “北京”的 “安”的 “立”的 北京 1 0 1 0 1 3 安 1 0 0 0 0 1 立 1 0 0 0 0 1 文 1 0 0 0 0 1 高新 1 0 0 0 0 1 技术 1 1 0 0 1 3 公司 1 0 1 0 1 3 新 0 1 0 0 1 2 网络 0 1 1 0 0 2 访问 0 1 0 0 0 1 卫星 0 0 1 0 1 2 有限 0 0 1 0 1 2 先进 0 0 0 1 0 1 总线 0 0 0 1 0 1 升 0 0 0 0 1 1 平 0 0 0 0 1 1 淘宝人气排名早在我们开店之前就实行了，所以流量的起伏，跟淘宝的排名规则是没关系的。最近又进一步研究了下，在淘宝里面搜索宝贝时，如果是买家自己输入的关键字搜索，那出来的就是“全部宝贝”，不管你输的关键字是否跟淘宝搜索下拉菜单里的关键字一样；如果是按照搜索的下拉菜单来搜索的，那出来的就是“人气宝贝”。其实这个规则对卖家的影响并没有论坛里一些人说的那么夸张，流量下降时大家都想当然的以为就是淘宝在搞鬼，其实淘宝只是一个平台，不会偏袒大卖家不顾新手卖家的。 个人查找的资料显示流量下降的因素是非常多的。就像卖保暖衣服的，天气冷了，买衣服的人多了，自然流量就大，温度持续攀升。橱窗推荐还是非常重要，只是已经不是唯一的因素了，人气排名太复杂，下面就引用搜集论坛里前辈总结的经验，希望对我们都有点帮助：淘宝的搜索结果中，默认出现的商品不是所有商品，而是按人气排名显示的商品列表，这一点让人倒吸一口冷气，首先想到的就是，刚开的卖家的优势丧失殆尽，新卖家何谈人气可言，没有销售量，没有浏览量，没有收藏数量等这些人气数据，新卖家的商品的排名势必排在最后了。淘宝这么做的目的很明显，让强者更强，弱者更弱，又一个弱肉强食的圈子。那么如何提高宝贝人气呢，淘宝给了你选择，就是花钱做直通车，做阿里妈妈推广，淘宝可谓用心良苦啊。 现在分析一下淘宝的搜索结果排名规律。 默认搜索结果显示的是按人气排名的商品列表，位于第二个选项卡，而第一个选项卡才是“全部宝贝”菜单，“全部宝贝”的商品列表才是按照下架剩余时间序的商品，这里才是最公平的排名方式的搜索结果。 一、首先分析“全部宝贝”的排序规则（按下架时间排序的商品）。 1、无关因素规律 排名先后与售出量、浏览量、价格、卖家好评率、先行赔付、所在地、商品页面的排版布局和单一关键字在商品名称中出现的先后顺序、次数等因素基本无关。例如“特价女装文胸，特价女装内衣”的商品和名为“特价女装文胸内衣”的商品比较，在搜索“特价女装”关键字的时候，前一种商品不会因为“特价女装”关键字出现了两次或者售出量多等因素而在搜索结果中排名靠前。 2、搜索结果排名规律 影响商品排名的关键因素有两个，分别是“剩余时间”和“是否推荐商品”。 搜索结果根据是否“橱窗推荐”商品这个因素，被划分为两个区段，无论剩余时间是多少，推荐商品的区段排名都在未推荐商品区段的前面，同一区段内，剩余时间越短，排名越靠前。例如：即便“特价女装文胸”商品还有5分钟就要下架了，如果它没有被勾选为橱窗推荐商品，他的排名还是比刚刚发布出来的橱窗推荐商品“特价女装连衣裙”靠后。如果同样都是橱窗推荐商品，那么快要下架的“特价女装文胸”会排在前面。 3、等效搜索词规律 1）第一关键词＋第二关键词＝第一关键词＋特殊字符＋第二关键词即紧密排列规律，搜索时特殊字符将被忽略，搜索结果不含拆分（即搜索结果中多个关键词按照顺序紧密相连）。 2）第一关键词＋空格＋第二关键词＝第二关键词＋空格＋第一关键词，即顺序无关规律，用空格分割两个关键词搜索的结果中含拆分（即搜索结果中既有多个关键词紧密相连又有多个关键词不紧密相连的情况），关键词出现顺序和搜索时的顺序无关。例如搜索“特价女装文胸”，那么标题为“特价文胸女装”和“女装文胸特价”这两种情况都将被搜索到。同时无论搜索的结果含不含拆分，排名一定严格按照搜索结果排名规则来排序。 经过大量测试，淘宝基本没有对关键字排名进行干预，搜索符合上述三条规律 《信息检索搜索引擎技术》期末考试报告 学期：2016-2017学年第一学期 任课教师：毛存礼 专业年级：计科133 学号：201310405339、 201310405326、 201310405330、201310405325 学生姓名：李然、毛子铭、张倩、黄枫 目录 一、系统概述 (3) 二、系统需求分析 (3) 2.1功能需求分析 (3) 三、程序实现 (4) 3.1 爬虫的实现 (4) 3.1.1 对网页进行分析 (4) 3.1.2编写爬虫 (5) 3.2索引的实现 (7) 3.2.1分词的实现 (7) 3.2.2索引的建立 (8) 3.2.3检索索引 (9) 3.3向量空间模型的实现 (10) 3.3.1向量空间模型概述 (10) 3.3.2建立向量空间模型 (11) 3.4利用Lucene打分机制对文档打分 (13) 四、测试 (14) 五、心得体会 (17) 一、系统概述 随着互联网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找自己所需的信息，就像大海捞针一样，搜索引擎技术恰好解决了这一难题。搜索引擎是指互联网上专门提供检索服务的一类网站，这些站点的服务器通过网络搜索软件或网络登录等方式，将Intenet上大量网站的页面信息收集到本地，经过加工处理建立信息数据库和索引数据库，从而对用户提出的各种检索做出响应，提供用户所需的信息或相关指针。 用户的检索途径主要包括自由词全文检索、关键词检索、分类检索及其他特殊信息的检索。本系统基于HTMLUNIT框架，构建爬虫，基于LUCENE框架，构建索引，利用向量空间模型向量化表示文档间的相关性，利用LUCENE 给相关文档打分。 二、系统需求分析 2.1功能需求分析 该系统分为四个功能模块： （1）爬虫模块 （2）索引模块 （3）向量化表示模块 （4）打分模块 具体实现分工如下： ①爬虫模块：该模块采用Htmlunit框架，主要负责爬取网页内容，在 本地建立文档库，以便于索引功能模块，将文档库里的文档内容建立成索引。 （毛子铭所做） ②索引模块：该模块采用Lucene框架，功能分为两块：一是建立索引， 将爬取的内容建立成索引。二是检索索引，即提供给用户检索索引。（张倩所做） ③向量化表示模块：该模块采用向量空间模型，其功能是将查询文本和 淘宝搜索，目前是全球最大的购物搜索引擎，每天的搜索量接近4亿。淘宝搜索和现有很多中国互联网应用不一样，基本上没有模仿对象，一切都是在摸索，一直在变化。从最开始严格按下架时间排序，到2010年7月上线的阿基米德项目，让搜索的排序规则变得越来越复杂，也越来越科学。搜索算法通常每半个月都会做一些调整，每个星期都会有三四套算法在线上分部分流量进行测试，通过验证效果，来确定哪一套算法会上线，然后继续修改新的参数，再进行测试。 一、淘宝搜索之“类目的匹配问题” 类目的匹配问题：举个例子吧，我是卖女士内衣的，我的这个品牌只有套装，没有卖单件文胸的，那类目里面有两个选项，一个是文胸，一个是文胸套装。那你在我这个类目里搜索文胸，文胸套装就没被搜出来了?而且“文胸”这个词的展现是“文胸套装”的N倍，如果我想我的产品能更加容易被搜索到，那我就必须去错放类目了，那这样子算违规吗? 其实错放类目在搜索之中并不会占比较大的因素，只要修改过来了，也就不会被降权了。本身现在的淘宝类目介定也不会特别地细。但是如果是故意错放类目的话，放了一些非常不相关的东西，比如说你卖3C的，放到连衣裙的里面了，这就比较严重了。比如买家搜索文胸，那90%以上都是自动匹配“文胸”这个类目了，然后只有搜索“文胸套装”的时候才会自动匹配“文胸套装”这个类目了，展现量的话肯定是前者比较高的，所以这个大家可以尝试下往热门类目上架。 二、淘宝搜索优化要注意啥? 淘宝搜索规则好像每一年都有比较大的变化，搜索规则为什么变?比如现在的规则是一个页面最多只能显示同一卖家的两个商品，还有之前按下架时间排序改为按算法计算宝贝权重来排序，这个变化对卖家来说也是比较大的。像刚刚说的一个页面最多只能显示同一卖家的两个商品，但是也有例外，比如会员在搜索特定的品牌词的时候，比如“七格格”“阿卡”这些，就有可能出现不止两个商品，还有一个例外，就是排名中上面的三个“豆腐块”在豆腐块出现一个，在“非豆腐块”也有可能出现两个了。搜索优化最重要的就是关键词，我比较建议大家除了在研究关键词的同时，也要注意去关注点击，成交转化率还有购物体验等，我们说的DSR评分也是一个购物体验的展现。很多人都在抱怨流量不够，但是自己没有去想想自己对这些流量有没有有效地去利用。你有200个UV，你只转化了一个成交，甚至没有成交。有几个因素：下架时间分布，按照这个轮播，这个是默认搜索排序，信用排序和价格排序还有信用排序除外，这个在一个时间段内抓取商品再根据一些因素去排序，所以大家可以根据这个去安排合理的商品下架时间。这个有几种解释，淘宝的流量，周一周二是最高的，上午9点到11点是比较高的。下午3点到5点，晚上8点到10点，晚上的高峰期是最高的。高峰时间竞争大。可以避开高峰期。相关性：分为标题相关性跟类目相关性，我们接下来会针对这个相关性清晰化。 三、淘宝搜索之“宝贝质量评分” 宝贝质量包括了图片的质量，包括宝贝详情页的质量，除此之外宝贝的人气分还包括宝贝的销量，你的转化率，你的收藏回头客等等，但这些也是根据机器算法拟合的，什么是拟合出来，就是后台会拿历史数据进行拟合，看看是不是用户真正喜欢的，所有千万不要作弊，很容易就被系统查到，系统自动审核自动处罚，而且系统确实不能做到100%准确，希望大家能引起警戒千万不要作弊。 四、销量对淘宝搜索排序的影响 销量本身确实能说明很多问题，比如用户喜欢，我们一开始是按月销售件数，但我们发现月销售件数会有很多人去刷，我们为了增加作弊的门槛，所以就改成销售笔数，销售笔数就是你成交一笔就算卖100件也算一笔，但还是不能解决问题，所以我们之后就改成销售人数，现在很多计算方法就是多少人成交多少笔，之后有可能会就改成多少人成交，这么做就 百度、谷歌、搜狗、有道四大搜索引擎的比较分析学校：中南财经政法大学学号：2009357770832 姓名：李心彤 随着经济与科技的发展，信息对于人们来说越来越重要，而随着计算机的普及，人们利用搜索引擎来获取信息也是越来越频繁。因此，国内外的几家搜索引擎展开了角逐，在各自领域努力发挥着自己的优势。本文通过对百度、谷歌、搜狗、有道四大搜索引擎的个人化体验，对其作出比较与分析。体验主要从以下几个方面进行： 一、政治敏感度 搜索引擎百度搜狗有道谷歌 词条数量323 1433 43 69100 可以看出，在搜索较为敏感的政治事件时，各大搜索引擎表现出极大的不同。作为国内最大用户最多的百度搜索引擎，是唯一一个表现出明确屏蔽态度的搜索引擎，会在搜索框下方显示“根据相关法律法规和政策，部分搜索结果未予显示”，且其搜索数量也是几个搜索引擎中较少的。同时，在搜索出来的词条中，再未显示关键词中的任何一个字，仅在具体内容中偶有一两个相同字眼。可见百度对政治敏感内容十分顾忌。 而搜狗则在搜索页的最末用灰色字体显示“根据相关法律法规和政策，部分搜索结果未予显示”，不太能够引起人的注意。其搜索结果虽然在四个引擎中排名第二，但仍然并不算多。且其跟百度一样，搜索出来的结果中并未出现过多的关键词。 有道虽然是所有引擎中结果数量最少的，但出人意料的是，有道所搜索出来的前几个词条，是完全符合搜索词的。虽然其具体内容皆无法打开，但不得不说有道是国内引擎中最大胆的。 而谷歌作为国外开发的搜索引擎，一向对政治事件十分随意，因此，我们不难从图片中看出搜索政治敏感事件时，谷歌就像搜索随意的生活内容一样将各项结果显示，且有些资源是来自于国外的网站。但是具体点击时，视频、图片以及部分文字类内容明显在检测和过滤后是打不开的，且检测与过滤速度十分缓慢。但是，部分论坛里的讨论、对事件阐述并不太多也不太高调的文字类内容还是能够得以显现。 笔者随后更换搜索的关键词，使其更多与国家政治领导人相关，其搜索结果为： 搜索引擎百度搜狗有道谷歌 词条数量80200 3986 99 117000 信息检索技术方法及搜索引擎.txt 1 截词检索技术 2 邻近检索技术 3 字段检索技术 4 布尔逻辑检索是指通过标准的布尔逻辑关系算符来表达检索词与检索词间的逻辑关系的检索 方法. 主要的布尔逻辑关系词有:逻辑与(AND),逻辑或(OR),逻辑非(NOT) 1 布尔逻辑检索技术 逻辑与 逻辑乘: "and"或"*"表示 组配方式:A*B或者A and B 表示两个概念的交叉和限定关系,只有同时含有这两个概念的记 录才算命中信息 作用:增加限制条件,即增加检索的专指性,以缩小提问范围,减少文献输出量,提高查准率. 逻辑或 又称逻辑和:"or","+" 组配方式:A OR B或者A+B,表示检索含有A词,或含有B词,或同时包含A,B两词的文章. 作用:放宽提问范围,增加检索结果,起扩检作用,提高查全率. 逻辑非 又称逻辑差: "not" "-" 组配方式:A-B,表示检索出含有A词而不含有B 词的文章. 作用:逻辑非用于排除不希望出现的检索词,它和"*"的作用相似,能够缩小命中文献范围,增 强检索的准确性. 例如检索:"打印机驱动程序" 查询关键词:打印机,驱动程序 检索表达式:打印机 AND 驱动程序 例如检索:"微型计算机"方面的有关信息 查询关键词:微型计算机,微机 检索表达式:微型计算机OR 微机 布尔逻辑检索举例 布尔运算符优先级比较 有括号时:括号内的先执行; 无括号时:NOT > AND > OR 例:检索"唐宋诗歌"的有关信息. 关键词:唐,宋,诗歌; 检索表达式: (唐 OR 宋)AND 诗歌; 唐 AND 诗歌 OR 宋 AND 诗歌; 错误表达式: 唐 OR 宋AND诗歌; 唐 AND 宋AND诗歌; 主流搜索引擎算法讲解大全 １．引言 万维网WWW（World Wide Web）是一个巨大的，分布全球的信息服务中心，正在以飞快的速度扩展。1998年WWW上拥有约3.5亿个文档[14]，每天增加约1百万的文档[6]，不到9个月的时间文档总数就会翻一番[14]。WEB上的文档和传统的文档比较，有很多新的特点，它们是分布的，异构的，无结构或者半结构的，这就对传统信息检索技术提出了新的挑战。 传统的WEB搜索引擎大多数是基于关键字匹配的，返回的结果是包含查询项的文档，也有基于目录分类的搜索引擎。这些搜索引擎的结果并不令人满意。有些站点有意提高关键字出现的频率来提高自身在搜索引擎中的重要性，破坏搜索引擎结果的客观性和准确性。另外，有些重要的网页并不包含查询项。搜索引擎的分类目录也不可能把所有的分类考虑全面，并且目录大多靠人工维护，主观性强，费用高，更新速度慢[2]。 最近几年，许多研究者发现，WWW上超链结构是个非常丰富和重要的资源，如果能够充分利用的话，可以极大的提高检索结果的质量。基于这种超链分析的思想，Sergey Brin和Lawrence Page在1998年提出了PageRank算法[1] ，同年J. Kleinberg提出了HITS算法[5]，其它一些学者也相继提出了另外的链接分析算法，如SALSA，PHITS，Bayesian等算法。这些算法有的已经在实际的系统中实现和使用，并且取得了良好的效果。 文章的第2部分按照时间顺序详细剖析了各种链接分析算法，对不同的算法进行了比较。第3部分对这些算法做了评价和总结，指出了存在的问题和改进方向。２．WEB超链分析算法 ２.１Google和PageRank算法 搜索引擎Google最初是斯坦福大学的博士研究生Sergey Brin和Lawrence Page 实现的一个原型系统[2]，现在已经发展成为WWW上最好的搜索引擎之一。Google的体系结构类似于传统的搜索引擎，它与传统的搜索引擎最大的不同处在于对网页进行了基于权威值的排序处理，使最重要的网页出现在结果的最前面。Google通过PageRank元算法计算出网页的PageRank值，从而决定网页在结果集中的出现位置，PageRank值越高的网页，在结果中出现的位置越前。 ２.１.１PageRank算法 PageRank算法基于下面2个前提： 前提1：一个网页被多次引用，则它可能是很重要的；一个网页虽然没有被多次引用，但是被重要的网页引用，则它也可能是很重要的；一个网页的重要性被平均的传递到它所引用的网页。这种重要的网页称为权威（Authoritive）网页。 搜索中本 这里针对新品简单讲讲。 首先淘宝搜索分好几种排序，我只说综合排序。 当我们在搜索框输入“彭迪斯”的时候，淘宝搜索引擎首先是“召回”。所谓“召回”就是找到符合“彭迪斯”的宝贝。那么什么是符合的呢？首先标题里有“彭迪斯”的选中，如果数量不够，那么有“***彭***迪***斯***”的也选进去，还不够的话在详情页里有“彭迪斯”的也选进去。然后去掉违规被屏蔽的。最后根据你宝贝权重来排名展示。因为标题里有“彭迪斯”和“**彭**迪**斯**”的都选中了，如果“**彭**迪**斯**”这个宝贝权重更高，那么“**彭**迪**斯**”会排在“彭迪斯”前面。 淘宝“召回”是根据关键字来的，如果你搜“苹果”会优先出来苹果手机，这是因为搜苹果手机的人多，所以淘宝默认了搜“苹果”就是在搜苹果手机。所以如果你饿了上淘宝请搜“水果苹果”。同时也要注意有时候我们的标题总是“不合语法的标准淘宝标题”，所以淘宝搜索引擎会误解我们的关键字，例如“新款秋衣女包臀”，淘宝引擎是看不见空格的，所以这个标题等于“新款秋衣女包臀”这里出现了“女包”，在搜索“秋衣女”的时候就会被搜索遗忘。。。 另外“召回”还遵循类目匹配原理。例如搜“手机”的时候肯定是去找相关的类目里的宝贝，不会挑无关类目里的宝贝。注意这里是相关类目，并不一定就是一个类目。所以我们发布宝贝的时候类目一定要对。有些朋友故意放错子类目，为了多点人气，技术好的可以骗过淘宝引擎，但是淘宝还会人工检查的哦。 说到类目，我这里说一下宝贝类目属性和权重吧。淘宝也有一个大的占比记录，买的多的“紫砂壶”都在“厨房餐饮”这个大类目里，只有很少一些在“古董收藏”里，所以紫砂壶放“厨房餐饮”里权重高一些。买紫砂壶里“西施”款式的最多，所以搜“紫砂壶”的时候西施多一些，因为“西施”这个款式的宝贝有属性权重的加成。其余材料、容量、颜色等属性也是一样的道理。 那么现在说说淘宝如何判断宝贝权重的。你相关性，关键字都满足了，没有违规，那么就进入下一步吧。这一步大家都知道，就是上下架、橱窗、店铺主营占比、这个宝贝是否是店铺主营、店铺评分、退款纠纷率、宝贝销量、宝贝评分等。这里就不讲了，大家努力做好这些吧。 现在我复制一遍别人写的新品要超越要突破的地方。 淘宝引擎是这样来检测你的宝贝该排在哪里的。 1，第一关，检测点击率如何。 检测原理：新品上架：假设随机显示100次展示。所谓100次展示机会并不是随便给您带来流量的，而是判断你商品指标如何，点击率如何。如果点击率不错，例如100次展现量里面有10次点击，说明该商品标题和图片合理化比较高，点击率不错，会给与继续增多展现量的机会，反之展现量过低则给与原封不动或者给与降低排名处理。(如果第一次做的不好，请不要灰心，继续努力，还有每次快到下架是给与高排名的展现机会，以后每周循环一个机会，一定要把握好机会做好) 2，第一关过了，那么第二关就开始继续检验了，检测您的产品描述，客户体验如何。 首先说明一下，淘宝不全是人工，不可能一个一个的去产品详情页看，他会利用程序的算法来认定你的产品描述质量如何，方法是通过客户停留时间和跳出率。如果大部分客户进来后，假设停留时间超过10分钟，那么肯定这个产品页面描述的很好啦，淘宝会给于加分，搜索引擎分类及工作原理
淘宝搜索引擎 优化原理
国内外著名搜索引擎介绍
搜索引擎基本工作原理
最佳优先模式--搜索引擎算法分析
搜索引擎的概念
几大搜索引擎排名算法趣味解析
经典搜索核心算法：BM25算法
六大搜索引擎的比较
信息检索与搜索引擎技术实验向量空间模型
淘宝搜索排名规则
信息检索与搜索引擎课程报告
淘宝搜索规则的新搜索规律
搜索引擎对比
信息检索技术方法及搜索引擎
主流搜索引擎算法讲解大全
淘宝搜索引擎知识(搜索中本)