搜索引擎Spider抓取原理
国内网民大部分使用的是百度，大部分站长在做搜索引擎优化时也是针对百度优化，除了日常优化外也需要研究百度蜘蛛，了解其喜好然后针对性调整网站，对于百度搜索引擎来说，Spider遵循什么样的抓取原理?
搜索引擎主动抓取网页，并进行内容处理、索引引部分的流程和机制一般如下：
步骤1：派出Spider，按照一定策略把网页抓回到搜索引擎服务器;
步骤2：对抓回的网页进行链接抽离、内容处理，消除噪声、提取该页主题文本内容等;
步骤3：对网页的文本内容进行中文分词、去除停止词等;
步骤4：对网页内容进行分词后判断该页面内容与已索引网页是否有重复，剔除重复页，
对剩余网页进行倒排索引，然后等待用户户的检索。
当有用户进行查询后，搜索引引擎工作的流程机制一般如下：
步骤1：先对用户所查询的关键词进行分词处理，并根据用户的地理位置和历史检索特征进行用户需求分析，以便使用地域性搜索结果和个性化搜索结果展示用户最需要的内容;
步骤2：查找缓存中是否有该关键词的查询结果，如果有，为了最快地呈现查询结果，搜索引擎会根据当下用户的各种信息判断其真正需求，对缓存中的结果进行微调或直接呈现给用户;
步骤3：如果用户所询的关键词在缓存中不存在，那么就在索引库中的网页进行调取排名呈现，并将该关键词和对应的搜索结果加入到缓存中;
步骤4：网页排名是根据用户的搜索词和搜索需求，对索引库中的网页进行相关性、重要性(链接权重分析)和用户体验的高低进行分析所得出的。用户在搜索结果中的点击和重复搜索行为，也可以告诉搜索引擎，用户对搜索结果页的使用体验。这块儿是近来作弊最多的部分，所以这部分会伴随着搜索引擎的反作弊算法干预，有时甚至可能会进行人工干预。
相关阅读
