零基础建站培?#21040;坛?#20171;绍

什么是搜索引擎蜘蛛

什么是搜索引擎蜘蛛

搜索引擎蜘蛛并不是我们日常见到的蜘蛛,它只是一个比喻而以。

搜索引擎蜘蛛

搜索引擎蜘蛛只是搜索引擎指派出的一个有调度机制的抓取程序,用于抓取互联网中的网?#24120;?#26681;据搜索引擎的不同,spider?#19981;?#26377;不同的分类,但是大部分的spider都是解决相同的问题,有着相同的工作原理。

搜索引擎蜘蛛还有其它的名字:网页蜘蛛,网络机器人?#21462;?/p>

不同的搜索引擎的蜘蛛的名字也不同,如百度的叫百度蜘蛛,谷歌的叫谷歌蜘蛛……

搜索引擎蜘蛛的分类(较为专业,了解即可)

批量型spider,此类型的spider具有明确的抓取范围和目标,抓取时间、抓取数量限制,或抓取固定范围页面的限制,当spider的工作达到预先设置的目标就会停止,我们一般程序自己用工具或采集的工具,所派出的spider一般就属于批量型的spider,只抓取固定网站的固定内容,或者对某一资源设置固定的目标抓取数量限制。

垂直型spider,垂直spider也可以称为聚焦爬虫,只对特定主题、特定内容或特定行业的网页进行抓取,一般都会聚焦在某一个限制范围内进行增量的抓取,此类型的spider不像增量型spider一样追求大而广的覆盖面,而是在增量型spider上增加一个抓取网页的限制,根据需求抓取含有目标内容的网页。

增量型spider是一种比较通用的爬虫,这类爬虫的目标和批量型spider的目标不同,它们不需要尽可能的抓取更多的网?#24120;?#22686;量型spider主要工作是对已经抓取到的页面进行再次的抓取和更新,因为互联网中的网页是不断变化的,网页上的内容可能会随着时间发生随时发生改变,增量型spider就负责抓取不断被更改更新的网?#24120;?#25235;取后并返回给搜索引擎的预处理系统进?#20889;?#29702;,重?#24405;?#31639;该页面的权值。

发表评论

电子邮件地址不会?#36824;?#24320;。 必填项已用*标注

学做网站论坛零基础学建网站课程
速盈彩1分快三
秒速时时彩是国家开的 福建体彩36选7今天开奖 新开真钱的棋牌游戏 海南飞鱼中奖号码 体十一选5现场开奖结果查询 十三水游戏 急速赛车开奖官网168 福建快三一定牛其本走 羽毛球扣杀 双龙国际娱乐城下载 甘肃十一选五开结果 11选5常用胆拖复式 曾道人透码 华东15选5开奖直播 千运财里二肖中特