抓取深度是搜索引擎在网站中对网页进行索引的程度。大多数网站包含多个页面,而这些页面又包含子页面。页面和子页面的扩展方式类似于文件夹和子文件夹(或目录和子目录)在计算机存储中更深入的方式。
通常,在网站层次结构中进一步显示特定页面时,它在搜索引擎结果页面(SERP)中以高排名出现的可能性越小。默认情况下,网站的主页的爬网深度为0。从主页中直接链接(单击一下)的同一站点中的页面的爬网深度为1; 直接从crawl-depth-1页面链接的页面的爬网深度为2,依此类推。
爬虫(也称为蜘蛛或僵尸程序)是一种访问网站并读取其页面和其他信息以便为搜索引擎索引创建条目的程序。
1198
190
下一篇:印度数据安全委员会(DSCI)