|
当然
Dec 30, 2023 11:11:21 GMT 7
Post by account_disabled on Dec 30, 2023 11:11:21 GMT 7
这是一个粗略的估计,但它可以让您深入了解可用的抓取预算。 注意:使用上述提示优化抓取预算应该会增加数量。 GSC 中的覆盖率报告还将显示 Google 已在该网站上建立索引并从索引中排除的页面数量。您可以将该数字与内容资产的实际数量进行比较,以确定 Googlebot 是否错过了任何页面。 覆盖率报告 服务器日志文件分析 毫无疑问,服务器日志文件是有关网站抓取预算的最大真相来源之一。 为什么,因为服务器日志文件会准确地告诉您搜索引擎机器人何时访问您的网站。该文件还将显示他们最常访问的页面以及这些爬网文件的大小。 11.222.333.44 - - [11/Mar/2020:11:01:28 –0600] “获200 182 “-” “Mozilla/5.0铬/60.0.3112.113” 2020 年 3 月 11 日,有人使用 Google Chrome 尝试加载。 “200”表示服务器找到该文件,大小为 182 字节。 现在,服务器日志文 手机号码数据 件分析确实不是一项简单的任务。您必须检查数千行服务器请求才能识别正确的机器人并分析其活动。 在 seoClarity,您可以访问Bot Clarity,这是我们的网站审核工具,除其他功能外,它还提供详细的日志文件分析。 机器人清晰度图片 借助 Bot Clarity,您可以: 了解您网站上对搜索引擎抓取最重要的页面。 优化抓取预算,以确保机器人抓取您网站上尽可能多的重要页面并为其编制索引。 查找搜索引擎机器人在抓取您的网站时遇到的损坏链接和错误。 审核您的重定向。 将机器人活动与性能联系起来,指示您应该重点关注网站的哪些领域。 经常问的问题 我通过 robots.txt 禁止的网址是否会以任何方式影响我的抓取预算? 不会,不允许的 URL 不会影响抓取预算。 元 noindex 标签是否有助于“节省”抓取预算? 很不幸的是,不行。但是,它可以减少可爬网 URL 的数量,并以这种方式积极影响爬网预算。 nofollow 指令会影响抓取预算吗? 这实际上取决于。Googlebot 抓取的任何网址都会影响抓取预算。 URL 上的 nofollow 指令不会限制爬网程序访问该页面,就像您网站上的其他页面或网络上的任何页面不会将链接标记为 nofollow 一样。 我可以使用“crawl-delay”指令控制 Googlebot 吗? 不会,robots.txt 中的“crawl-delay”指令不会被 Googlebot 处理。
|
|