允许/拒绝 URL

[shakilhasan15]

最后，如果您有问题的文件并且需要特定的抓取延迟，请选择“尊重 robots.txt”。

通过在相应的框中输入 URL，使用允许/拒绝 URL 设置定制您的站点审核。

使用允许/不喜欢 URL 设置自定义您的网站审核
删除 URL 参数
删除URL 参数可确保机器人不会通过两次抓取同一页面来浪费您的抓取预算。

设置页面“抓取时忽略的 URL 参数列表”。
绕过网站限制
如果您的网站仍在开发中，请使用 斯洛文尼亚移动数据库 此设置进行测试。

“设置页面”绕过网站限制“
安排您的审计
您可以安排机器人检查您网站的频率。

“设置页面”我们应该多久检查一次您的网站？
经常安排它以确保该工具定期检查您的网站的健康状况。

分析结果
站点审核概述总结了机器人在爬行过程中收集的所有数据。

突出显示“概览”按钮
一般场地审核报告
“已抓取页面”条目指示有多少页面是“健康”、“损坏”和“有问题”。

站点审核常规报告中的“已抓取页面”小部件
此外，您还可以在“可爬行性”部分找到更深入的信息。

站点审核常规报告中的“可爬行性”小部件
报告中的“可抓取性”部分
在这里，您将发现您的网站有多少抓取预算被浪费了或者存在多少抓取预算问题。