什么是robots.txt 生成器？
robots.txt 放在网站根目录,告诉搜索引擎爬虫哪些页面可以访问。它只是一种公开的请求,并不是安全措施,私密页面不应只依赖它来保护。
本生成器把规则整理成格式正确的文件。为每类爬虫添加一组规则,列出允许或禁止的路径,并填写站点地图地址,帮助搜索引擎更快发现你的页面。
使用方法
- 输入网站地址,并选择默认规则(全部允许或全部禁止)。
- 为特定爬虫添加规则组,填写允许或禁止的路径。
- 填写站点地图地址,然后复制结果,或下载 robots.txt 上传到网站根目录。
常见问题
robots.txt 应该放在哪里?
必须放在域名根目录下,例如 https://example.com/robots.txt。放在子目录中的文件会被搜索引擎忽略。
robots.txt 能让页面不出现在 Google 中吗?
不能。它只阻止抓取,并不阻止索引。如果其他网站链接到被禁止的页面,它仍可能出现在结果中。若要从搜索中移除页面,请使用 noindex 标签或密码保护。
应该禁止 AI 爬虫吗?
由你决定。许多网站会为 GPTBot、CCBot 等 AI 训练爬虫添加规则,但是否遵守 robots.txt 取决于每个爬虫自身。
Crawl-delay 对 Google 有效吗?
Google 会忽略 Crawl-delay,Bing 和部分其他爬虫会遵守。