基本设置
国内搜索引擎
国外搜索引擎
特殊爬虫 / 图片与社交
限制目录

仅在「默认 · 所有搜索引擎蜘蛛」为允许时生效;每行一个路径,例如 /cgi-bin//admin/

生成结果
robots.txt生成器说明

robots.txt生成器是一款专业的SEO工具,可帮助站长快速生成符合标准的robots.txt文件,用于控制搜索引擎爬虫的抓取行为。

通过本工具可快速生成标准robots.txt文件,控制搜索引擎抓取规则,支持百度、Google、Bing等主流搜索引擎。

核心功能

  • robots.txt文件生成:一键生成标准规则
  • 爬虫权限控制:允许或禁止指定搜索引擎抓取
  • 目录屏蔽设置:禁止访问特定路径
  • Sitemap配置:支持添加网站地图地址

支持搜索引擎

使用场景

  • 屏蔽搜索引擎抓取后台目录
  • 限制蜘蛛访问特定页面
  • 优化网站抓取结构
  • 防止敏感内容被收录

使用方法

  1. 选择需要允许或禁止的搜索引擎
  2. 填写需要屏蔽的目录路径
  3. 设置Sitemap地址(可选)
  4. 点击生成并复制robots.txt文件

示例说明

User-agent: *
Disallow: /admin/
Disallow: /api/

robots.txt生成器是网站SEO优化中必备工具,可有效提升搜索引擎抓取效率与网站安全性。

相关工具

暂无评论

本文暂时没有评论,来添加一个吧(●'◡'●)