# 爱解析AI工具 - robots.txt
# 允许所有搜索引擎访问

User-agent: *
Allow: /

# 特殊爬虫配置
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: 360Spider
Allow: /
Crawl-delay: 1

User-agent: Sogou web spider
Allow: /
Crawl-delay: 1

User-agent: YisouSpider
Allow: /
Crawl-delay: 1

# AI助手爬虫
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

# 禁止访问的目录
Disallow: /api/
Disallow: /admin/
Disallow: /.git/
Disallow: /node_modules/
Disallow: /build/
Disallow: /src/
Disallow: /logs/
Disallow: /tmp/
Disallow: /private/

# 允许重要资源和验证页面（有助于SEO收录）
Allow: /favicon.ico
Allow: /robots.txt
Allow: /sitemap.xml
Allow: /humans.txt
Allow: /ai-info.txt
Allow: /ads.txt
Allow: /baidu_verify_ijiexi.html
Allow: /google_verify_ijiexi.html
Allow: /360_verify_ijiexi.html
Allow: /sogou_verify_ijiexi.html
Allow: /bing_verify_ijiexi.html

# 站点地图位置
Sitemap: https://ijiexi.cn/sitemap.xml

# 访问延迟设置（秒）
Crawl-delay: 1

# 主机设置
Host: ijiexi.cn