# 宝可梦图鉴百科 - robots.txt配置

# 允许所有搜索引擎爬取网站
User-agent: *

# 禁止爬取的目录和文件
Disallow: /data/
Disallow: /includes/
Disallow: /error.log
Disallow: /test_fix.php

# 设置爬取延迟
Crawl-delay: 10

# 为Google设置特定规则
User-agent: Googlebot
Allow: /
Crawl-delay: 5

# 为Bing设置特定规则
User-agent: Bingbot
Allow: /
Crawl-delay: 5

# 为百度设置特定规则
User-agent: Baiduspider
Allow: /
Crawl-delay: 8

# 为360搜索设置特定规则
User-agent: 360Spider
Allow: /
Crawl-delay: 8

# 为搜狗设置特定规则
User-agent: SogouSpider
Allow: /
Crawl-delay: 8

# 网站地图
Sitemap: https://www.pokemonpedia.com/sitemap.xml

# 允许所有图片爬虫
User-agent: Googlebot-Image
Allow: /

User-agent: Baiduspider-image
Allow: /

# 禁止扫描器类爬虫
User-agent: SemrushBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /