# =============================================================================
# 站长 / SEO 商业爬虫屏蔽列表
# 说明：robots.txt 仅对遵守协议的爬虫有效；不遵守时需 CDN/Nginx 按 UA/IP 硬拦
# UA 名称以各平台公开文档或官方站点为准；未公开固定 UA 的会在备注中标明
# =============================================================================

# 爱站网（aizhan.com）— 国内 SEO/权重综合查询
# 注意：爱站版权页称数据多来自搜索引擎公开抓取，官方未文档化固定爬虫 UA；
# 「AizhanBot」为社区/防火墙常见防御性写法，不保证对方一定使用该标识
User-agent: AizhanBot
Disallow: /

# Ahrefs（ahrefs.com）— 外链/关键词等 SEO 数据库；官方 robots token: AhrefsBot
# 文档：https://ahrefs.com/robot/
User-agent: AhrefsBot
Disallow: /

# Ahrefs Site Audit — 站点体检爬虫；官方 robots token: AhrefsSiteAudit
User-agent: AhrefsSiteAudit
Disallow: /

# Semrush（semrush.com）— 关键词/竞品等 SEO 平台；官方 UA 含 SemrushBot
User-agent: SemrushBot
Disallow: /

# Majestic / Majestic-12（majestic.com）— 外链分析；官方要求用 MJ12bot
# 文档：https://www.mj12bot.com/
User-agent: MJ12bot
Disallow: /

# Moz（moz.com）— 原 Open Site Explorer 外链爬虫；官方 UA: DotBot
User-agent: DotBot
Disallow: /

# WebMeUp（webmeup.com）— 外链索引服务；公开 UA: BLEXBot
User-agent: BLEXBot
Disallow: /

# DataForSEO（dataforseo.com）— SEO 数据 API 供应商；公开 UA: DataForSeoBot
User-agent: DataForSeoBot
Disallow: /

# Screaming Frog（screamingfrog.co.uk）— 桌面端 SEO 审计工具自带爬虫
# 仅当使用者未改 UA 时生效；官方默认 UA: Screaming Frog SEO Spider
User-agent: Screaming Frog SEO Spider
Disallow: /

# -----------------------------------------------------------------------------
# 其余爬虫（含百度 Baiduspider、谷歌 Googlebot、必应 bingbot 等）允许抓取
# 未列入上方的搜索引擎蜘蛛请勿在此 Disallow，以免影响正常收录
# -----------------------------------------------------------------------------
User-agent: *
Allow: /