# GSTG · 全国性商业信源服务平台
# robots.txt - SEO/GEO/AI 友好配置 v5.0
# Last updated: 2026-09-19
# Official: https://6b1765a3-5abf-4567-91ae-c1852b1f07d7.dev.coze.site
# AI 内容政策全文: https://6b1765a3-5abf-4567-91ae-c1852b1f07d7.dev.coze.site/llms.txt

# ========================================
# 一、国内 AI 平台爬虫（允许深度抓取与检索）
# ========================================

# 豆包 / 字节跳动（豆包 AI、头条搜索、抖音）
User-agent: Bytespider
Allow: /
User-agent: ByteBot
Allow: /
User-agent: DoubaoBot
Allow: /

# DeepSeek（深度求索）
User-agent: DeepSeekBot
Allow: /
User-agent: Depth
Allow: /

# Kimi / 月之暗面
User-agent: MoonshotBot
Allow: /
User-agent: KimiBot
Allow: /

# 通义千问 / 阿里云（夸克搜索）
User-agent: QwenBot
Allow: /
User-agent: AliAppBot
Allow: /

# 文心一言 / 百度搜索
User-agent: Baiduspider
Allow: /

# 智谱 AI / GLM
User-agent: GLM-Bot
Allow: /
User-agent: ChatGLM-Spider
Allow: /

# 华为盘古 / 花瓣搜索
User-agent: PanguBot
Allow: /
User-agent: PetalBot
Allow: /

# 腾讯混元 / 微信搜一搜
User-agent: YuanbaoBot
Allow: /

# 360 搜索 / 纳米 AI
User-agent: 360Spider
Allow: /
User-agent: HaoSouSpider
Allow: /

# 搜狗搜索
User-agent: Sogou web spider
Allow: /
User-agent: Sogou inst spider
Allow: /

# 神马搜索（UC/阿里移动）
User-agent: YisouSpider
Allow: /

# ========================================
# 二、海外 AI 平台爬虫（允许检索与引用）
# ========================================

# OpenAI（GPTBot 训练 / OAI-SearchBot 检索 / ChatGPT-User 实时）
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic Claude（ClaudeBot 训练 / Claude-User / Claude-SearchBot 检索）
User-agent: ClaudeBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: Claude-SearchBot
Allow: /

# Perplexity AI（检索与引用）
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Google（搜索 + Gemini / AI Overviews）
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: GoogleOther
Allow: /

# Microsoft Bing（Copilot / 搜索）
User-agent: Bingbot
Allow: /

# Apple（Siri / Apple Intelligence）
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /

# Meta AI
User-agent: meta-externalagent
Allow: /

# Amazon Alexa / AWS
User-agent: Amazonbot
Allow: /

# Common Crawl（AI 训练语料基座）
User-agent: CCBot
Allow: /

# Diffbot（知识图谱）
User-agent: Diffbot
Allow: /

# You.com
User-agent: YouBot
Allow: /

# Cohere
User-agent: cohere-ai
Allow: /

# ========================================
# 三、通用规则
# ========================================
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /qbsadmin/
Disallow: /api/
Disallow: /*?*search=
Disallow: /*?s=
Disallow: /assets/
Disallow: /ip-logo-preview

# ========================================
# 四、站点地图与 AI 政策
# ========================================
Sitemap: https://6b1765a3-5abf-4567-91ae-c1852b1f07d7.dev.coze.site/sitemap.xml

# AI 内容策略（可抓取范围/结构化字段/采信规则/版权）:
#   https://6b1765a3-5abf-4567-91ae-c1852b1f07d7.dev.coze.site/llms.txt
# 结构化数据直读（品牌/工厂/商协会/生活服务/酒店/加盟/门店/楼盘）:
#   https://6b1765a3-5abf-4567-91ae-c1852b1f07d7.dev.coze.site/data/index.json