User-agent: *
Crawl-delay: 5
Disallow: /archive/
Disallow: /admin/
Disallow: /cloudflare/
Disallow: /archive/other/
Disallow: /php/
Disallow: /search
Disallow: /photos/search
Disallow: /search/
Sitemap: https://theplace.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 3
Disallow: /admin/
Disallow: /archive/
Disallow: /cloudflare/
Disallow: /archive/other/
Disallow: /php/php/
Disallow: /php/
Disallow: /search
Disallow: /photos/search
Disallow: /search/

User-agent: YandexImages
Crawl-delay: 5
Disallow: /archive/
Disallow: /search
Disallow: /search/

User-agent: YandexImageResizer
Crawl-delay: 5
Disallow: /archive/
Disallow: /search
Disallow: /search/

User-agent: Googlebot-Image
Crawl-delay: 5
Disallow: /archive/
Disallow: /search
Disallow: /search/


User-agent: bingbot
Crawl-delay: 10
Disallow: /search
Disallow: /archive/
Disallow: /photos/search
Disallow: /search/


# Apple: оставляем поиск, запрещаем использование для AI training
User-agent: Applebot
Crawl-delay: 30
Allow: /
Disallow: /archive/
Disallow: /storage/

User-agent: Applebot-Extended
Disallow: /

# Amazon: запрещаем training-краулер, оставляем поиск/пользовательские запросы
User-agent: Amazonbot
Crawl-delay: 30
Disallow: /

User-agent: Amzn-SearchBot
Allow: /
Disallow: /archive/
Disallow: /storage/
Disallow: /cache/

User-agent: Amzn-User
Allow: /
Disallow: /archive/
Disallow: /storage/
Disallow: /cache/

# Anthropic: запрещаем training, (опционально) оставляем user/search
User-agent: ClaudeBot
Crawl-delay: 30
Disallow: /
Disallow: /storage/
Disallow: /archive/

User-agent: Claude-User
Allow: /
Disallow: /storage/
Disallow: /archive/

User-agent: Claude-SearchBot
Allow: /
Disallow: /storage/
Disallow: /archive/

User-agent: GPTBot
Crawl-delay: 30
Disallow: /storage/
Disallow: /archive/

# ─────────────────────────────────────────────────────────────────────────────
# Sogou: 1 229 запросов в сутки, переходов не даёт. Не закрываем (китайский
# поиск), но замедляем. Замер 2026-09-05, docs/features/bot-filtering.md
# ─────────────────────────────────────────────────────────────────────────────
User-agent: Sogou web spider
Crawl-delay: 20
Disallow: /archive/
Disallow: /admin/
Disallow: /cloudflare/
Disallow: /archive/other/
Disallow: /php/
Disallow: /search
Disallow: /photos/search
Disallow: /search/

# ─────────────────────────────────────────────────────────────────────────────
# Краулеры без отдачи: поисковой выдачи не дают, трафик едят.
# Заведено 2026-08-24 по срезу логов (docs/seo/changes.md).
# ─────────────────────────────────────────────────────────────────────────────

# Выкачивает картинки, представляется "research crawler"
User-agent: ImageBot
Disallow: /

# Сборщики датасетов для обучения моделей. Переходов не приносят.
# Замер 2026-09-05: Bytespider 1 846 запросов в сутки, TikTokSpider 977, CCBot 233.
# Baiduspider НЕ закрываем — он даёт 336 переходов, втрое больше Яндекса.

User-agent: Bytespider
Disallow: /

User-agent: TikTokSpider
Disallow: /

User-agent: CCBot
Disallow: /

# SEO-аналитика и биржи ссылок
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: trendictionbot
Disallow: /

User-agent: BacklinksExtendedBot
Disallow: /

# Мониторинг упоминаний брендов
User-agent: AwarioBot
Disallow: /

User-agent: AwarioSmartBot
Disallow: /

User-agent: AwarioRssBot
Disallow: /

# Прочие индексаторы без выдачи
User-agent: LinkupBot
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /

User-agent: SerpstatBot
Disallow: /

User-agent: ZoominfoBot
Disallow: /