Зачем это нужно

Модели с поиском берут информацию из веб-индекса и из страниц, которые их краулеры загружают в момент ответа. Если краулер заблокирован, страница с ценами отрисовывается только скриптами, а описание продукта размазано по десяти лендингам, модель с большей вероятностью опишет вас по сторонним источникам — возможно, устаревшим.

Служебные файлы решают три задачи: разрешить или запретить доступ, указать на главные страницы и дать краткую выжимку фактов в удобном для машины виде.

robots.txt: доступ для ИИ-краулеров

robots.txt — устоявшийся стандарт, его соблюдают основные поисковые и ИИ-краулеры. Многие сайты закрыли ИИ-ботов по умолчанию, иногда случайно — через настройки CDN или защиты от ботов. Первое, что стоит проверить: не запрещены ли нужные агенты.

  • Найти в robots.txt правила для ИИ-агентов: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended. Для Яндекса важна общая доступность сайта для YandexBot.
  • Открыть публичные разделы — продукт, цены, документацию, блог — и закрыть личный кабинет и служебные URL.
  • Проверить логи сервера: правило бесполезно, если защита от ботов отдаёт им 403.
robots.txt · пример
User-agent: GPTBot
Allow: /
Disallow: /app/

User-agent: PerplexityBot
Allow: /
Disallow: /app/

Sitemap: https://demobank.example/sitemap.xml

llms.txt: краткая карта сайта для моделей

llms.txt — предложенный формат, а не обязательный стандарт: Markdown-файл в корне сайта с описанием компании и ссылками на самые полезные страницы. Нет гарантии, что конкретная модель его читает, но работа над ним заставляет собрать факты о продукте в одном месте — это полезно само по себе.

llms.txt · пример для демо-бренда, данные вымышлены
# ДемоБанк

> Банк для малого и среднего бизнеса: РКО, эквайринг, кредиты.
> Данные клиентов хранятся в дата-центрах в РФ.

Обновлено: 2026-11-01

## Ключевые факты
- Обслуживание: от 990 ₽ в месяц
- Интеграции: 1С:ДиректБанк, API, Контур
- Мобильные приложения: iOS и Android

## Продукт
- [Тарифы](https://demobank.example/pricing)
- [Факты о компании](https://demobank.example/facts)

ai.txt: политика использования контента

У ai.txt нет общепринятой спецификации: под этим именем встречаются разные форматы, обычно о том, можно ли использовать материалы сайта для обучения и для ответов. Зафиксируйте позицию компании понятным текстом и продублируйте её в robots.txt — технически доступ регулирует именно он.

Чего файлы не делают

  • Не заставляют модель упоминать бренд в ответах на общие вопросы.
  • Не заменяют страницу фактов и разметку schema.org.
  • Не перебивают сторонние источники, если обзоры и рейтинги пишут иначе.

Порядок внедрения

  1. Проверить robots.txt и логи на доступ ИИ-краулеров.
  2. Создать или обновить страницу фактов о продукте.
  3. Опубликовать llms.txt со ссылками на факты, тарифы и интеграции.
  4. При необходимости добавить ai.txt с политикой использования контента.
  5. Добавить разметку schema.org: Organization, Product, Offer, FAQPage.
  6. Через несколько недель сравнить ответы моделей на контрольные вопросы с исходным замером.

Всё вместе занимает день работы и снимает технические причины, по которым модели описывают бренд по чужим источникам.