Проверка AI-готовности сайта

Нейросети отвечают по страницам, которые прочитали их роботы, а ИИ-агенты работают с сайтом через его файлы и протоколы. Проверка AI-готовности смотрит robots.txt для роботов Яндекса, Google, OpenAI и Anthropic, текст без JavaScript, разметку, sitemap, llms.txt, MCP, A2A и agent skills, ставит балл от 0 до 100 и говорит, что исправить.

Обновлено 20 октября 2026 г.

Что проверяется

• Доступ для роботов. Открывается ли главная, кого пускает robots.txt — поисковых роботов, роботов ИИ-ассистентов и роботов, которые собирают тексты для обучения, — нет ли noindex, nosnippet и запретов для Copilot, есть ли sitemap.
• Что видят нейросети. Есть ли текст в HTML без JavaScript, заголовок и описание, язык страницы, разметка Schema.org, llms.txt по формату.
• Для ИИ-агентов. Карточка MCP-сервера, карточка агента A2A, список навыков agent skills, метаданные входа OAuth, каталог API, ссылки для агентов в заголовках Link, Markdown-версия по запросу Accept: text/markdown и Content-Signal в robots.txt. Это нужно не каждому сайту, поэтому в общий балл не входит и считается отдельным кольцом.

Как считается балл и уровень

Балл от 0 до 100 — доля пройденных проверок доступа и содержимого: открыт ли сайт роботам и понятен ли он без скриптов. Проверки «на заметку» его не снижают. Уровень показывает, что это значит на деле:

Результатом можно поделиться: ссылка открывает эту страницу и проверяет тот же сайт заново, поэтому всегда показывает свежий результат.

Проверка открывает несколько публичных адресов сайта — главную, robots.txt, llms.txt, sitemap — от имени своего робота, как это делает любой поисковик. Она ничего не отправляет в формы и не хранит результаты.

Как нейросети находят сайты

Почти все ассистенты сначала ищут, а потом отвечают по найденным страницам. Поэтому главное — быть в обычном поиске, по которому ассистент ищет, и не закрывать сайт от его роботов.

• Алиса AI и ответы в Поиске Яндекса опираются на результаты поиска Яндекса. Яндекс прямо пишет, что принципиально новых требований для генеративных ответов нет: работают те же принципы качества, что и для поиска.
• Google AI Overviews и AI Mode берут страницы, которые есть в индексе Google и могут показываться со сниппетом. Дополнительных технических требований Google не ставит.
• ChatGPT ищет через своего робота OAI-SearchBot: сайты, закрытые от него, не попадают в ответы поиска ChatGPT. У Claude это Claude-SearchBot и Claude-User, у Perplexity — PerplexityBot.
• Copilot отвечает по индексу Bing. Отдельного робота у него нет, а не попасть в его ответы позволяют мета-теги noarchive и nocache.

Роботы нейросетей

Робот Яндекса для ответов Алисы AI (YandexAdditionalBot, он же YandexAdditional) не читает общие правила User-agent: * и не индексирует страницы сам: он учитывает только запреты, адресованные ему по имени, и работает со страницами, которые уже проиндексировал основной робот Яндекса.

Как закрыть сайт от обучения и остаться в ответах

Роботы для обучения моделей и роботы для ответов — разные. Если не хотите, чтобы тексты сайта шли на обучение, закройте только первых: в ответах ассистентов сайт останется.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /

• Google-Extended не влияет на поиск Google: Google пишет, что он не используется для ранжирования и не убирает сайт из выдачи. Чтобы убрать сайт из AI Overviews и AI Mode, в Search Console есть отдельная настройка, а на обучение она не влияет.
• Applebot-Extended не обходит страницы, а только запрещает учить на них модели Apple; в поиске Apple сайт остаётся.
• Алиса AI. Чтобы страницы не показывались в ответах Алисы, Яндекс советует запретить их роботу YandexAdditionalBot или YandexAdditional; запрет начинает действовать через 2–14 дней.
• Copilot. Мета-тег <meta name="bingbot" content="noarchive"> убирает содержимое из ответов Copilot и запрещает учить на нём модели, а в поиске Bing страница остаётся.

llms.txt: что это и нужен ли он

llms.txt — текстовый файл в формате Markdown в корне сайта: краткое описание и список главных страниц со ссылками, чтобы языковая модель быстро поняла, что на сайте есть. Формат описан на llmstxt.org: обязателен только заголовок первого уровня с названием сайта, дальше идут цитата с кратким описанием и разделы со списками ссылок.

# Пекарня «Колос»

> Хлеб на закваске с доставкой по Екатеринбургу. Заказы до 20:00 привозим утром.

## Каталог
- [Хлеб](https://example.ru/hleb.md): цены и состав
- [Доставка](https://example.ru/dostavka.md): районы и время

## Optional
- [О пекарне](https://example.ru/o-nas.md)

Честно о пользе: Google пишет, что llms.txt не помогает и не вредит видимости в поиске, а OpenAI, Anthropic и Яндекс не объявляли, что их роботы его читают. Файл проверяет экспериментальный аудит Lighthouse от Google и могут читать ИИ-агенты, которых человек отправил на сайт. Сделать его недолго, но ждать от него трафика не стоит: важнее, чтобы сайт был открыт роботам и понятен без скриптов.

MCP, A2A и agent skills: что это и нужно ли сайту

Нейросети в ответах только читают сайт, а ИИ-агенты действуют: ищут товары, записываются, оформляют заказы по просьбе человека. Для этого у сайта бывают отдельные входы — их и смотрит раздел «Для агентов».

• MCP-сервер — вход по Model Context Protocol, открытому протоколу, через который ассистенты вроде Claude, ChatGPT и Cursor вызывают инструменты сайта: поиск, бронирование, заказ. Проверка ищет его карточку по адресу ваш-сайт/.well-known/mcp/server-card.json. Нужен он, если агент должен что-то делать на сайте, а не только читать его.
• Карточка агента A2A (ваш-сайт/.well-known/agent-card.json) — визитка ИИ-агента сайта по протоколу Agent2Agent: что он умеет и как к нему обратиться другим агентам. Нужна, только если у сайта есть свой агент.
• Agent skills — инструкции для ИИ-агентов в виде папок с файлом SKILL.md. Список навыков сайта лежит по адресу ваш-сайт/.well-known/agent-skills/index.json, чтобы агент нашёл их сам.
• Метаданные OAuth (ваш-сайт/.well-known/openid-configuration или ваш-сайт/.well-known/oauth-authorization-server) позволяют агенту войти от имени пользователя по стандартной схеме, без пароля в чате.
• Каталог API (ваш-сайт/.well-known/api-catalog) и заголовки Link на главной показывают агенту, где описание сайта, API и документация, чтобы не искать их по страницам.

Сайту-визитке или блогу всё это не нужно: ему важно быть открытым для роботов и понятным без скриптов. Входы для агентов имеют смысл для сервисов, магазинов и всего, где агент может сделать что-то по просьбе человека.

Что действительно помогает попасть в ответы

1. Быть в поиске Яндекса и Google: открыть сайт их роботам, держать sitemap, не ставить noindex на нужные страницы.
2. Отдавать текст в HTML. Если страница рисуется скриптами, роботы, которые их не выполняют, видят пустую страницу — нужен серверный рендеринг или пререндер.
3. Отвечать на вопросы людей своими словами и по существу. Яндекс описывает требования к содержимому как ЭПОС: экспертность, полезность, оригинальность, содержательность.
4. Размечать организацию, товары, статьи и вопросы-ответы в Schema.org, чтобы поисковики не гадали, что на странице.
5. Следить за результатом. В Яндекс Вебмастере есть отчёт «Видимость сайта в Алисе AI»: доля упоминаний сайта среди источников ответов по запросам, где он и так высоко в поиске.