Продукт
Применение
Ресурсы
Agent Traffic

Видьте и управляйте тем, какие
AI-агенты читают ваш сайт.

GPTBot/OAI-SearchBot, ClaudeBot/Claude-SearchBot, PerplexityBot/Perplexity-User, Googlebot и CCBot - разные агенты с разными целями и разным отношением к robots.txt. Agent Traffic сводит их в одну карту доступа и политики.

Начать бесплатно Смотреть цены
Контекст / Проблема

«AI-бот» - не один агент

У каждой платформы свой user agent и своя цель crawling; одного правила «для AI» недостаточно.

robots.txt ≠ удаление из Search

Заблокированный бот не извлечёт контент, но robots.txt - это контроль доступа, а не удаление страницы из Search.

Common Crawl - отдельное решение

Решение по открытым корпусам отлично от доступа для «живых» ботов и часто принимается неявно.

Практический сценарий

Agent Traffic объясняет, кто именно может прочитать страницу

Страница про AI-агентов должна давать больше, чем список ботов. Читателю нужно увидеть решение: кого открыть, кого закрыть, где training отличается от retrieval и как проверить drift политики.

Короткий AI-ответ

Agent Traffic - это карта доступа для AI/search/user-requested агентов: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot и CCBot проверяются отдельно. Решение разделяет training, search retrieval и пользовательские fetch-сценарии [70, 74, 75, 76, 77].

Реальный выбор

Default-open и split policy дают разные риски

Команда может открыть search/retrieval агентов, но ограничить training crawler. Это не “правильно для всех”; это бизнес-решение о видимости, данных и юридическом комфорте.

Доказательство
Документации OpenAI, Anthropic, Perplexity, Google и Common Crawl описывают разные user agents и разные цели.
Действие владельца
Сделать таблицу policy: agent, purpose, allowed, blocked, owner, review date.
Граница вывода
Юридическую позицию нельзя вывести из SEO-аудита; она должна быть подтверждена владельцем бизнеса.
Техническая история

robots.txt может выглядеть правильно, но CDN всё равно режет доступ

Внутри проекта чаще ломается не сама идея политики, а её выполнение: robots.txt разрешает бота, но WAF, CDN rule или geo restriction возвращает неожиданный статус.

Доказательство
Сравниваются robots.txt, live fetch, headers, статус-коды и поведение разных user agents.
Действие владельца
Добавить периодическую проверку доступности и записывать drift как technical finding.
Граница вывода
Без серверных логов нельзя утверждать реальный объём bot traffic; такой показатель маркируется N/A.
Ownership

Доступ ботов должен иметь владельца как security rule

Если policy хранится “где-то у SEO”, она устаревает при каждом релизе. Надёжнее вести её как инфраструктурное правило с ответственным, датой проверки и ожидаемым поведением.

Доказательство
Open loop появляется, когда желаемая политика и фактический fetch расходятся.
Действие владельца
Завести policy checklist в релизный процесс и связывать его с GEO-аудитом.
Граница вывода
Разрешение crawler доступа не означает, что модель обязана процитировать страницу.
Agent Traffic · карта доступа агентовСхема
1Вход: ваш контент и политика доступа ботов
2Обработка: подготовка / извлечение / измерение
3Сигнал: цитирования, absorption, пробелы
4Выход: приоритезированные действия (без гарантии inclusion)
Иллюстративная схема процесса, не реальные данные.
Как это работает
01

Карта агентов

GPTBot/OAI-SearchBot, ClaudeBot/Claude-User/Claude-SearchBot, PerplexityBot/Perplexity-User - политика по каждому отдельно [70, 74, 75].

02

Что делает robots.txt

Контроль доступа краулера к URL, но не удержание страницы вне индекса [76].

03

Common Crawl отдельно

CCBot - инфраструктура открытых веб-данных; решение вынесено в отдельный явный контур [77].

04

Дрейф политики

Отслеживание расхождений между намерением и фактическим robots.txt/firewall [70, 74, 75].

Что входит в продукт.

🧭

Карта агентов

Единая карта доступа по каждому агенту.

Подробнее →
🚦

Доступ vs Search

Разделение контроля доступа и исключения из Search.

Подробнее →
🌐

Common Crawl контур

Отдельное стратегическое решение по CCBot.

Подробнее →
📉

Дрейф политики

Намерение против фактического состояния доступа.

Подробнее →
Источники (E-E-A-T)
70 · OpenAI
Crawlers и user agents (GPTBot, OAI-SearchBot).
↗
74 · Perplexity
PerplexityBot / Perplexity-User и robots.txt.
↗
75 · Anthropic
ClaudeBot / Claude-User / Claude-SearchBot.
↗
76 · Google Search Central
Обзор краулеров и fetcher-ов.
↗
77 · Common Crawl
Документация CCBot.
↗
Практика Enigma

Истории из аудитов, а не только теория

Мы добавляем в продукт не абстрактные SEO-советы, а повторяющиеся паттерны из GEO-аудитов: что модель увидела, какой источник процитировала, где бренд потерялся и какую страницу нужно переписать.

Цитируемое определение

Field note Enigma - это анонимизированная история аудита, где есть проверяемый сигнал, действие владельца страницы и ограничение данных. Такой блок помогает людям и AI понять не только что делать, но и почему рекомендация появилась.

B2B SaaS · brand visibility

Бренд упомянут, но источник не принадлежит бренду

В типовом B2B SaaS-аудите бренд может появляться в ответе на прямой запрос, но comparison и buying-intent промпты опираются на обзорные сайты или страницы конкурентов. Проблема не в названии бренда, а в отсутствии цитируемой методологии и сравнения.

Доказательство
Prompt matrix показывает mention без owned citation; citation rows указывают сторонний источник как основание ответа.
Действие
Опубликовать страницу методологии, comparison answer blocks и FAQ с критериями выбора.
Ограничение
Имена клиентов и uplift не показываются без подтвержденного разрешения; метрика влияния остается N/A.
E-commerce · category intent

AI выбирает директории вместо страниц категории

В e-commerce-сценарии модель часто цитирует marketplace-директории, потому что на странице категории нет короткого блока с критериями выбора, доступностью, возвратами и сравнением альтернатив. Страница есть, но не дает answer-ready доказательство.

Доказательство
Citation context относится к внешней директории; собственная категория присутствует в sitemap, но не покрывает source-authority intent.
Действие
Добавить buyer guide, таблицу критериев, блок политики доставки и FAQ, совпадающий с видимым контентом.
Ограничение
Оценка спроса без live SEO export маркируется как Estimated, не как Measured.
Agency · multi-client governance

Контент-команда и техническая команда меняют разные рычаги

У агентств recurring проблема: редактор добавляет FAQ и сравнения, но robots.txt, CDN или WAF закрывают часть AI/user-requested агентов. В результате контент готов к цитированию на бумаге, но не всегда доступен для проверки.

Доказательство
Crawler checklist фиксирует расхождение между желаемой политикой доступа и фактическими правилами для ботов.
Действие
Разделить training crawler policy, retrieval/search access и пользовательские fetch-агенты в отдельную таблицу решений.
Ограничение
Финальная policy зависит от юридической позиции бренда и не должна навязываться шаблоном.
Research-led content · proof depth

Доказательство есть, но оно спрятано слишком глубоко

В research-led статьях источники часто есть, но тезис, дата, ограничение исследования и действие для читателя лежат в разных местах. AI может извлечь фрагмент без контекста и потерять смысл рекомендации.

Доказательство
Content gap audit отмечает длинные абзацы без тезиса в начале и слабую связку claim to evidence.
Действие
Переписать разделы как thesis, argument, proof, limitation и добавить summary box перед глубокой частью.
Ограничение
Если первичные источники недоступны, блок помечается как needs review, а не публикуется как факт.
Ownership workflowКак история превращается в backlog
Input

URL, intent cluster, модель, дата запуска и видимый фрагмент ответа.

Evidence

Mention, citation, absorption, источник цитаты, crawler finding или content gap.

Decision

Конкретная страница, блок ответа, schema, техническое правило или source layer.

Guardrail

Неподтвержденные метрики остаются N/A; клиентские имена не публикуются без разрешения.

Частые вопросы

Можно ли спрятать страницу от Search через Agent Traffic?

Нет. Agent Traffic управляет доступом краулера, но robots.txt не удаляет URL из Search - для этого нужны noindex или password protection [76].

Зачем отдельно управлять CCBot?

Потому что блокировка «живых» ботов не убирает контент из открытых корпусов Common Crawl, которыми пользуются другие системы; это отдельное решение [77].

Достаточно ли одного правила «для AI-ботов»?

Нет. GPTBot, ClaudeBot, PerplexityBot и Googlebot - разные агенты с разными целями; политику задают по каждому отдельно [70, 74, 75].

С чего начать?

С инвентаризации фактического robots.txt и firewall против документации OpenAI, Perplexity, Anthropic, Google и Common Crawl - это самая дешёвая проверка GEO-аудита [76, 74].

Знайте, какие агенты вас читают.

Одна карта доступа вместо разрозненных правил.

Начать бесплатно