Продукт
Застосування
Ресурси
Agent Traffic

Бачте й керуйте тим, які
AI-агенти читають ваш сайт.

GPTBot/OAI-SearchBot, ClaudeBot/Claude-SearchBot, PerplexityBot/Perplexity-User, Googlebot і CCBot - різні агенти з різними цілями й різним ставленням до robots.txt. Agent Traffic зводить їх в одну карту доступу й політики.

Розпочати безкоштовно Дивитися ціни
Контекст / Проблема

«AI-бот» - не один агент

У кожної платформи свій user agent і своя мета crawling; одного правила «для AI» недостатньо.

robots.txt ≠ видалення з Search

Заблокований бот не вилучить контент, але robots.txt - це контроль доступу, а не видалення сторінки з Search.

Common Crawl - окреме рішення

Рішення щодо відкритих корпусів відмінне від доступу для «живих» ботів і часто ухвалюється неявно.

Практичний сценарій

Agent Traffic пояснює, хто саме може прочитати сторінку

Сторінка про AI-агентів має давати більше, ніж список ботів. Читачу треба побачити рішення: кого відкрити, кого закрити, де training відрізняється від retrieval і як перевірити drift політики.

Коротка AI-відповідь

Agent Traffic - це карта доступу для AI/search/user-requested агентів: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot і CCBot перевіряються окремо. Рішення розділяє training, search retrieval і користувацькі fetch-сценарії [70, 74, 75, 76, 77].

Реальний вибір

Default-open і split policy дають різні ризики

Команда може відкрити search/retrieval агентів, але обмежити training crawler. Це не “правильно для всіх”; це бізнес-рішення про видимість, дані й юридичний комфорт.

Доказ
Документації OpenAI, Anthropic, Perplexity, Google і Common Crawl описують різні user agents і різні цілі.
Дія власника
Зробити таблицю policy: agent, purpose, allowed, blocked, owner, review date.
Межа висновку
Юридичну позицію не можна вивести з SEO-аудиту; її має підтвердити власник бізнесу.
Технічна історія

robots.txt може виглядати правильно, але CDN усе одно ріже доступ

Усередині проєкту частіше ламається не сама ідея політики, а її виконання: robots.txt дозволяє бота, але WAF, CDN rule або geo restriction повертає неочікуваний статус.

Доказ
Порівнюються robots.txt, live fetch, headers, статус-коди й поведінка різних user agents.
Дія власника
Додати періодичну перевірку доступності й записувати drift як technical finding.
Межа висновку
Без серверних логів не можна стверджувати реальний обсяг bot traffic; такий показник маркується N/A.
Ownership

Доступ ботів має мати власника як security rule

Якщо policy зберігається “десь у SEO”, вона застаріває при кожному релізі. Надійніше вести її як інфраструктурне правило з відповідальним, датою перевірки й очікуваною поведінкою.

Доказ
Open loop зʼявляється, коли бажана політика й фактичний fetch розходяться.
Дія власника
Завести policy checklist у релізний процес і звʼязувати його з GEO-аудитом.
Межа висновку
Дозвіл crawler доступу не означає, що модель зобовʼязана процитувати сторінку.
Agent Traffic · карта доступу агентівСхема
1Вхід: ваш контент і політика доступу ботів
2Обробка: підготовка / вилучення / вимірювання
3Сигнал: цитування, absorption, прогалини
4Вихід: пріоритезовані дії (без гарантії inclusion)
Ілюстративна схема процесу, не реальні дані.
Як це працює
01

Карта агентів

GPTBot/OAI-SearchBot, ClaudeBot/Claude-User/Claude-SearchBot, PerplexityBot/Perplexity-User - політика по кожному окремо [70, 74, 75].

02

Що робить robots.txt

Контроль доступу краулера до URL, але не утримання сторінки поза індексом [76].

03

Common Crawl окремо

CCBot - інфраструктура відкритих веб-даних; рішення винесене в окремий явний контур [77].

04

Дрейф політики

Відстеження невідповідностей між наміром і фактичним станом robots.txt/firewall [70, 74, 75].

Що входить у продукт.

🧭

Карта агентів

Єдина карта доступу по кожному агенту.

Детальніше →
🚦

Доступ vs Search

Розділення контролю доступу й виключення з Search.

Детальніше →
🌐

Common Crawl контур

Окреме стратегічне рішення щодо CCBot.

Детальніше →
📉

Дрейф політики

Намір проти фактичного стану доступу.

Детальніше →
Джерела (E-E-A-T)
70 · OpenAI
Crawlers і user agents (GPTBot, OAI-SearchBot).
↗
74 · Perplexity
PerplexityBot / Perplexity-User і robots.txt.
↗
75 · Anthropic
ClaudeBot / Claude-User / Claude-SearchBot.
↗
76 · Google Search Central
Огляд краулерів і fetcher-ів.
↗
77 · Common Crawl
Документація CCBot.
↗
Практика Enigma

Історії з аудитів, а не лише теорія

Ми додаємо в продукт не абстрактні SEO-поради, а повторювані патерни з GEO-аудитів: що модель побачила, яке джерело процитувала, де бренд загубився і яку сторінку треба переписати.

Цитоване визначення

Field note Enigma - це анонімізована історія аудиту, де є перевірюваний сигнал, дія власника сторінки й обмеження даних. Такий блок допомагає людям і AI зрозуміти не лише що робити, а й чому рекомендація зʼявилася.

B2B SaaS · brand visibility

Бренд згадано, але джерело не належить бренду

У типовому B2B SaaS-аудиті бренд може зʼявлятися у відповіді на прямий запит, але comparison і buying-intent промпти спираються на оглядові сайти або сторінки конкурентів. Проблема не в назві бренду, а у відсутності цитованої методології та порівняння.

Доказ
Prompt matrix показує mention без owned citation; citation rows вказують стороннє джерело як основу відповіді.
Дія
Опублікувати сторінку методології, comparison answer blocks і FAQ з критеріями вибору.
Обмеження
Імена клієнтів і uplift не показуються без підтвердженого дозволу; метрика впливу лишається N/A.
E-commerce · category intent

AI обирає директорії замість сторінок категорії

В e-commerce-сценарії модель часто цитує marketplace-директорії, бо на сторінці категорії немає короткого блоку з критеріями вибору, доступністю, поверненнями й порівнянням альтернатив. Сторінка є, але не дає answer-ready доказ.

Доказ
Citation context стосується зовнішньої директорії; власна категорія є в sitemap, але не покриває source-authority intent.
Дія
Додати buyer guide, таблицю критеріїв, блок політики доставки й FAQ, що збігається з видимим контентом.
Обмеження
Оцінка попиту без live SEO export маркується як Estimated, не як Measured.
Agency · multi-client governance

Контент-команда й технічна команда змінюють різні важелі

В агенцій recurring проблема: редактор додає FAQ і порівняння, але robots.txt, CDN або WAF закривають частину AI/user-requested агентів. У результаті контент готовий до цитування на папері, але не завжди доступний для перевірки.

Доказ
Crawler checklist фіксує розбіжність між бажаною політикою доступу й фактичними правилами для ботів.
Дія
Розділити training crawler policy, retrieval/search access і користувацькі fetch-агенти в окрему таблицю рішень.
Обмеження
Фінальна policy залежить від юридичної позиції бренду й не має навʼязуватися шаблоном.
Research-led content · proof depth

Доказ є, але він захований надто глибоко

У research-led статтях джерела часто є, але теза, дата, обмеження дослідження й дія для читача лежать у різних місцях. AI може вилучити фрагмент без контексту й втратити сенс рекомендації.

Доказ
Content gap audit відмічає довгі абзаци без тези на початку й слабкий звʼязок claim to evidence.
Дія
Переписати розділи як thesis, argument, proof, limitation і додати summary box перед глибокою частиною.
Обмеження
Якщо первинні джерела недоступні, блок позначається як needs review, а не публікується як факт.
Ownership workflowЯк історія перетворюється на backlog
Input

URL, intent cluster, модель, дата запуску і видимий фрагмент відповіді.

Evidence

Mention, citation, absorption, джерело цитати, crawler finding або content gap.

Decision

Конкретна сторінка, блок відповіді, schema, технічне правило або source layer.

Guardrail

Непідтверджені метрики лишаються N/A; клієнтські імена не публікуються без дозволу.

Часті питання

Чи можна сховати сторінку від Search через Agent Traffic?

Ні. Agent Traffic керує доступом краулера, але robots.txt не видаляє URL зі Search - для цього потрібні noindex або password protection [76].

Навіщо окремо керувати CCBot?

Бо блокування «живих» ботів не прибирає контент із відкритих корпусів Common Crawl, якими користуються інші системи; це окреме рішення [77].

Чи достатньо одного правила «для AI-ботів»?

Ні. GPTBot, ClaudeBot, PerplexityBot і Googlebot - різні агенти з різними цілями; політику задають по кожному окремо [70, 74, 75].

З чого почати?

З інвентаризації фактичного robots.txt і firewall проти документації OpenAI, Perplexity, Anthropic, Google і Common Crawl - це найдешевша перевірка GEO-аудиту [76, 74].

Знайте, які агенти вас читають.

Одна карта доступу замість розрізнених правил.

Розпочати безкоштовно