🧸 Повний список AI-краулерів: Контролюйте видимість у пошуку Корисний матеріал, вирішив поділитись. Про що йде мова: AI-краулери від OpenAI, Anthropic, Google та інших платформ активно сканують сайти для тренування моделей і пошуку. Search Engine Journal опублікував верифікований список user-agent на грудень 2025, заснований на реальних серверних логах. Це допомагає SEO-спеціалістам блокувати фейки, уникати перевантаження серверів і оптимізувати robots.txt для видимості в AI-пошуку. Верифіковані краулери та неідентифіковані агенти: 🔸 Верифікований список AI-краулерів (22+): GPTBot (OpenAI, 100 стор/год), ChatGPT-User (2400 стор/год), ClaudeBot (Anthropic, 500), OAI-SearchBot, PerplexityBot (150), Bingbot (1300), Amazonbot (1050), Meta-ExternalAgent та інші. Вказано user-agent, crawl rate, IP-листи та приклади robots.txt (наприклад, Disallow: /private-folder). 🔹 Неідентифіковані агенти: you.com, ChatGPT Operator, Bing Copilot, Grok, DeepSeek — відстежуються тільки за IP через "пастки" на сайтах. Agentic AI-браузери (Comet, Atlas) маскуються під звичайних користувачів. Як перевіряти логи: Деякі хостингові компанії пропонують інтерфейс користувача (UI), який спрощує доступ та перегляд журналів сервера, залежно від того, який хостинг-сервіс ви використовуєте. Якщо ваш хостинг не пропонує цієї функції, ви можете отримати файли журналів сервера (зазвичай розташовані  /var/log/apache2/access.logна серверах на базі Linux) через FTP або запросити їх у служби підтримки вашого сервера. Щойно ви отримаєте файл журналу, ви можете переглянути та проаналізувати його в Google Таблицях (якщо файл у форматі CSV), аналізаторі журналів Screaming Frog або, якщо ваш файл журналу менший за 100 МБ , ви можете спробувати проаналізувати його за допомогою Gemini AI. Як перевіряти фейки: Перевіряйте IP проти офіційних списків (Wordfence для WP — allowlist IP + блок user-agent). Спамери копіюють UA, як ClaudeBot через curl. 📌 Табличка: https://docs.google.com/spreadsheets/d/1ncnagj1AGBxwCVEHa1t2G16Ob5rj7BJ5QkI1Zuw0OV0/edit?gid=0#gid=0 переклав та вівів в табличку для зручності, в табличці також є інфо по директивам для robots.txt для кожного боту, збережіть 🙂 Джерело: https://www.searchenginejournal.com/ai-crawler-user-agents-list/558130/