Боты Google: какие бывают и как работает Google-Extended

Короткий ответ: это не один бот

Google использует несколько групп автоматических клиентов. Основной поисковый робот — Googlebot. Есть специализированные сканеры изображений, видео, Google News, Shopping и рекламы, а также загрузчики, которые обращаются к URL после действия пользователя. В документации Google разделяет общих сканеров, сканеры особых случаев и загрузчики, вызванные пользователем (список общих сканеров, список специальных сканеров, пользовательские загрузчики).

Главное для владельца сайта — разделять три задачи:

• **Поиск и индексация.** Googlebot получает страницу, а системы поиска решают, добавлять ли её в индекс и показывать ли в Google Search.
• **Использование контента в Gemini.** Google-Extended — токен для robots.txt, который управляет некоторыми способами использования контента для обучения Gemini и grounding — получения сведений из поискового индекса при подготовке ответа.
• **Загрузка по действию человека.** Google-Agent или Gemini Notebook могут запросить конкретную страницу, когда пользователь попросил продукт перейти по ссылке или использовать её как источник.

flowchart TD
    A[Страница сайта] -->|обход| B[Googlebot]
    B --> C[Индекс Google Search]
    C --> D[Поиск и функции ИИ]
    E[Google-Extended в robots.txt] -. правила использования .-> F[Обучение и grounding Gemini]
    G[Запрос человека] --> H[Google-Agent или Gemini Notebook]
    H --> A

Схема показывает разные функции и управляющие правила, а не три независимые копии страницы. В частности, Google-Extended не выдаёт себя за отдельный HTTP-робот и не создаёт отдельную строку в логах сайта.

Googlebot и сканеры для поиска

У Googlebot есть мобильный и настольный варианты. Для большинства сайтов Google Search преимущественно индексирует мобильную версию, поэтому большинство запросов Googlebot приходит с мобильным User-Agent. При этом в robots.txt обе версии регулируются одной группой User-agent: Googlebot; выборочно разрешить смартфон и запретить компьютер этим правилом нельзя (документация Googlebot).

Что происходит после запроса Googlebot

Запись в логе подтверждает запрос к URL. Получил ли клиент содержимое страницы, проверяют по коду и содержанию ответа. Запрос сам по себе не доказывает попадание страницы в индекс и тем более её позицию. В Google Search JavaScript-страницы проходят три основных этапа: обход, рендеринг и индексирование. Googlebot находит адреса прежде всего по ссылкам на уже известных страницах; sitemap помогает сообщить о URL, но не гарантирует обход. Перед HTTP-запросом Googlebot проверяет robots.txt. Для доступной страницы Google может отдельно запустить рендеринг в Chromium и использовать полученный HTML при индексировании (как Google обрабатывает JavaScript, как Googlebot обнаруживает URL, зачем нужна карта сайта).

Токен Googlebot-News влияет на Google News и приложение Google News. Он не управляет вкладкой «Новости» в обычной выдаче Google Search: Google исправил это описание в документации в 2025 году. Сканер и токен — не всегда одно и то же имя: Google News сканирует стандартный Googlebot, а отдельное правило определяет применение контента в продукте Google News (список общих сканеров и их назначение, журнал изменений документации).

Google-Extended: что он разрешает и ограничивает

Google-Extended — самостоятельный продуктовый токен, который издатель указывает в robots.txt. У него нет своего HTTP User-Agent: Google выполняет запросы с обычными идентификаторами Google, а токен сообщает, разрешено ли использовать полученный контент для конкретных AI-задач.

По документации Google, правила Google-Extended позволяют управлять тем, может ли контент, полученный Google с сайта, использоваться для **обучения будущих моделей Gemini** и для некоторых видов **grounding** в Gemini Apps и Gemini на Vertex AI. Grounding в этом контексте — когда модель использует данные из индекса Google Search, чтобы сделать ответ точнее и актуальнее. Google отдельно указывает, что Google-Extended не влияет на присутствие сайта в Google Search и не используется как сигнал ранжирования (официальное описание Google-Extended).

Важное различие — между Google AI в поиске и приложением Gemini. AI Overviews и AI Mode являются функциями Google Search и используют системы поиска и его индекс. Google указывает, что для этих AI-функций по-прежнему важны базовые требования SEO и доступность материала в Search. Поэтому вывод из опубликованных правил такой: Google-Extended не является переключателем видимости в AI Overviews; блокировка Googlebot влияет на функции Google Search, в том числе AI Search (руководство Google по AI-функциям поиска, описание влияния Googlebot). Это вывод из границ, которые Google описывает для двух разных систем управления.

Другие сканеры, связанные с продуктами Google

Не каждый запрос Google относится к поисковой выдаче. Часть клиентов получает контент для определённого сервиса или выполняет техническую проверку.

Для части таких клиентов действует отдельная robots.txt-группа. В частности, AdsBot-Google, AdsBot-Google-Mobile, Mediapartners-Google и APIs-Google могут игнорировать общую группу User-agent: *; настраивать нужно собственное имя агента. Некоторые специальные сканеры Google могут игнорировать robots.txt полностью. Это зависит от продукта и договорённостей с владельцем сайта, поэтому проверьте назначение конкретного клиента в документации специальных сканеров Google.

GoogleOther сам по себе не подтверждает, что страница использовалась Gemini: Google описывает его как общий сканер без привязки к отдельному продукту. Поэтому не следует трактовать каждое посещение GoogleOther как попытку обучения модели. А Google-CloudVertexBot нельзя смешивать с Google-Extended: первый выполняет сканирование для агента, которого настроил владелец сайта; второй задаёт правила использования материала в определённых задачах Gemini.

Gemini Notebook и Google-Agent: запрос по инициативе пользователя

В группе пользовательских загрузчиков Google выделяет клиентов, которые обращаются к конкретным URL после действия человека. Это не тот же процесс, что автоматический обход всего сайта для индекса.

Google предупреждает, что пользовательские загрузчики обычно игнорируют robots.txt, потому что URL запросил человек. Для страниц, которые нельзя показывать без разрешения, нужен контроль доступа на сервере: пароль, авторизация или другой механизм. robots.txt сообщает предпочтения для обхода, но не защищает секретные материалы от прямого открытия (документация пользовательских загрузчиков).

Как управлять Google через robots.txt

robots.txt выбирает, какие URL может запрашивать конкретная группа роботов. Группа Googlebot нужна для поискового обхода, группа Google-Extended — для управления описанными выше способами использования материалов Gemini.

User-agent: Googlebot
Allow: /
Disallow: /search/

User-agent: Google-Extended
Disallow: /ai-excluded/

Важно: Google применяет к роботу самую конкретную подходящую группу. Правила группы User-agent: * не добавляются к отдельной группе User-agent: Googlebot. Поэтому перед добавлением такой группы проверьте прежние запреты: если они должны сохраниться, повторите их в группе Googlebot. Иначе Allow: / может открыть Googlebot пути, которые были закрыты только общей группой (как Google выбирает группы правил).

В этом примере Googlebot может сканировать сайт, кроме пути /search/. Google-Extended не должен использовать путь /ai-excluded/ в целях, которые Google связывает с этим токеном. Для запрета таких способов на всём сайте правило будет выглядеть так:

User-agent: Google-Extended
Disallow: /

Не добавляйте такое правило, пока не решили, хотите ли ограничить обучение и grounding Gemini для всех публичных страниц. Оно не закрывает страницы от Google Search.

Если страницу нужно исключить из поиска, правило noindex должно быть доступно Googlebot: в <meta name="robots" content="noindex"> или HTTP-заголовке X-Robots-Tag. Не закрывайте одновременно URL в robots.txt, иначе Googlebot не сможет получить страницу и увидеть noindex. Удаление адреса из поиска и блокировка сканирования — разные задачи (как работает noindex, спецификация robots.txt Google).

Как выбрать правило

flowchart TD
    A{Нужна выдача?} -->|да| B[Оставить Googlebot]
    A -->|нет| C[Убрать из поиска]
    C --> D[Дать Googlebot увидеть noindex]
    B --> E{Ограничить Gemini?}
    E -->|да| F[Disallow Google-Extended]
    E -->|нет| G[Не блокировать токен]

Для большинства публичных сайтов отправная точка — не мешать Googlebot получать полезные страницы, а решения по Google-Extended принимать отдельно. На адресах с личными кабинетами и данными клиентов сначала настраивают серверную авторизацию, затем проверяют правила сканирования.

Как проверить, что бот настоящий

Строку User-Agent легко скопировать. Запрос с надписью Googlebot в логе ещё не доказывает, что его отправил Google. При ручной DNS-проверке выполните обратный поиск IP и проверьте, что имя равно googlebot.com, google.com или googleusercontent.com либо оканчивается на .googlebot.com, .google.com или .googleusercontent.com — точка перед доменом обязательна. Затем выполните прямой поиск этого имени и убедитесь, что он возвращает исходный IP. Для автоматической проверки можно сверить адрес с официальными диапазонами Google (инструкция Google по проверке запросов).

Проверяйте запрос по нескольким полям:

1. **User-Agent:** какой токен указан и к какому классу Google он относится.
2. **IP:** входит ли адрес в диапазоны Google для этого вида сканера или загрузчика.
3. **URL и время:** какие страницы и ресурсы запрашивались; повторяется ли ошибка.
4. **Ответ сервера:** код HTTP, цепочка редиректов, длительность, объём ответа.
5. **robots.txt и CDN/WAF:** не блокирует ли доступ правило сайта или защитный фильтр.
6. **Результат обработки:** для Googlebot — отчёт статистики сканирования и проверка URL в Search Console.

В Search Console отчёт Crawl Stats отражает активность Googlebot. Он не является журналом всех пользовательских fetcher-ов и не показывает, что Google использовал конкретную страницу для обучения Gemini. Google-Extended не имеет отдельного HTTP User-Agent, поэтому его нельзя надёжно «отфильтровать» по самостоятельной строке в access log.

Если в логах появился неожиданный Google-Agent или Gemini Notebook, не блокируйте IP только по тексту User-Agent. Сверьте запрос с официальными списками IP и правилами продукта. Пользовательские загрузчики могут обойти robots.txt именно потому, что действуют по запросу человека.

Что подчёркивают англоязычные SEO-разборы

В англоязычных SEO-разборах Search Engine Land об AI-crawler-ах и Ahrefs о Googlebot ботов полезно делят по функции: поиск, специальные продуктовые задачи, обучение моделей и загрузка по запросу человека. Это помогает выбрать правило robots.txt по цели. Но коммерческие списки быстро устаревают: в материале Search Engine Land ещё используется старое имя Google-NotebookLM, а Google переименовал агент в Google-GeminiNotebook в июле 2026 года. Актуальное название и область действия сверяйте с официальным журналом изменений Google.

Практический вывод из этих разборов: не считать визит одного агента доказательством цитирования сайта или попадания материала в обучение. User-Agent помогает распознать тип запроса, но не раскрывает, как конкретная страница была обработана продуктом; сам токен Google-Extended, в отличие от обычного User-Agent, невозможно искать в access log как отдельного клиента.

Список Google меняется. Например, в 2026 году Google добавил Google-Agent и переименовал загрузчик NotebookLM в Google-GeminiNotebook; официальная документация также обновила детали Googlebot-News и другие описания. Поэтому перед массовым изменением robots.txt проверяйте текущие имена в документации Google, а не только в старых статьях и списках SEO-инструментов.

Частые ошибки

Вопросы и ответы

Что проверить сначала

Сначала определите цель: индексация в Google Search, использование материалов в Gemini или загрузка конкретной страницы по запросу человека. После этого проверьте отдельную группу robots.txt, реальные ответы сервера и подлинность запросов по IP. Не меняйте правила для Googlebot, если нужно управлять только Google-Extended.