Technical SEO | David T.

Стоит ли делать отдельные версии страниц сайта для ИИ?

В SEO обсуждают идею копировать продвигаемые страницы в формате Markdown (далее MD) и отдавать ИИ-ботам для чтения.

Идея в том, что пользователи как обычно видят привычный HTML, а нейросеть получает очищенный текст без стилей, скриптов и лишних блоков.

Предполагается, что нейросетям проще разобрать чистый формат и это принесёт больше трафика из ИИ-ответов.

Cloudflare подхватила тренд и запустила Markdown for Agents. Сервис отдаёт ИИ-ботам MD вместо HTML, если запрос сделан в подходящем формате.

Сотрудники Google в подкасте Search Off the Record разобрали похожий подход и назвали поддержку MD или llms.txt бессмысленной для обнаружения сайта.

В чём позиция Google:

ИИ-боты умеют работать с HTML
MD может быть удобнее для чтения, но это не значит, что сайт начнут чаще выбирать для ИИ-ответов. В подкасте говорят, что ИИ-боты давно научились работать с HTML, потому что на нём построен веб.

Перевод текста в другой формат не добавляет ресурсу качества и не заставляет нейросеть ранжировать его выше.

HTML даёт больше контекста, чем очищенный текст
ИИ-боту важен не только текст страницы. В HTML есть внутренние ссылки, заголовки и другие SEO-элементы, через которые он понимает структуру сайта.

Если при конвертации в MD часть этих элементов пропадёт, ИИ-бот получит меньше контекста для обхода сайта.

Скрытые баги в параллельных версиях страниц
Если в MD устареет цена, пропадёт ссылка или потеряется часть контента, то обычная проверка HTML этого не покажет.

Значит, MD придётся регулярно сравнивать с HTML и проверять, что версии не разъехались.

Похожую проблему уже проходили с динамическим рендерингом, когда роботам отдавали одну версию страницы, а людям другую. Из-за расхождений и скрытых сбоев Google не рекомендует такой подход в качестве долгосрочного решения.

Но слова Google сами по себе не доказательство.

Кроме слов Google, есть результаты публичных практических экспериментов:
OtterlyAI тестировал HTML против MD
HTML и MD содержали один и тот же контент.

За 14 дней HTML получал визиты ИИ-ботов и попадал в цитирования, а MD получил 0 визитов и 0 цитирований.

Авторы пишут, что не нашли доказательств GEO-преимущества у MD.
Ссылка на источник: otterly.ai

Suganthan тестировал Cloudflare Markdown for Agents
Он включил функцию, добавил трекинг и 44 дня логировал запросы.

MD-запросы были, но тест не показал роста ИИ-цитирований, видимости или трафика. То есть коммерческий смысл не был доказан.
Ссылка на источник: suganthan.com

Лог-анализ Longato по .md-файлам и llms.txt
Автор не увидел признаков, что GPTBot или похожие ИИ-боты запрашивают или приоритизируют MD, даже когда он указан в llms.txt.

Поддержка MD рядом с HTML добавила расходы, но не показала роста видимости или упоминаний.
Ссылка на источник: www.longato.ch

Как я применяю это в работе?
В аудитах я не ставлю MD в обязательный план работ. Для меня это остаётся гипотезой для отдельного эксперимента.

Я продолжаю закрывать классические проблемы, которые мешают обходу, индексации и доступу к контенту.

Это не так модно, как «сайт для ИИ», но такая работа снижает риск будущих технических ошибок и помогает сайту приносить трафик.

Как одна забытая кнопка чуть не убила полгода SEO-продвижения

Летом 2021 года мне ночью позвонил клиент, владелец бизнеса по производству элитной итальянской мебели.
«Давид, у нас всё посыпалось. Трафик пропал, страницы вылетают из поиска, в Яндексе висит критическая ошибка. Что происходит?»

До этого мы несколько месяцев спокойно и планомерно вели SEO, заняли топовые места по важным запросам. Поэтому его слова об ошибках звучали тревожно. Я сразу зашел в Яндекс Вебмастер и увидел ту самую ошибку. Сайт закрыт для обхода роботами.

Чтобы окончательно проверить это, я открыл robots.txt в браузере и увидел классическую картину:

User-agent: *
Disallow: /

На первый взгляд причина была очевидной: сайт закрыт от обхода, значит страницы начнут выпадать из поиска. Но через несколько минут стало понятно, что проблема сложнее.

Я зашёл на сервер клиента, открыл физический robots.txt и увидел совсем другой файл. Корректный, чистый, без запретов.

То есть сервер хранил корректный robots.txt, а поисковик получал другую версию.

Я уточнил, были ли в последние дни крупные технические работы. Оказалось, сайт как раз переносили на новый сервер и подключали Cloudflare.

Оказалось, что во время переезда разработчики временно закрыли сайт от обхода роботами, чтобы в поиск не улетели тестовые страницы и технические дубли. Cloudflare успел закэшировать закрытую версию robots.txt, а когда на сервер уже залили правильный файл, кэш просто не сбросили.

В итоге на сервере уже лежал корректный файл, а для поисковика всё ещё оставался закрытым. Этого хватило, чтобы Яндекс начал исключать страницы из поиска, а трафик резко просел.

Дальше всё решалось уже быстро:

Разработчики сбросили кэш;

Я проверил, что robots.txt отдаётся корректно;

Отправил страницы на переобход.

Через несколько дней страницы начали возвращаться в индекс. Ситуацию удалось вытащить, но не без потерь. Трафик восстановился не полностью, а по части запросов сайт, насколько помню, так и не вернул себе первое место.

Какой можно сделать вывод?
Визуально рабочий сайт может быть невидимым для поисковых систем. Любой переезд, крупный релиз или настройка кэширования требуют обязательного контроля под капотом.

Составьте базовый чек-лист критических проверок и всегда перепроверяйте сайт после релизов, иначе одна забытая кнопка может легко обнулить месяцы упорной работы.