Что такое llms.txt и почему его нет у 88% сайтов

Из шести направлений моего аудита есть одно, которое почти никто не закрыл, хотя закрывается оно за полчаса и без программиста. Это файл llms.txt: по корпусу из 389 сайтов верхних строк выдачи Яндекса его нет у 88%. Разберём, что это, чем он отличается от robots.txt и sitemap, как выглядит и как его сделать - на примере файла этого сайта.

Что такое llms.txt

llms.txt - это текстовый файл в корне сайта (по адресу /llms.txt), написанный в формате Markdown. В нём коротко сказано, что за сайт, и дан список ключевых страниц с описаниями - карта ресурса, составленная для больших языковых моделей: ChatGPT, Claude, Gemini, YandexGPT и других. Идея простая: обычная HTML-страница набита меню, скриптами, баннерами и разметкой, сквозь которые модели приходится продираться, а llms.txt даёт ей то же содержание в чистом, заранее отобранном человеком виде.

Формат предложил в конце 2024 года Джереми Ховард (проект llmstxt.org). Оговорю сразу: это открытая конвенция, а не официальный стандарт. Ни поисковые системы, ни разработчики нейросетей не обязаны её учитывать, и гарантий она не даёт. Но это и есть причина сделать файл сейчас - об этом в конце.

Чем llms.txt отличается от robots.txt и sitemap.xml

Три файла в корне сайта легко перепутать, хотя задачи у них разные:

robots.txt отвечает на вопрос «куда можно», sitemap.xml - «какие адреса вообще есть», а llms.txt - «что здесь важно и о чём это». Первые два - технические списки для машин, третий ближе к короткому путеводителю.

Как выглядит llms.txt

Структура минимальна и вся - на обычном Markdown:

• Заголовок с названием через #: имя сайта или проекта.
• Одно предложение о сути через >: что это и для кого.
• Разделы через ##: «Проверки», «Блог», «Услуги» и подобное.
• Списки ссылок вида - [Название](адрес): короткое описание - ключевые страницы с пояснением, зачем каждая.

Всё. Ни XML, ни особого синтаксиса, ни генераторов - файл пишется руками за один присест и правится в любом текстовом редакторе. Рабочий пример всегда открыт по адресу /llms.txt этого сайта.

Зачем он нужен

Польза у llms.txt двойная. Во-первых, он даёт модели чистое, отобранное человеком описание сайта вместо того, чтобы та вычленяла суть из захламлённого HTML, - меньше шума, меньше шансов, что вас поймут неверно. Во-вторых, само наличие файла - сигнал, что за сайтом следят и держат его в порядке под новые форматы.

Но обещать по нему цитирование нельзя, и я этого делать не буду. llms.txt делает сайт разбираемым, а не автоматически цитируемым: это необходимое удобство, а не кнопка «попасть в ответ нейросети». В паре с FAQ-разметкой, Schema и прямыми ответами под заголовками он работает; сам по себе - лишь один из рычагов. Полный набор из четырёх правок я разбирал в статье про контраст направлений на рынке.

Как сделать за полчаса

1. Создайте текстовый файл llms.txt в кодировке UTF-8.
2. Первой строкой - # и название сайта. Второй - > и одно предложение, что это за ресурс.
3. Разбейте главное на 2-4 раздела через ##: услуги, статьи, справочные страницы.
4. В каждом разделе - список ключевых страниц: - [Название](полный или относительный адрес): чем полезна. Не весь сайт, а именно то, что вы хотите донести и закрепить.
5. Положите файл в корень сайта, чтобы он открывался по адресу вашдомен/llms.txt.
6. Обновляйте при заметных изменениях - как короткое оглавление, а не как полный каталог.

Держите файл коротким: его смысл - выжимка, а не дубль sitemap. Если он разрастается до сотен ссылок, вы делаете не llms.txt, а второй sitemap.

Стоит ли делать сейчас

Резонное сомнение: конвенция молодая, поддержка со стороны нейросетей только складывается, гарантий нет. Всё так. Но именно поэтому вход дешёвый. Файл пишется за полчаса, не требует разработчика и не может навредить - в худшем случае его пока мало кто прочитает. При этом его нет у 88% сайтов, а по отдельным нишам - у 95-97%: разброс от 3% у санаториев до 25% у SEO-компаний я разбирал в срезе по нишам. Это то редкое, что стоит копейки и на что почти никто ещё эти копейки не потратил.

Чего это не значит. llms.txt не гарантирует попадание в ответы нейросетей и не влияет на позиции в классическом поиске - это конвенция (llmstxt.org), а не официальный стандарт, и учитывать её никто не обязан. Доля «нет у 88%» посчитана по сайтам из верхних строк коммерческой выдачи Яндекса по 10 нишам, а не по всему Рунету; проверялось наличие самого файла /llms.txt на одной странице каждого сайта.