Поисковая оптимизация *

Я изучаю AEO/GEO (продвижение брендов в ответах нейросетей) и наткнулся на разбор про странную вещь: нейросети называют одни бренды и будто не замечают другие, причём качество продукта тут ни при чём (SearchAtlas). Объясняют это через понятие сущности: и поиск, и нейросети воспринимают бренд как отдельный объект знания со своими свойствами и связями.

Тема показалась любопытной, и я полез в первоисточники: доки Google, schema.org, Wikidata, замеры Ahrefs и Frase, пару работ с arXiv. Там и уткнулся в неожиданное. Знание о бренде у машины устроено двумя совершенно разными способами, и их постоянно путают. Один способ работает у обычного поиска Google, это Knowledge Graph. Другой у языковых моделей вроде ChatGPT, это память в весах нейросети.

Единого первоисточника у этого разбора нет, я собрал его из перечисленного под наш контекст, ссылки стоят по тексту. Дальше разложу оба механизма простым языком и покажу, что с каждым можно сделать.

В мае 2025 года к нам обратилась Алла, владелица питомника кошек породы европейская бурма. Питомник специализируется на разведении породистых котят с полным пакетом документов.

Проблемы до начала работы:

Исходная ситуация:

- Устаревший сайт, который не приносил результатов
- Ни одной заявки с сайта за всё время существования
- Все продажи происходили только через Авито точечно
- Низкая посещаемость сайта (данные Яндекс.Метрики с января по июнь 2025 показывали минимальный трафик)

Запрос клиента:

Первое сообщение от Аллы было конкретным: "Есть сайт, но он никогда не приводил покупателей. В то же время знаю, что конкуренты продают таких котят через сайт достаточно успешно."

С этого сообщения началось наше сотрудничество с питомником Арабика. Задача была ясна - сделать так, чтобы сайт начал регулярно приводить покупателей.

На старте поисковая система часто устроена просто: одна таблица на одном сервере. Это работает, пока не случится одно из двух. Либо отдельный запрос перестаёт задействовать весь CPU, за который вы заплатили, либо одного сервера перестаёт хватать — по объёму, по пропускной способности или просто потому, что сервер может выйти из строя, и данные на нём будут потеряны.

Автоматический шардинг, встроенный в Manticore Search и доступный начиная с релиза 27.1.5 , решает обе проблемы, разбивая таблицу на несколько физических фрагментов меньшего размера (шардов), по которым можно выполнять поиск параллельно и которые можно размещать на разных узлах:

Раньше построение KNN-индекса было самым медленным этапом при сохранении и слиянии чанков в таблицах с векторными атрибутами. Начиная с v27.1.5 , Manticore может задействовать несколько ядер CPU при сохранении чанков, слияниях через OPTIMIZE, авто-оптимизации и ALTER TABLE ... REBUILD KNN. На 16-ядерном Ryzen 9 5950X построение KNN-индекса для 1 миллиона 1536-мерных векторов сократилось с 8 минут до 39 секунд.

В общем, базовая история с аудитом страниц — мы каждый месяц отправляли подрядчику несколько страниц на проверку. Отбирали несколько максимально разных. Если находились проблемы на одной, мы также правили и на однотипных. В месяц так проверяли 4–6 страниц. И тут, из очевидных минусов — оплата подрядчика и ожидание.

Учитывая, что по сути нужно проверять однотипные вещи, вроде title, description, H1 и, например, ошибки в консоли, то я подумал, почему бы не попробовать отдать это агенту. Да, в деталях все не так просто, но общая процедура каждый раз плюс‑минус одинаковая, а значит можно настроить сценарий. 

Так появилась идея научить нашего AI‑ассистента делать аудит новых страниц самостоятельно. Не в стиле «посмотри сайт и скажи, что думаешь», а по нормальной процедуре, с фиксированным результатом. На выходе я хотел получать гугл‑таблицу с чек‑листом и PDF со скриншотами проблемных мест.

Сначала казалось, что это задача на пару дней. Берем несколько готовых навыков, подключаем технический аудит, показываем агенту шаблон отчета и просим его все аккуратно заполнить. На практике оказалось все сложнее.

Qwant — редкий европейский поисковый проект, который сумел стать заметным за счет не технологического доминирования, а удачного позиционирования. Поисковик делает ставку на приватность: не хранит историю запросов, не продает персональные данные пользователей и размещает сервис в европейской инфраструктуре. При этом у компании есть собственный патентный портфель, который местами выглядит противоречиво на фоне ее ключевых принципов. Об истории создания Qwant мы сегодня и поговорим.

Мечта любого бизнесмена — чтобы в ответ на релевантный вопрос пользователя поисковая система (или нейронка) рекомендовала именно его товар. Нативно, без рекламы. Просто на первом месте поиска. А в случае LLM — как «правильный» и наиболее верный ответ, со ссылкой на сайт.

И так называемые «оптимизаторы» реализуют эту мечту. Они адаптируют контент сайта таким образом, что его можно продвинуть и «скормить» краулерам LLM.

Как сеошники прошлых лет портили оптимизировали контент старых сайтов, так оптимизаторы нового поколения наполняют Хабр текстами, которые пишутся для нейронок. Теперь это называется AEO (answer engine optimization) — оптимизация для AI-движков.

Я сделал ContentCombine — мультинишевый контент-комбайн, который собирает материалы из RSS, Telegram, сайтов и других источников, нормализует их, считает скор, склеивает повторы в сюжеты, отделяет кейсы от шума и готовит ежедневный дайджест. Сначала движок работал на игровых новостях, потом я перенёс его на SEO и AI — без переписывания ядра, но с кучей неожиданных граблей: entity blobs, старые статьи под видом свежих, молчащие фиды, ложные тренды и LLM-недетерминизм в проде.

У меня есть сайт на Next.js. Часть страниц индексируется почти сразу. Часть застряла в статусе «Обнаружено, не проиндексировано» уже две недели. Самое неприятное в том что все страницы технически одинаковые. Тот же фреймворк, тот же сервер, тот же sitemap.

Расскажу, как я перебирал гипотезы одну за другой, и что в итоге осталось.

Привет, Хабр! Меня зовут Борис, я инди‑хакер и разработчик. Обычно я пилю Telegram‑ботов и настраиваю автоматизации, но чуть менее года назад меня затянула идея создать собственный большой, удобный и, главное, полностью авторский веб‑проект в тематике ИИ — Нейро.PRO.

Я сразу решил, что не буду использовать никакие конструкторы, шаблоны из 2010х и унылые рерайтов. Всё пишем руками (с помощью ИИ‑шки конечно же), вылизываем UX и делаем упор на пользу для людей.

Если вы запускаете Manticore Search на Linux, в качестве основного инструмента управления стоит выбрать systemd.

На текущий момент это общепринятая практика, хотя ранее существовали определённые ограничения. Да, Manticore Search мог работать под systemd, но интеграция обладала рядом функциональных ограничений. Архитектура демона основана на традиционных подходах Unix; systemd появился позже и хотел от службы совсем другого. Так что настройка работала, но не соответствовала современным требованиям к управлению службами.

Теперь Manticore Search поддерживает нативные уведомления systemd — это и есть главное изменение.

Почему это важно? Потому что устраняется ряд операционных проблем:

Это третья, финальная часть серии про сайты под управлением ИИ. В первой разбирали, что такое нейросайт и сколько он стоит; во второй — внутреннее устройство: MCP‑брокер, пайплайн деплоя, безопасность. Эта часть больше ориентирована на маркетинговые и бизнес‑задачи: не про то, как это работает, а про то, какие выгоды это даёт бизнесу: позиции, трафик, конверсию, и главное — скорость и стоимость изменений.

Один абзац для тех, кто не читал предыдущие части: нейросеть в этой схеме — внешний инструмент для реализации изменений, она не работает в рантайме, не влияет напрямую на скорость загрузки и поведение пользователя.

До сих пор сайты делали для людей: чтобы человек зашёл, посмотрел глазами, нажал кнопку. Но всё чаще на страницы заходят не люди, а ИИ-агенты — боты, которые сами читают сайт и действуют за пользователя: ищут товар, сравнивают, оформляют заказ, записывают на приём. И тут выясняется неприятное: то, что очевидно человеку, агент часто «не видит» — кнопка без подписи, всплывашка про cookie без названия, прыгающая при загрузке вёрстка. Google решил это измерять и встроил в свой бесплатный инструмент проверки сайтов (Lighthouse / PageSpeed Insights) новый раздел — Agentic Browsing. Он отвечает на один вопрос: готов ли ваш сайт к тому, что им будет пользоваться не человек, а ИИ-агент? Многие уже наткнулись на красное «0/3» в этом разделе и заподозрили, что с сайтом что-то серьёзно не так. Спойлер: чаще всего нет — это две-три мелкие и давно знакомые недоработки. Ниже разберём, что именно проверяется, чего пугаться не стоит и что реально стоит починить.

В Lighthouse 13.3 появился Agentic Browsing — pass/fail вместо 0–100. Четыре проверки, отличие от Search Console и что чинить до llms.txt.

Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдельного сервиса для работы с ML-моделью, — главный запрос пользователей касался скорости работы. Ранее для генерации эмбеддингов использовался только стек SentenceTransformers поверх Candle (Rust-рантайм Hugging Face для ML-инференса), и ресурсы CPU использовались далеко не полностью: в большинстве сценариев нагрузки показатель QPS держался на уровне нескольких десятков документов в секунду независимо от способа подачи данных, а параллельные запросы обрабатывались последовательно в рамках одной сессии модели.

Поэтому мы в течение нескольких недель оптимизировали механизм запуска ONNX-моделей в Manticore. Новый бэкенд ONNX Runtime доступен начиная с Manticore Search 27.1.5 . ONNX (Open Neural Network Exchange) — переносимый формат моделей, в котором уже публикуется большинство популярных open-source моделей для эмбеддингов: MiniLM, BGE, E5 и другие. В результате получилось решение, которое в среднем в 14 раз быстрее прежней реализации SentenceTransformers/Candle на том же оборудовании (обычный недорогой сервер с 16 ядрами / 32 потоками), с той же моделью и теми же весами, если усреднить по всей матрице замеров threads × batch, — и это преимущество сохраняется как при одном клиентском потоке, так и при тридцати двух. Предыдущая реализация во всём диапазоне нагрузок показывала 5–11 документов/с; новая реализация работает в диапазоне 70–230 документов/с.

Мы задались вопросом: насколько стабильны ответы нейросетей? Чтобы ответить, собрали по 100 генераций от 5 моделей на один и тот же промпт и сравнили их через косинусное расстояние векторов TF‑IDF. Оказалось, что стабильность сильно зависит от модели: у некоторых разброс близости ответов заметно выше. Подробности, графики и полная методология — в статье.

Продвижение собственного сайта занимает месяцы, а иногда и годы. Из-за этого молодым доменам сложно конкурировать за верхние позиции в поисковой выдаче. Один из способов ускорить получение трафика — публикация статей на крупных платформах вроде VC, DTF, Дзена или TenChat, которые уже имеют доверие поисковиков.

Представим задачу: хайлоад-сервис гонит поток данных — логи, IP-адреса, ID пользователей, миллиарды записей в сутки. Ваша задача — посчитать количество уникальных посетителей за неделю.

Первым решением может показаться завести HashSet и кидать туда ключи, а в конце посмотреть размер. Решение неплохое, но когда речь заходит о миллиардах записей — память будет слабым местом. Один IP-адрес (4 байта) как ключ в HashSet потянет за собой накладные расходы на ноды, указатели и хеши. На практике один элемент сжирает не меньше 50–100 байт. Поток в миллиард уникальных записей потребует под сотню гигабайт оперативной памяти. Это дорого, а если инстансов десять — то просто нереально.

Но существует алгоритм, который способен решить эту задачу примерно в 1.5 килобайта памяти с погрешностью около 2%? Без хранения самих данных и гигантских кластеров. Достаточно одного прохода по потоку и пары битовых трюков — именно так и работает HyperLogLog, алгоритм родом из математической статистики, который перевернул подход к подсчёту уникальности в Big Data.

HyperLogLog используют в Redis, BigQuery, ClickHouse, Presto. В этой статье мы разберем и реализуем этот алгоритм на C, а также узнаем его предысторию.

Manticore Search 27.1.5 выпущен. Этот релиз приносит встроенные аутентификацию и авторизацию, шардированные таблицы, conversational search, более быструю сборку HNSW, улучшенные фасетирование и агрегации, а также длинный список исправлений в KNN, репликации, совместимости протоколов и других областях.

Этот пост - сводка всего, что вышло с 25.0.1 по 27.1.5.

Привет, Хабр!

Меня зовут Дмитрий, руководитель отдела рекламы и продвижения в Аспро. Мы запускаем интернет-магазины и развиваем систему управления бизнесом Аспро.Cloud.

Раньше покупатель сам проходил путь: вводил запрос, открывал несколько вкладок, читал характеристики, сравнивал цены и условия доставки — и в итоге выбирал. Интернет-магазин конкурировал за место в выдаче и за то, чтобы человек остался именно на его странице.

Сейчас этот путь берет на себя нейросеть. Покупатель пишет «посудомойка для семьи» — ИИ при необходимости уточняет бюджет и задачу, а потом выдает готовую подборку: несколько вариантов из разных магазинов с ценами, характеристиками и условиями доставки. Без единого клика по сайтам.

Кратко: Три изменения в HNSW-поиске ускоряют KNN-поиск до 29% при больших k и дают более 20% прироста при параллельной нагрузке. Без изменений API, без перестроения индексов и без новых настроек — просто более быстрый поиск.