Обновить
1024K+

Машинное обучение *

Основа искусственного интеллекта

1 308,86
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

Как создавали нейропоиск Discovery AI — технологию для крупнейшей контентной базы в РФ

Уровень сложностиСложный
Время на прочтение9 мин
Охват и читатели11K

Привет! Меня зовут Евгений Астафуров, я ведущий разработчик в Отделе экспериментальных технологий AI VK. Мы разрабатываем Discovery AI — набор ИИ‑технологий для интеллектуального поиска, рекомендаций и взаимодействия с контентом. В него вошли нейропоиск, анализ контекста, персонализация, генеративные модели и рекомендательные алгоритмы, чтобы помогать пользователям находить нужную информацию, получать релевантные ответы и новый контент.

В этой статье подробно разберу архитектуру технологии нейропоиска в Discovery AI, которая объединяет большую языковую модель (LLM), поиск, инференс и данные многомиллиардной контентной базы VK. Технология становится важным компонентом развития рекомендательных и поисковых систем в наших продуктах и будет поэтапно внедряться в сервисы для пользователей, авторов и бизнеса (Дзен, VK, Медиапроекты Mail, VK Видео и другие). 

Нейропоиск

Как я учил модель прогнозировать погоду по одной метеостанции — и почему она сначала выучила все наизусть

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели6.7K

Это история про пет-проект, который я делал ради трёх вещей одновременно: прогноз приземной температуры на неделю вперёд из данных одной метеостанции, честные интервалы неопределённости вместо голой точки, и работа на железе уровня Raspberry Pi без всякого GPU. По дороге я несколько раз ошибся, один раз откатил целый эксперимент, и в итоге понял про свою же модель больше, чем когда её проектировал.

В прошлых статьях я допустил множество ошибок, которые выявил при более глубоком исследовании возможностей модели. Их оказалось слишком много, я сам в них утонул, поэтому решил начать все с чистого листа, но с некоторыми пометками. Здесь не будут упоминаться прошлые версии, представим как будто их и не было.

Код лежит в репозитории (ссылка в конце). Данные не выкладываю, брал часовые ряды из Open-Meteo, их можно тянуть самому; в репозитории есть синтетический генератор, чтобы прогнать весь конвейер за пару минут.

Читать далее

Конец арендованного интеллекта

Уровень сложностиСредний
Время на прочтение28 мин
Охват и читатели8.2K

Пока бизнес воспринимает ИИ как ещё один SaaS, политики уже начали думать о нём как о стратегическом ресурсе уровня энергии и продовольствия. Разбираю, почему арендовать западные SOTA-модели не получится, а использование открытых весов создаёт личные риски директоров; почему своей фронтир-модели у России в ближайшие годы не будет; как замещение труда за счёт ИИ переносит деньги от импортёра к владельцу модели; почему налог на ИИ придёт без всякого AGI; и как на это всё отреагирует законодатель в России.

Читать далее

Машинное зрение: патенты в мире и в России

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели5.8K

Машинное зрение (МЗ) — это технология, которая позволяет компьютерам и другим устройствам интерпретировать визуальные данные из реального мира. Это область искусственного интеллекта и робототехники, которая включает в себя получение изображений, их обработку и использование полученных данных для решения прикладных задач без участия человека. Краткая история МЗ публиковалась на Хабре в нашем блоге здесь и тут

Пришло время рассказать про россйские и зарубежные патенты и свидетельства в этой сфере.

Читать далее

Жизнь после RAG: как мы построили ИИ-агента для анализа тикетов технической поддержки

Время на прочтение11 мин
Охват и читатели7K

Привет! Меня зовут Владимир Дробот, я SRE-лид и руководитель центра техподдержки кластера рекламных технологий компании МТС Web Services. Наша команда отвечает за вторую линию саппорта: мы разбираем сложные инциденты, ищем корни проблем и передаем разработчикам те баги, которые упираются в код или архитектуру.     

Для решения задач инженерам приходится работать одновременно с Jira, Confluence, логами и базами данных. Несмотря на существующую документацию, много времени уходило на поиск информации и анализ уже решенных инцидентов. Недавно мы внедрили систему поиска на базе RAG: общее описание и технические детали. Наше решение объединило данные из Jira и Confluence в единую поисковую систему, инженеры получают ответы на вопросы на естественном языке.

Подход дал заметный эффект, однако со временем стало понятно, что основное ограничение заключается не в качестве поиска. Чтобы получить пользу от RAG, инженер должен сначала понять, что именно искать. Это особенно актуально при разборе инцидентов: причина проблемы неизвестна и непонятно, какие данные понадобятся для анализа и какие запросы следует сформулировать. В результате инструмент использовали не во всех типах задач.

Кроме того, было сложно объективно оценивать влияние решения на качество поддержки. Мы получали положительную обратную связь, но не могли точно измерить, насколько быстрее или качественнее стали решаться тикеты. Тогда мы решили: если система уже умеет искать информацию и анализировать найденные материалы, почему бы не поручить ей первый этап расследования инцидента целиком?

Читать дальше

Почему вы не видите, что на самом деле происходит между моделью и MCP-сервером

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели6.1K

Недавно Claude уверенно пересказал мне большой документ, хотя прочитал только его начало.

Я подключил mcp-server-fetch и попросил агента извлечь из документа несколько фрагментов. Ответ получился складным и уверенным. Проанализировав трафик JSON-RPC между клиентом и сервером, я выяснил, что ответ вернулся обрезанным на 6000 символах, причём сервер пометил его как успешный.

В самом конце ответа сервер добавил для модели инструкцию:

Читать далее

Сегментация опухолей головного мозга на МРТ-снимках с акцентом на точность границы

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели9.2K

Один из самых важных параметров на МРТ снимках — это граница опухоли. Именно эта граница определяет, какие структуры головного мозга были затронуты опухолью, и позволяет оценить степень поражения соседних областей и тканей. Благодаря качественному определению контура можно точнее спрогнозировать лечение, поэтому нельзя недооценивать важность определения границ.

Стандартные модели сегментации хорошо решают задачу выделения объектов, U-Net стала фундаментом в медицинской нише. Но не всегда достаточно просто выделить границу области: маска может давать хорошее покрытие, быть близкой к целевой, однако иметь неадекватный контур — слишком сглаженный или, наоборот, рваный. Функции потерь покажут низкий loss, но на самом деле этот один пиксель, который в реальности переносится в миллиметры распространения, определяет будущее человека.

BISCUIT-Net стремится решить именно эту проблему. Работая как стандартный U-Net, он добавляет легковесное внимание на контур. Модель буквально делает набросок, после чего аккуратно выстраивает границу. Философия модели: «граница это не побочный эффект, а цель».

Ознакомиться

Контроль СИЗ на палубе судна: как из потока детекций собрать подтвержденное нарушение

Время на прочтение5 мин
Охват и читатели5.3K

Заказчик контролирует технику безопасности на палубе судна: в рабочих зонах экипаж обязан быть в касках, спасательных жилетах и костюмах-поплавках. Визуальный контроль по камерам не масштабируется, оператор не сможет физически охватить все потоки за смену.

Задача: автоматически фиксировать нарушения ношения СИЗ (каски, спасательные жилеты, перчатки, костюмы-поплавки) в рабочих зонах на открытой палубе судна. 

Читать далее

audiogear: как разметить миллионы аудиозаписей для TTS

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели5.7K

Конвейер на Python + Hydra, который превращает папку с аудио в богато размеченный датасет: качество речи, просодия, разборчивость, спикер, транскрипция — по колонке на запись. От одной видеокарты до кластера, карты под нагрузкой, и он не падает на «длинном хвосте» записей, на которых обычно рассыпается наивный скрипт.

Читать далее

От пульта до полотенца — учим робота искать всё, что угодно

Уровень сложностиСложный
Время на прочтение11 мин
Охват и читатели5.9K

Привет, Хабр! Меня зовут Татьяна Земскова, я аспирантка МФТИ и научный сотрудник команды Embodied Agents лаборатории Cognitive AI Systems AIRI. Областью моих научных интересов является компьютерное зрение для робототехники. Я изучаю, в частности, то, каким образом робот может использовать различные модальности (текст, изображения, сегментационные маски объектов) для лучшего понимания сцены и навигации. 

Желаемыми свойствами современных навигационных систем является их универсальность, минимальность сенсорного сетапа и быстрота принятия решений на борту робота. Сегодня мы поговорим о том, как мы вместе с коллегами (Алексеем Староверовым, Дмитрием Юдиным и Александром Пановым) смогли создать и обучить лёгкую (130М) трансформерную модель, способную доезжать до любых категорий объектов, заданных текстом. Полученный метод описан в свежей работе OVSegDT: Segmenting Transformer for Open‑Vocabulary Object Goal Navigation.

На веб‑странице проекта можно найти ссылку на открытый исходный код с инструкциями по запуску и ссылкой на предварительно обученные веса модели. Это позволяет как воспроизвести наши эксперименты, так и попробовать запустить модель самостоятельно на собственных данных в симуляторе или на реальном роботе. В этом посте мы обсудим основные особенности модели и то, как мы пришли к этому методу.

Читать далее

Как мы создали внутреннего ИИ-помощника на базе RAG и перестали искать ответы по корпоративной Wiki

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели14K

Компании со временем накапливают тысячи страниц документации, и найти нужную информацию становится всё сложнее. Обычный поиск перестаёт справляться, сотрудники тратят время на навигацию по Wiki и повторяют одни и те же вопросы коллегам.

Как решили эту проблему: когда большие языковые модели стали рабочим инструментом, мы объединили корпоративные знания с возможностями LLM. Так появился Юджин — AI-ассистент, который понимает смысл запроса, а не просто ищет совпадения по словам.

Меня зовут Илья, я директор департамента разработки ЮMoney. Расскажу, почему отказались от готовых решений и как построили RAG-платформу для корпоративных знаний. Материал будет полезен архитекторам, AI-инженерам и всем, кто внедряет корпоративные LLM-решения.

Читать далее

Пузырь ИИ лопнул? Бизнес отказывается от ChatGPT, а Microsoft пытается спасти положение софтом: ML-дайджест

Время на прочтение13 мин
Охват и читатели22K

В июне этот экономический тупик стал главным драйвером изменений в индустрии. Компании перестали гнаться за брендами вроде OpenAI и начали массово переходить на китайские модели, а это уже холодный расчет.

Но, согласитесь, экономия на API — это лишь верхушка айсберга. Нужно смотреть на весь ИИ-стек сверху вниз. В этом дайджесте мы разберем три главных инфраструктурных сдвига июня.

Читать далее

Эволюция similar-рекомендаций: как мы переосмыслили ленту похожих товаров

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели6.8K

В онлайн-шопинге важно, чтобы поиск нужной вещи не занимал много времени, а результат был персональным для каждого пользователя. Одна из фичей, которая позволяет это делать — рекомендации похожих товаров. Если бы их создавали люди, результат подборок сильно бы зависел от их вкуса: ведь каждый может ориентироваться на разные признаки вроде цвета, бренда, фасона или цены. В fashion похожесть вообще редко сводится к одному признаку. 

Поэтому задачу рекомендаций лучше переводить в ML-постановку, когда модель учитывает разные сигналы о товаре — атрибуты, изображение, текстовое описание и поведение пользователей. На основе такого контекста алгоритм помогает найти альтернативы, которые похожи на исходный товар и при этом релевантны конкретному пользователю.

Меня зовут Дима Борисов, я дата-сайентист в команде персонализации Lamoda Tech. Расскажу о том, как мы развивали общую систему similar-рекомендаций и переосмыслили ленту похожих товаров в приложении. Коротко пробежимся по основным принципам работы рекомендаций и старой модели, подробнее остановимся на новом подходе. Расскажу, как сейчас работает улучшенный алгоритм на DS и бэкенд-стороне: с современными энкодерами, обученным реранкером и онлайн-ранжированием.

Читать далее

Ближайшие события

Как мы не обожглись на быстрых ML-экспериментах: опыт с 10% аудитории, холиварами с аналитиками и «лампой для лишая»

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели5.8K

Каждый новый A/B-тест у нас занимал 3–4 недели. За это время ML-команда успевала придумать ещё несколько гипотез, аналитики — устать, а продакты — начать спорить, можно ли вообще продолжать эксперимент, если метрики уже неделю летят вниз.

В какой-то момент стало понятно: такими темпами мы просто тонем в очереди гипотез.

Тогда у нас появились быстрые эксперименты — короткие тесты на маленькой аудитории, которые помогают за несколько дней понять, что гипотеза, скорее всего, плохая, и не тратить на неё ещё месяц.

Меня зовут Лера Катеринчик, я старший продакт-менеджер в команде рекомендаций. Мы делаем ML-модели, которые пытаются угадать, что пользователь захочет следующим.

Я не гуру и не «лидер мнений». Я обычный продакт, который работает с ML-инженерами, аналитиками и живёт в тех же процессах и бардаке, что и многие продуктовые команды.

Хочу рассказать, как мы используем быстрые эксперименты, где они работают, где нет и с какими проблемами мы столкнулись.

Читать далее

Кто такие синтетические покупатели и почему они меняют e-commerce

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели6.3K

Электронная коммерция долго училась понимать покупателя через данные: что человек искал, на какие карточки нажимал, где бросал корзину, как реагировал на скидки и какие товары покупал вместе. Эта аналитика стала основой онлайн-торговли, но у нее есть ограничение — она почти всегда объясняет то, что уже произошло.

Проблема в том, что рынок меняется слишком быстро. Новая цена, рекламный креатив, карточка товара или запуск категории часто проверяются уже «в бою»: когда бюджет потрачен, товар запущен, а команда только начинает понимать, как на это реагируют покупатели. При этом цена ошибки растет вместе с конкуренцией, стоимостью трафика и скоростью обновления ассортимента. Как отмечают в Market Logic, во многих компаниях клиенты меняются быстрее, чем обновляются продуктовые дорожные карты и результаты классических исследований.

На этом фоне в индустрии начинает формироваться новый подход — синтетические покупатели (synthetic customers, или synthetic buyers). Это модели искусственного интеллекта (ИИ), которые имитируют вероятную реакцию реальных клиентов: их предпочтения, сомнения, отношение к цене, рекламе, интерфейсу или самому продукту. Такие модели помогают заранее проверять возможные сценарии: как аудитория воспримет новый товар, вызовет ли промо доверие, где пользователь может отказаться от покупки и почему определенный сегмент не видит ценности предложения.

В PwC называют такой подход «невидимой фокус-группой». Предприниматели в сфере e-commerce получают возможность тестировать стратегию до выхода на рынок — не только через опросы и пилоты, но и через симуляцию поведения покупателей на основе данных.

Фактически онлайн-торговля постепенно переходит от модели «запустили — посмотрели результат» к модели «сначала проверили возможную реакцию — потом приняли решение». И синтетические покупатели в этом смысле — не просто новый вид аналитики, а новый способ работы с неопределенностью.

Читать далее

Лучшие нейросети для картинок в 2026. Сравнение Midjourney, Qwen, FLUX, Nano Banana, GPT и Grok на одних промптах

Уровень сложностиПростой
Время на прочтение17 мин
Охват и читатели10K

В 2026 году выбрать нейросеть для картинок часто сложнее, чем написать промпт. Моделей много, каждая обещает лучшее качество, а на деле у каждой есть свои особенности. Мы взяли шесть разных популярных моделей, прогнали шесть сценарных тестов на одинаковых промптах и собрали картинки, чтобы вы могли сравнить все своими глазами, а не по рекламным скриншотам.

Сегодняшние участники:

Midjourney (v7) | Qwen Image 2 Pro

FLUX 2 Max | Nano Banana Pro

GPT Image 2 | Grok Imagine (режим image quality)

У нас было: 6 моделей для генерации, 6 сценариев использвования, для всех моделей одинаковой промт и 4 критерия для оценки результат.

Победитель оказался неожиданными.

Читать далее

Эксплуатация моделей (ModelOps)

Время на прочтение19 мин
Охват и читатели5.3K

Привет, Хаброжители! Сегодня мы поделимся с вами отрывком из книги: «Современная бизнес‑аналитика. Увеличьте ценность данных с помощью Python и R».

Статья посвящена ModelOps — набору практик для эффективного развертывания и эксплуатации моделей машинного обучения. Вы узнаете, как организовать полный жизненный цикл модели: от оценки и мониторинга до переобучения. В материале приведены практические примеры создания приложений для пакетной и онлайн‑оценки с помощью R Shiny и Python Streamlit, а также дашборда для мониторинга производительности в реальном времени.

Читать далее

AI‑агенты в проде: 6 архитектурных ошибок, из‑за которых они не доживают до запуска

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели5.8K

На демо AI‑агент может выглядеть надёжным: вызвать инструменты, собрать ответ и отчитаться об успехе. Но в продакшене быстро всплывают пустые ответы, петли, потеря контекста, ограничения бюджета и проблемы с правами.

Разберём шесть архитектурных ошибок, из‑за которых агент работает в тестовом сценарии, но ломается в реальной системе.

Читать далее

Как мы реализовали оптимальное обучение CV-моделей в Luna Line. Часть 2. Сегментация

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели6.6K

И снова здравствуйте! Продолжаю свой рассказ о поиске «универсального рецепта» для обучения моделей в Luna Line. Теперь речь пойдет о сегментации. Если вы пропустили предыдущую публикацию по классификации, то вам лучше начать читать с нее, чтобы не запутаться. 

Дело в том, что когда мы разобрались с классификацией, наша же методология оставила послевкусие неудовлетворенности. Мы задавали себе вопрос: а действительно ли выбранное семейство показывает максимум своих возможностей или мы просто зажали его в рамки единого пайплайна? Для сегментации мы решили действовать иначе.

Читать далее

Шесть недель с agentic AI против фрода в adversarial-системе

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели6K

Я слишком рано понёс первые результаты в наш продукт. Тогда это выглядело логично: мы прикрутили агентный ИИ к анализу логов и поведения пользователей в regulated продукте с реальными денежными операциями, качество обнаружения пошло вверх, аналитики по фроду стали меньше возвращать инженерам мусорные кейсы.

Снаружи это уже выглядело рабочим слоем защиты: аналитики видели меньше мусора, инженеры получали более понятные issues, и продукт наконец увидел практическую пользу вместо очередного демо. Я примерно так и сказал: “смотрите, это уже не игрушка”. Плохая фраза, как оказалось.

Потому что как только защита начинает работать, даже чуть-чуть, вокруг сразу появляются нормальные взрослые вопросы. А давайте это в платежи? А в бонусный абьюз? А в L7? А в социнженерию? А в странные кейсы саппорта, где один тикет внезапно объясняет половину графика? Вопросы честные. Только дорогие.

И в системах с живым противником есть ещё одна неприятная деталь: рабочая защита становится сигналом для другой стороны.

Пишу по собственному инженерному опыту. Детали слегка обобщены и обезличены, потому что в антифроде лишняя конкретика быстро превращается в инструкцию для другой стороны.

Читать далее