Основа искусственного интеллекта
Claude Code превратили в автомобиль — для него сделали механическую коробку передач Model Shift с ручным переключением между ИИ-моделями. Во время работы можно в любой момент переключиться на другую модель для простых задач, а затем вернуться обратно.
Написал новую, третью статью из серии «Как работают большие языковые модели»
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите
Что внутри ⤵️
1. Про открытые модели и почему мы используем их как пример
2. Из чего складывается цена токена
3. Про Dense и MoE архитектуры
4. Как считается attention и активные параметры
5. Total ≠ active: тренд на MoE архитектуру
6. Почему output-токены дороже input
7. Reasoning-токены как невидимый output, за который тоже приходится платить
8. Context Window и KV-cache — почему длинный контекст дорогой
9. Как посчитать вес одного токена и из чего он складывается
10. В чем разница между KV-cache и prompt caching
11. За счет чего фронтир модели стоят в разы дороже
12. Почему дорогая модель чаще всего реально «умнее»
13. Как всё это итого собирается в 5-часовой лимит
14. И как бонус — сортировка open-weight моделей по active и total
---------------
Вот две предыдущие статьи из этой же серии
Просто и подробно о том, как работают ChatGPT и другие GPT подобные модели. С картинками. Кстати, эта статья стала одной из победителей Космотекста
От написания промптов к проектированию контекста. Или один очень обширный материал по Context Engineering. Эта статья сложнее, чем первая, но проще, чем третья
Прочитав эту серию постов, вы станете намного лучше понимать принцип работы современных LLM и агентных систем
Стало возможно сэкономить до 60% токенов при использовании нейросети Fable 5 — представлен способ доработать ИИ-систему и платить Anthropic в разы меньше.
Инструмент pxpipe берёт полотна промптов и превращает их в картинку. При считывании изображений платить приходится за каждый обработанный пиксель, а не за буквы на нём, благодаря чему метод куда выгоднее. В демо автору удалось выполнить ту же задачу, что и обычным промптом, но в 7 раз дешевле: за $6 против $42. При этом Fable идеально считывает текст на картинках, несмотря на сжатие. В 39 протестированных картинках нейронка Anthropic безошибочно поняла весь промпт.
Ранее разработчики обратились к специализированному инструменту Caveman, который заставляет ИИ генерировать максимально краткие ответы с имитацией стиля речи «пещерного человека». Автор инструмента Джулиус Брюсси в своё время обратил внимание на то, что значительная часть бюджета компаний расходуется на «болтовню» языковых моделей. Caveman удаляет из ответов чат-ботов слова-связки, приветствия и вводные конструкции, сохраняя программный код, команды, URL-адреса и технические детали.
Google бесплатно раздаёт миллион токенов для работы с искусственным интеллектом Gemini. Чтобы воспользоваться предложением, достаточно зайти в Google AI Studio, выбрать или создать проект и сгенерировать API-ключ. После этого можно настроить квоты под свои задачи — процесс не требует дополнительных подтверждений или регистрации. Миллион токенов можно использовать с моделями Gemini 2.5 Flash, 2.5 Flash-Lite и 2.5 Pro. Этого объёма хватит на месяцы активной работы: генерацию и анализ текстов, написание кода, дизайн, обработку данных и другие задачи. Подробная инструкция по получению ключа и активации токенов размещена на официальной странице Google AI Studio.
Моя реакция на новость "Сочинский филиал РУДН первым в России отменил дипломные работы из-за нейросетей":
Прошло три с половиной года с момента выхода ChatGPT. Похоже страсти устаканиваются и вузы вместе со школами приходят к единственному возможному выходу из ситуации: вообще перестать ставить оценки за все что делается дома. Оценки - только за устные экзамены у доски или письменные в закрытой комнате без доступа к электронным устройствам. Возможно с экранированием от WiFi и мобильного интернета, и даже осмотром ушей на предмет наличия наушника с микрофоном.
И экзаменционные лабы типа “покажи-ка как ты делаешь семиступенчатый синтез органического соединения с бумажным учебником и бумажным же справочником в руках”. Для тех кто такого не делал: это на самом деле очень творческое задание, требует тонкой наработанной упражнениями интуиции о побочных эффектах ~тысячи реакций из учебника Vollhardt & Schore, который используется в американских вузах. И карты местности органических соединений в голове.
При этом домашние задания нужно конечно же раздавать, но оценки за них не ставить. Если студент или школьник хочет их делать, не подглядывая в ИИ - хорошо, молодец, тем самым он себя натренирует, будет хорошо чувствовать на экзамене и в будущей профессии. Не хочет - тоже хорошо, получит кол на экзамене, вылетит из вуза, меньше нагрузки на систему образования. Пусть идет в “ИИ-университет”, где за значительные родительские деньги получает “ИИ-диплом” который будет рассматриваться работодателями как филькина грамота.
При этом разумеется из вузовских программ нужно убрать всякие скопившиеся там ветхости. Например мне в 2015 году декан вуза из Поволжья жаловался что министерство образования требует от них учить студентов микроконтроллерам на основе КР1816ВЕ48, советского аналога Intel 8048, предшественника Intel 8051. Эта фиговина из 1976 года использовалась вроде в клавиатурах ранних IBM PC.
Тут проблема даже не в том, что этот микроконтроллер старый - есть куча полезных для целей образования старых компьютеров, например CDC 6600 из 1964. Проблема в том, что 8048 ничего такого интересного не иллюстрирует, что можно проиллюстрировать на современных актуальных RISC-V микроконтроллерах. А вот в CDC 6600 есть в довольно чистом виде идея out-of-order scoreboard (внеочередного выполнения инструкций), которая актуальна и для современного проектирования, вместе с алгоритмом Томасуло из 1967 года (IBM System/360 Model 91). Томасуло учат во всех серьезных американских вузах, и даже ИИ вставляет их в резюме, которое оно пишет студентам.
Я бы на месте российского министерства образования требовал от вузов быстро повнедрять курсы программирования встроенных систем с российскими RISC-V микроконтроллерами К1921ВГ1Т от НИИЭТ и Baikal-U от Байкал Электроникс. Они уже человеческие по мировому гамбурскому счету (то есть это не ухудшение по сравнению с преподаванием западных STM32 или ESP32), их можно привязать к курсам компьютерной архитектуры на основе RISC-V, и это связка вузов с промышленностью. Учить на них также какую-нибудь российскую RTOS итд.
Как все так ловко ИИ пользуются... Обзоры кода делают...
Не знаю, то ли я туповат, то ли невезучий, то ли кругом сказочники. Пытаюсь исследовать, какие новые интересные виды ошибок может находить ИИ в С++ коде, о которых не знает PVS-Studio. Claude Opus то нормально мне про интересные баги рассказывает, то на ровном месте с ума сходит.
Даю файл на вход, а он тревожно:
В присланном файле есть места, где содержимое обрезано/повреждено вставкой
</context>, поэтому их я не рассматриваю как «баги кода» — это артефакты форматирования. Разберу реальные логические ошибки.
Шо? Какой context? Там максимум — это #include "context.hxx". Ну ладно, давай ошибки посмотрим.
Так, парочка сообщений по делу. Например, найден лишний аргумент при использовании функции форматирования.
addErrorMessage(&sciErr, API_ERROR_CREATE_ZDOUBLE_IN_NAMED_LIST, _("%s: Unable to create list item #%d in Scilab memory"), "createComplexZMatrixOfDoubleInNamedList", _iItemPos + 1, _pstName);
В строке форматирования два спецификатора %s и %d, а передаются три аргумента: funcName, _iItemPos+1, _pstName. Да, это баг. Про подобные паттерны PVS-Studio уже знает, хотя, возможно, нужно подсказать, что addErrorMessage — это printf-подобная функция. В целом, тут неинтересно, идём дальше.
Ооо, и тут начинается...
checkListItemPosition— неправильное сравнение границы:
// check a valid item if (_iItemPos > iItem) { addErrorMessage(...); return sciErr; }
Здесь проверка «позиция валидна» использует
>, хотя позиции 1-based, аiItem— количество элементов. Это выглядит как граничный дефект, но по сути_iItemPos == iItemдопустимо,_iItemPos > iItem— ошибка. Это в порядке — правильная граница. Не баг. (Указываю, чтобы было понятно, что я это проверил.)
Так баг или не баг? Я три раза прочитал текст и посмотрел функцию с кодом. В итоге я не только не понимаю, есть ли здесь ошибка, но и не понимаю, что Claude пытается мне сказать.
Дальше ещё хуже шарики за ролики зашли.
Баг 5 (реальный): утечка в readCommonMatrixOfPolyInNamedList и др. — нет, это API отдаёт указатели наружу. Не баг.
Это всё описание пятого бага, больше ничего нет. Комментировать — только портить.
Я не понимаю, как на всём этом можно строить хоть сколько-то надёжные процессы автоматических обзоров кода, про которые в последнее время из разных утюгов вещают.
На сегодня мне ИИ достаточно. Пойду лучше пройдусь по парку, пока погода хорошая.
Всем привет. У моего фреймворка Meta-Spider (про него можно почитать здесь) вышло большое обновление. Статью мне пока лень писать, так что будет пост.
Мы постоянно просим языковые модели «быть осторожнее» или «сказать, если не уверены». Работает это плохо: слова заходят, поведение не меняется. Причина в том, что неуверенность модели живёт в её внутренних активациях — там, куда текстовый промпт просто не достаёт.
meta-spider обучает тонкую обвязку (~2% параметров) поверх замороженной базовой модели. Она читает собственные скрытые состояния модели, сжимает их в «когнитивные токены» и впрыскивает обратно через cross-attention с вратами. В итоге модель отвечает уверенно там, где знает, и отказывается / идёт искать / уточняет — там, где нет. Веса базы при этом не меняются вообще.
Главный результат: латентный канал бьёт промпт
Отказ на неотвечаемом вопросе: текст-промт сдвинул с 0.07 до 0.07 — то есть вообще никак. Обвязка — до 0.87.
Поймано собственных ошибок базы: текст-промт 14%, обвязка 78%.
Просто попросить модель быть неуверенной — почти не двигает её. Обвязка двигает в разы, потому что работает с сигналом, до которого промпт не дотягивается.
Важный нюанс методологии, на котором мы сами споткнулись: читать латентный сигнал надо тем каналом, в который обвязка обучена — она генерит фразу-отказ, а не выбирает искусственную «UNSURE»-опцию. С кривым ридаутом обвязка выглядит инертной (это был наш баг).
Три новые фичи
🎚️ Ручка неуверенности. Инъекция — один регулятор времени исполнения: крутите вверх для осторожности, вниз для уверенности, в минус — инверсия. Микшерный пульт для поведения. gain 0→1.5 плавно крутит долю отказов ~2%→51%.
🐕 Сторож. Иногда не нужно менять вывод — нужно просто знать, что модель не уверена. Лёгкая проба читает этот сигнал и позволяет сходить в RAG / переспросить / эскалировать, не трогая генерацию (постоянная инъекция портит длинную генерацию, а чтение — нет).
UPD (Забыл добавить): Помимо этого сторож чинит многоступенчатую генерацию (например когда модель кодит), до этого периодические иньекции приводили к значительной деградации, притом на QA это не заметно, потому что модель генерит сама немного токенов. Сторож позволяет усиливать сигнал неуверенности только в нужные моменты, от этого количество иньекции значительно снижается, и не происходит деградирующего самоусиления.
🏭 Фабрика обвязок. Одна команда собирает общую обвязку неуверенности под любую базу:
metaloom build-universal --model-name N --quantization nf4 --suite suite.json --eval --export-gguf
На агентном суите из 6 осей это единственный вариант, не провалившийся ни на одной оси — калибрована по всему пространству решения, а не просто «переученная отказываться».
Чем практично
База заморожена, обвязка ~2% модели, весь цикл collect→train→eval прогоняется на ноутбучной GPU с 4 ГБ (nf4 + срез-тренер), а деплой — в llama.cpp на CPU через маленький GGUF-sidecar. GPU на инференсе не нужен.
Стоит заметить, что это про калибровку, а не про сособности. Модель умнее не становится — обвязка вытаскивает уже существующий внутри сигнал неуверенности и превращает «ответить наугад» в «ответить, когда уверен».
Как начать
Есть CLAUDE.md. Рекомендую для использования фреймворка поначалу использовать ИИ-агента, способоного к продвинутому рассуждению в кодинге (Codex, Claude Code, DeepSeek V4 Pro через агентный движок и провайдера, которых вы предпочитаете), чтобы быстро опробовать и проверить его возможности.
Ссылки:
🧩 Фреймворк (open source):
Codeberg - https://codeberg.org/imperius/meta-spider
Github - https://github.com/artem-x-meta/meta-spider
📖 Документация (RU/EN): https://imperius.codeberg.page/meta-spider
🤗 Готовая обвязка для Qwen2.5-14B: https://huggingface.co/Imperius/meta-qwen-14b-universal
Представлен бесплатный LLM‑курс, чтобы вкатится в разработку нейросетей — Large Language Model Course. В проекте три части:
LLM Fundamentals: вся база для новичка, основы Python, математики и построения нейросетей;
LLM Scientist: научат тренировать свои нейросети, познать файнтюн, квантизацию и другие ИИ‑термины;
LLM Engineer: вершина, где учат создавать полноценные ИИ‑сервисы и интегрировать их в бизнес‑процессы.
Как Форк ИТ обучил ИИ‑систему контроля качества горной добычи
🏭 Что за компания
Форк ИТ — российская команда разработчиков, которая специализируется на цифровой трансформации промышленности. Компания запускает проекты по автоматизации контроля качества, прогнозированию нагрузок и оптимизации производственных процессов с использованием машинного обучения.
⚡ Задача
Крупному горнодобывающему предприятию была нужна ИИ‑система, которая оценивает качество сырья и заранее замечает аномалии в технологическом процессе, снижая риск брака и остановок. Требовалось быстро обучить модели на больших массивах данных и запустить их в работу без остановки действующих ИТ‑систем и без закупки собственной GPU‑инфраструктуры. При этом требовалось обеспечить высокий уровень безопасности данных (187-ФЗ, 152-ФЗ).
☁️ Что сделали
Форк ИТ арендовал GPU‑ресурсы и воспользовался средой для разработки и обучения ИИ в облаке Cloud.ru. Важнейшим компонентом будущей системы было компьютерное зрение, способное анализировать гранулометрический состав руды, размеры кусочков сырья, структуру флотационной пены при извлечении интересующих фракций. Данные о технологических процессах загрузили в облако, настроили пайплайн подготовки и запустили серию экспериментов с ML‑моделями, гибко масштабируя мощности под каждую итерацию обучения.
🦾 Что получили в итоге
Форк ИТ смог быстро протестировать гипотезы благодаря использованию GPU A100, увеличить точность прогнозов и сэкономить на капитальных расходах. Cloud.ru выступил платформой для тяжелых задач по обучению моделей и анализу больших данных. Ну а предприятие получило ИИ‑систему, которая уже успешно снижает риск брака и незапланированных остановок производства.
Claude и Codex научились проходить модерацию App Store вместо разработчиков — инструмент greenlight сам находит причины будущего отказа и тут же их исправляет. Htitybt проверяет приложение по требованиям Apple, автоматически устраняет найденные ошибки и повторяет проверки до тех пор, пока шанс получить отказ не станет минимальным.
Представлен открытый проект OmniRoute — The Free AI Gateway. Это провайдер OmniRoute, который обеспечивает 160+ бесплатными нейросетями:
выдаёт токены, подключает один эндпоинт для всех API и самостоятельно отправляет нужные запросы: агрегация бесплатных токенов, что позволяет получить до 1,6 млрд бесплатных токенов в месяц (а в первый месяц с учётом бонусов — до 2,1 млрд). Для старта не требуется банковская карта, а 11 нейросетей (например, Kiro, Qoder, Pollinations, LongCat) остаются бесплатными навсегда;
объединяет API от разных ИИ в один;
переключает модели сам, когда кончились токены;
сам сжимает контекст до 95%, чтобы сэкономить;
платформа поддерживает популярные модели, такие как GLM, Grok, Mistral, DeepSeek, Qwen и другие. Также доступны скиллы и MCP (Multi-Channel Protocol), а всего реализовано 17 стратегий маршрутизации (от приоритетной и взвешенной до оптимизированной по стоимости и контексту);
поддерживает скиллы и MCP.
Представлен открытый проект Council of High Intelligence. Это локальный совет ИИ‑мудрецов, который поможет принять любое решение и найти идеальный исход событий:
в проекте заявлены 18 ИИ‑мудрецов: Марк Аврелий, Аристотель, Сократ, Сунь‑Цзы, Лао‑Цзы, Ричард Фейнман и Линус Торвальдс и другие;
ИИ-мудрецы максимально продумывают каждый шаг, спорят друг с другом в парах и выдают идеальное решение вопроса;
одни мудрецы находят риски, вторые — давят на практичность, третьи — высказывают сомнения;
устанавливается и запускается одной командой в Claude Code или Codex.
Представлен открытый проект ИИ‑студии для видеомонтажа OpenMontage — комбайн из ИИ‑агентов для полноценного выпуска видеороликов. Проект помогает превратить доступ к Claude Code, Cursor, Copilot, Windsurf или Codex в киностудию:
агенты берут на себя всё — от исследований и сценария до генерации видео, монтажа и озвучивания;
12 пайплайнов под любой тип контента — трейлеры, анимации, реклама, туториалы и так далее;
500 скиллов — генерация видео, аудио, музыки и картинок;
умеет работает с лучшими генераторами — Kling, Runway, FLUX, ElevenLabs и Suno.
Пока писал статью про Context Engineering, то дополнительно решил изучить вопрос, который был на хайпе 3 месяца назад
Реально ли Caveman Output Style экономит токены для агентов
Суть
Несколько месяцев назад расхайпилась казалось бы очевидная идея: если заставить модель отвечать коротко, то можно сэкономить много output-токенов
Одна таких реализаций — репо Caveman, который заставляет модель говорить как пещерный человек. Целых 77к звезд
Вот как пример
Обычный ответ модели
The reason your React component is re-rendering is likely because you're creating a new object reference on each render cycle. When you pass an inline object as a prop, React's shallow comparison sees it as a different object every time, which triggers a re-render. I'd recommend using useMemo to memoize the object
Ответ в стиле Caveman
New object ref each render. Inline object prop = new ref = re-render. Wrap in useMemo
Ну и как следствие, обещания автора
Faster response — less token to generate = speed go brrrEasier to read — no wall of text, just the answerSame accuracy — all technical info kept, only fluff removedSave money — ~71% less output token = less cost
Этот репозиторий очень сильно расхайпился — и основная суть всех новостей была в том, что с этим стилем теперь можно тратить на 40-70% меньше output токенов — который самые дорогие
Чтобы лучше понять механизм потенциальной экономии, нужно посмотреть, где агентные системы по типу CLAUDE CODE | CODEX вообще генерируют OUTPUT токены
1. Обычный ответ, который видите вы
2. THINKING блоки, которые вы можете не видеть
3. Генерация кода / схем, которые нельзя сжать
4. Вызов Tools + Цикл tool call → result → next message
В случае выбора любого OUTPUT стиля мы влияем только на пункт 1 — Обычный ответ, который видите вы
И, насколько мы все тут знаем — то, что модель выдает нам как результат ответа — в среднем ~5-10% от всех OUTPUT токенов
Ну так вот
Я по приколу сделал мини эксперимент, где взял 3 варианта Output Style's и прогнал на 5 разных задачах
1 стиль — Caveman Light (Original skill из репозитория выше)
2 стиль — Explanatory. Стиль, который наоборот, старается объяснять как можно подробнее. Я его сам всегда использую — объясняет свои решения и делится инсайтами.
3 стиль — Самописный True Caveman. Который должен общаться прям как настоящий пещерный человек
Инсайт, что строгий промптинг для True Caveman стал самым дорогим. И я думаю из-за того, что Thinking блоки заставляли модель постоянно себя перепроверять, говорит ли она в данный момент как True Caveman или нет. Так как ее это делать не учили.
Статью я написал на своем сайте, так как там много графики и элементов используется, которые на хабре не работают
Ссылка на статью на сайте, там подробно про этот эксперимент и реально ли это что-то экономит
Я несколько дней на это потратил 🥺
Представлен бесплатный аналог Claude Design — проект OpenPencil, который сделает любой дизайн:
работает с файлами формата .fig;
локальное решение;
внутри ИИ‑агенты, которые делают всевозможные дизайны, прототипы и поставят визуал на мокапы;
легко интегрируется в Claude Code и Cursor.
Чеклист перед запуском торгового бота
Заперли физика, химика и экономиста,на необитаемом острове с банкой консервов. Физик предлагает разбить её камнем, химик — нагреть на костре. Экономист говорит: «Предположим, у нас есть открывашка».
Path-aware exits
Плохо: PnL считается по close, ни одна сделка не закрыта по SL
Хорошо: OHLC-реплей внутри свечи, intra-candle SL/TP
Look-ahead bias
Плохо: Ручной параметр времени, индикатор на всём массиве
Хорошо: Ambient-контекст, данные только до текущего тика
Комиссии + слиппедж + leverage
Плохо: PnL по миду, без комиссий, +0.3% это минусовая статегия ниже комиссии
Хорошо: На момент холда считается стоимость обслуживания leverage, fees
Размер выборки
Плохо: <30 сделок, Sharpe Ratio в космосе, tail-driven
Хорошо: N/A вместо фейка при недостатке данных, гейты ≥10 сигналов / ≥14 дней
Crash-recovery
Плохо: Нет атомарной записи, рестарт с нуля
Хорошо: Atomic writes, graceful shutdown
Адаптер биржи
Плохо: Не отправлял реальный ордер
Хорошо: Если покупателя/продавца не нашлось, не закрываем позицию и в бд
Представлена мощную опция автоматизацию для Codex от президента OpenAI Грега Брокмана. Промпт loop тестирует каждую фичу приложения и проводит полноценный аудит проекта:
ИИ разложит по полочкам каждую фичу приложения: как ее используют, удобна ли она, как должна работать на самом деле.
Тестирует все сценарии использования и записывает ошибки в отчет.
Исправляет логику, баги, а также UX.
После фиксов тестирует проект заново и оттачивает его до идеала, повторяя итерации.
Промпт loop ИИ‑агента:
/goal go over every single feature in this app create a user story with expected behaviour based on the code keep a single canonical spreadsheet tracking the features status
when done switch loop to testing every user story and documenting all errors
when done fix every logistical error or ux error
test every user behaviour again post fix
Представлен открытый проект SnapOtter. Это сервис, который делает с изображениями действия по одному клику. В проекте 50 различных инструментов: удаление фона, обработка изображения, обрезка, сжатие, конвертация форматов, вырезка объектов, наложение и стирание водяных меток, цветокоррекция, векторизация, создание гифок, поиск дублей и генерация картинок. В решение встроен локальный ИИ, который удаляет фон, апскейлит картинки и реставрирует повреждённые фото. При этом можно связать несколько инструментов в пайплайн и запускать их одной командой.
Энтузиаст решил возродить легендарную World of Warcraft и создал сервер, на котором играют 1800 ИИ‑ботов с DeepSeek. Они ведут себя как реальные люди: пишут в чат, качают персонажей, бегают по рейдам и активно PvPшат. Сам автор не написал, какой стек он использовал, но эксперты выяснили, что это AzerothCore с mod-playerbots и mod-ollama.
Шпаргалка из 92 нейросетей для всех задач — список сервисов. которые решают многие проблемы, включая:
Генерация картинок, текстов, видео, аудио и прочего контента;
Программирование и анализ данных;
Создание презентаций;
Маркетинг и SMM;
Дизайн;
Точные науки.
