Упс, они сделали это снова? Почему ваш ИИ тупеет ровно перед выходом новой модели

Одна из первых вещей, которые узнали о своих пользователях вендоры моделей - это то, что пользователи абсолютно неспособны объективно оценивать качество работы ИИ.

Это основной источник завязшего в зубах нытья про "модель стала хуже работать".

Одна и та же модель с одними и теми же весами, промптами и длинной контекста - но в день релиза пользователи говорят "ух ты как круто работает", а через месяц ноют про "почему она так отупела". Цифры на бенчмарках те же - но оценки пользователей просели на 20%. И так раз за разом. Как же так выходит?

А выходит так потому что пользователь - мешок с мокрым мясом, а не поверенный инструмент. Если модель объективно справляется с задачей в 50% случаев, то если пользователь хочет увидеть в этом "модель умная", то он это и увидит. А если хочет увидеть "модель тупая", то он увидит "модель тупая".

Более того - пользователь со временем адаптируется к модели. Он чаще начинает замечать типовые ошибки и косяки модели, которые на релизе были ему незаметны. Он начинает давать модели более сложные задачи, и находит пределы её компетентности. Он начинает халтурить с промптами и объяснять меньше, потому что новая модель умнее и даже с тупыми промптами иногда справляется с задачами - но "иногда" не "всегда", и упрощённый промпт легко может давать -20% к производительности.

Но пользователь не знает где проблема. Он промпты не бенчмаркал конечно. Он просто говорит "модель тупеет".

Заметил две вещи:
1. Ранее 4.6 был довольно толерантным к ошибкам, то есть предполагал что формула, которую ты вводишь написана с опечаткой и мягко поправлял. Теперь нет - 4.8 надо носом ткнуть в опечатку и обязательно подчеркнуть.
2. Другая сторона поведения - если в ваших тезисах и рассуждениях будет хоть одна малейшая зацепка возразить, даже несмотря на ее крошечную удельную долю в общей логике - данная зацепка будет искусственно раздута до гипертрофических размеров, типа "И вот тут честный разворот", "Сделаю честную оговорку", " Вот где картина разворачивается на 180°".
Я только за критическое мышление, но тут критическое мышление новых моделей (== обязательно что-то возразить в ответ) становится параноидальной навязчивой идеей

Вчера вечером по UTC+3 модель Opus 4.8 явно просела, прямо на глазах. Рассуждения стали отрывочными, сбивчивыми.
Сегодня работает как ни в чем не бывало.
Да и неделю назад, когда отключили Fable не сильно то и заметил. Продолжал кодить на Opus 4.8 с той же силой.
Кстати сам Fable мне сейчас нашел во вчерашних чатах просадку интеллекта.
Так что вывод о том что нельзя проверить просадки ложный. Проверяется и легко.

Про переключение моделей тоже не верно, переключение показывается юзеру явно. Сегодня три раза уже Fable у меня переключался на Opus.

На прошлой неделе Claude лежал пару часов в самый пик.
Но что точно я заметил, так это то что такие деградации все реже случаются. Еще пару месяцев назад все было хуже. Наверно контекст научились лучше держать.

Ни разу не замечал деградацию, если не считать дешевых провайдеров которые любят сильно квантовать или сбоев, когда модель активирует не тех экспертов.

Автор откровенно пытается натянуть сову на глобус ссылаясь на все что только возможно, только вот реально инфа по ссылках или ничего не подтверждает или наоборот ломает всю "теорию".

В феврале Opus 4.6 был превосходен. Умный, быстрый, инициативный

Тоже по ощущениям февраль - пик мощи актуальной топовой модели. И неважно какие там номера и имена. Дальше только развитие агентского программирования

Или я всё‑таки сошёл с ума и выдумал закономерность там, где её нет?

"Если у Вас нет паранойи, это не значит, что за Вами никто не следит" ©
Полагаю, рост кармы на Хабре явно показывает Ваше душевное здоровье:-)

Если серьёзно, то отличная статья, спасибо! И очень хорошо подобран уровень утверждений. Не "я раскрыл мировой заговор, все бежим на свои фермы!!!", а "вот вам факты и предположения, задумайтесь".

Sonnet 5 и fable 5 бесполезны - sonnet "тупее" opus 4.8, а fable просто при любом чихе переключается на opus 4.8 (так если честно его и не получилось нормально протестировать)

нет доступного железа по адекватной цене что бы запускать топовые открытые модели 'для своих'.

Условная glm-2.5 (вроде она считается лучшей на текущий момент из доступных для запуска) требует для работы железо (600gb-800gb vram) с ценой порядка $8k-$10k в месяц (vas.ai можно набрать на $12 в час, и позволит оптимизировать аренду с почасовой оплатой почти на треть, особенно если команда в одном часовом поясе, но будет проблема с весами, пол терабайта развернуть за час не получится, нужно напрямую связываться с хостером). Одна машина сможет обрабатывать без заметной деградации скорости порядка 8 одновременных запросов (вроде бы всего двухкратное понижение скорости генерации относительно одного, но скорость обработки input упадет сильнее, оно не паралелится)... в общем не сходится никак маркетинг.

Крупные провайдеры могут оптимизировать инференс за счет большого количества клиентов и плавно подруливать количеством серверов и используя почасовую оплату (условно bare metall для постоянной нагрузки, а пиковые разруливать более дорогой почасовой арендой). Мелким это недоступно.

p.s. llama.cpp умеет собирать в единый кластер машины по сети, в т.ч. cpu, в т.ч. разнородное железо. В некотором смысле, собрать из десятка машин с десктопным железом (оно дешевле почти в 10 раз) а так как там moe архитектура, даже не сильно платить за это скоростью... условные 2.5 милиона рублей и кластер из 40-штук 5060ti 16гб у вас в кармане, делим на условные 3 года (это все начнет ломаться) и получаем примерно 2т.р. в сутки.. уже более реально но все еще грустно для небольших команд