Комментарии 9
Так глядишь и до внутреннего мышления в латентном пространстве дойдут. Ещё до токенов.
Тема кст годная, сейчас исследую. Но мне кажется они (ИИ гиганты) это уже попробовали.
для мышления надо обратные каналы информации организовать, петли
чтобы, условно, эксперты морщились от промпта и отправляли его назад диспетчеру, "ты чо мне прислал, это другая тема вообще, давай-ка снова опроси ВСЕХ экспертов"
а по гипотезе баесовского мозга и вовсе мышление - это постоянный поток информации в две стороны. Условно, "мозг глазам: в следующую секунду вы должны увидеть это и это", "глаза мозгу: всё почти так, но вот здесь, было другое и вот здесь, и вот здесь ещё"
Авторегрессии, марковские цепи... Это волшебно, что они УЖЕ делают, но это всё градиентный спуск в ближайший локальный оптимум, без возможности отрефлескировать свою релевантность и компетентность, и оглядеться по сторонам массива знаний, вне с каждым шагом сужающейся ямки. Самим, а не когда озверевший человек не "скажет стоп-слово"
Привет SSM?
del
спасибо за новость попробую под gb10 его форкнуть
И как это в llama.cpp подключить?

DeepSeek выложил в open source DSpark — модуль, ускоряющий ответы ИИ почти вдвое