Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 21
Проблема преувеличена.
Да феномен model collapse имеет место быть, но люди продолжают взаимодействовать с реальным миром.
В этот же самый мир все больше получают доступ и существующие системы 'ИИ' в виде потоков данных от приборов, камер, а где-то и влияя на него имея физическое воплощение от дрона до человекоподобного робота.
Коллапс мог бы нам грозить будь мы ограничены исходным корпусом и его производными, но это очевидно не так, хотя разработчикам моделей конечно придется разбираться с множеством входных и выходных модальностей, но кажется эта проблема решаемая.
люди продолжают взаимодействовать с реальным миром.
Главное, чтобы человеческое общество не начало изгонять/изолировать всех, кто не считает трактовку ИИ реального мира, единственно правильной.
Проблема не в данных; проблема в наличии желания их интерпретировать человеческим образом, генеря гипотезы и спотыкаясь на ошибках.
Я не спорю с тем, что физический мир остаётся внешним источником данных. Это как раз причина, почему грубый технический model collapse, вероятно, можно сдерживать: датчики, роботы, эксперименты, код, симуляции и реальные действия дают внешний якорь.
Но статья не о полной изоляции моделей от реальности. Она о другом: человеческий культурный слой сам начинает проходить через модели. Человек получает от AI не только формулировку, но и структуру аргумента, набор примеров, стиль, критерий «хорошего ответа». Потом он пишет уже сам — и этот текст снова считается человеческим.
Камера может проверить, есть ли на фото собака. Она не проверит, сохранилась ли в культуре редкая мысль, локальная форма, странный аргумент или самостоятельный способ видеть мир. Поэтому мультимодальность помогает против технического коллапса, но не снимает вопрос о человеческом.
А давайте исключим из предлагаемого сценария AI. Люди пишут тексты. Затем тексты попадают в общее культурное поле. Их воспринимают другие люди. Которые в свою очередь пишут новые тексты, уже под их влиянием. И т.д. Культура сама себя усредняет. И более того, АКТИВНО БОРЕТСЯ с разбросом. Например на плоскоземельщиков или эфирщиков смотрят мягко говоря как на чудаков. Не говоря уже про насильников и убийц, которые тоже экстремальные формы разброса. Не понимаю, что радикально изменится, если добавить сюда AI. Да, явление(усреднение культурного поля) существует. Но оно существовало задолго до AI, возможно вообще до появления членораздельной речи. И будет существовать, пока существует культура и человечество.
Как бы то ни было, спасибо за публикацию. Тема очень интересная.
AI опасен не как цензор, а как предварительный нормализатор.
Я с базовой частью согласен: культура действительно всегда была контуром обратной связи и всегда в той или иной степени усредняла сама себя. Но тезис не в том, что AI впервые создаёт культурное усреднение, а в том, что меняется его режим.
Обычная культура чаще фильтрует уже появившиеся высказывания: через редакторов, споры, репутацию и т.п. AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму. Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
И это фильтр необычного типа. Он не обязательно отличает истинное от ложного или ценное от мусорного. Он тянет текст к связному, гладкому, узнаваемо нормальному. Для отдельного автора это часто полезно. Но на уровне среды такой фильтр может сглаживать различия ещё до того, как они успели стать видимыми.
Поэтому да, усреднение существовало всегда. Вопрос не в самом факте влияния, а в масштабе, скорости, невидимости и точке входа — до публикации, внутри самого процесса мышления и письма.
Он предлагает структуру, категории, аргументы - представление о том, как должен звучать “хороший” ответ.
Так культурные нормы, который инсталлируют нам в головы в процессе обучения - то же про это представление.
Он тянет текст к связному, гладкому, узнаваемо нормальному.
Смотри требования к сочинениям и прочему редактированию. Точно так же неведомое количество текстов так и не стали видимыми, потому что автор не смог достаточно гладко изложить и выкинул их в мусорную корзину или вообще не были написаны на бумаге.
Проблема в ИИ в том, что их пока слишком мало. Гораздо меньше, чем культур.
Вообще, идеально бы иметь у каждого личный (да еще не один), который постоянно дообучается вместе с владельцем. Но вычислительные мощности человечества такого не позволяют.
Нормы и требования в процессе обучения — тоже схема не без греха, согласен. Но она, во-первых, долго эволюционировала вместе с нами в сложном мире; во-вторых, применяется разными живыми людьми с кучей ошибок и “мутаций”; в-третьих, всё же не настолько глобальна по охвату и скорости влияния.
У ИИ другая механика: один и тот же тип нормализации может одновременно оказаться встроен в миллионы актов письма и мышления. Причём до того, как мысль попала в культурный отбор.
Проблема не в самом наличии нормы. Проблема в том, что сейчас появляется очень удобный, массовый и относительно единообразный предварительный фильтр, который может срезать значимую часть вариативности ещё на входе.
Так и я про то же - проблема именно в единообразии.
Сильных, независимо обученных моделей просто мало. Это и нужно исправлять и почти наверняка понемногу исправится. Хотя это приведет то ли к другому риску то ли положительному результату - модели начнут друг с другом бороться на 'инстинктивном' уровне.
AI входит раньше — прямо в момент производства текста, когда мысль ещё только ищет форму.
То же самое делает к примеру теория относительности. Любая высказываемая мысль должна быть с ней совместима. Да, это полезно, ибо отсеивает явный мусор. Но это и сужает поле поиска. Я не вижу что тут появление AI меняет КАЧЕСТВЕННО. Количественно - да, согласен, эффект усреднения наверняка значительно возрастает. Но ускорялось культурное усреднение по-моему вообще всегда, сколько существовала культура. Читайте например Тура Хеердала, об островах Океании. Он описывает одного старика, который в молодости ел людей и это считалось нормой. Ко времени когда там был Хеердал, это стало уже неприемлемым. А времени прошло всего-то менее одной человеческой жизни. Теперь усредняться начнёт ещё быстрее. Тут другое интересно. Ставит ли этот эффект предел развитию человечества ??? Возможно это и есть тот самый Великий Фильтр.
То же самое делает к примеру теория относительности. Любая высказываемая мысль должна быть с ней совместима.
Не любая мысль, только в физике и связанных областях. Теоретически посты бьюти-блогеров тоже не должны противоречить ТО, но я не уверен, что там проверяют.
Сам пример хороший: фильтр ТО действительно может действовать на ранней стадии формулирования мысли. Но это фильтр в очень узкой, пусть и важной области. В других областях работают другие фильтры - со своей историей и своими глюками.
А на другом конце у нас условный миллиард пользователей ChatGPT, или вообще 146% всей популяции, если добавить юзеров Гугла. И вот здесь физик и бьюти-блогер действительно близки как никогда. Возможно, в таком масштабе количество уже начинает переходить в качество.
представление о том, как должен выглядеть хороший ответ
Вы сейчас все систему образования, начиная с начальной школы и до докторской диссертации
Ну если не брать Гитлера, наркобарыг и педофилов, то морально-приемлемые отклонения это тоже важная часть культуры.
Негативное отношение к эфирщикам досталось нам как эхо научных споров столетней давности, в которой победившая сторона повела себя, мягко скажем, некорректно, и заклевала, заклеймила и отменила множество достойных учёных, не успевших вовремя колебнуться вслед за линией партии. Пришедшая на смену эфиру квантовая теория поля с её кишащим виртуальными частицами вакуумом, конечно, намного более продвинута с точки зрения математики, но, по своей сути предлагает тот же эфир непонятной природы, только под брендом "физический вакуум". Будь интерферометр Майкельсона и Морли чуть поточнее (порядков на двадцать), они вполне могли бы уловить сигналы слияния чёрных дыр, хотя и не смогли бы понять, что именно они видят.
Понятно, что эфир сегодня является больше исторической концепцией, и всерьёз применять её на практике ну... очень странно. Но эта теория вполне может работать "устаревшей, но зато простой и понятной гипотезой" в качестве оппонента новым моделям. Точно так же, как ОТО не отменило закон гравитации Ньютона.
А вот модели Бикура быстро, за несколько итераций, отменят эфир совсем.
Отличная статья, сформулировано то, что я сам пытался для себя сформулировать. Тут есть еще один аспект -- ИИ является слепком не самого нашего общества, а слепком интернета, в основном, плюс еще некоторого количества книг, то есть материального воплощения культуры. То есть уже является слепком слепка. И проблема возникла еще до появления LLM. Вы знаете, что далеко не все цвета, которые может различать глаз, раскладываются в RGB? Есть целая палитра, в основном, голубые и пурпурные цвета, которые никакой монитор не может отобразить. Дети, познающие мир через компьютер, никогда их не видели и даже не подозревают о существовании таких цветов. Точно так же есть целый пласт культуры, передающейся лично, не фиксируемой в книгах и не попадающей в интернет. Как раз всё то, что относится к методам и подходам, личному примеру, навыкам. В интернет попадает выжимка, результаты, а не то, как к ним приходишь, все неудачные попытки отбрасываются и не записываются. И результаты уже давно видны, молодежь не понимает, как браться за задачи, кроме типовых.
Мне кажется, спасти ситуацию могут "новые амиши" -- сообщество тех, кто принципиально не пользуется LLM, интернет используют как справочник, много общаются между собой напрямую и обсуждают решение своих задач и проблем.
Если нейросеть будет работать с цветом, не приведенным для вывода на мониторе, а в исходном пространстве камеры, она эти цвета "увидит". Можно RGB отсчёты делать отрицательными. А часто ли встречаются эти годы цвета? Думаю, что потому мониторы и применяются с тремя детьми цветами, что нечасто.
Да, согласен: фильтр на фильтр накручен. Везде и по нескольку раз. Пока вроде работает, но вопрос как раз в том, где предел устойчивости такой системы для сохранения разнообразия. В случае обычного коллапса модели всё происходит быстро и наглядно. А как это будет у людей, и будет ли вообще, — о том и статья.
«Новые амиши» — скорее да, но не как полноценное решение, а как способ немного разбавлять систему свежей кровью. Полная изоляция, боюсь, быстро приведёт к другой проблеме: они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
они не сохранят культуру, а просто станут отдельной локальной веткой. Чтобы оставаться живым источником, всё равно придётся взаимодействовать с основной популяцией: учиться, читать, спорить.
Так и остальная группа тоже не сохранит. Культура вообще передается только при живом общении. Как говорил один мой коллега: "Яблоки рождаются от яблони, а физики от физиков", это о важности научных школ. Но то же и всех остальных школ касается. И вот мы уже видим, как сначала учителя заменил гугл, а теперь уже LLM заменяет и сам гугл. Культура уже теряется.
"Яблоки рождаются от яблони, а физики от физиков"
А от осинки не родятся апельсинки. Культура теряется, согласен. Можем себе позволить, может, даже и очень долго. А можем неудачно растерять критическую массу, которую никто не знает, — и здравствуй, светлое будущее: в эволюции есть только пока не проигравшие.
забавно, учитывая что пупурный - внеспектральный цвет (с) “от природы”
Надо просто принять закон, по которому температура LLM должна быть не меньше 1.5.
Всё, проблема решена. Где моя депутатская зарплата?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Почему model collapse может оказаться коллапсом не только моделей