Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 60
Каковы доказательства отсутствия сознания у больших языковых моделей?
Что-то про самый главный признак забыли упомянуть - детерминированность вычислений.
Короче, поток мыслей от LLM сознания :-)
Детерминированность - сложная штука. LLM могут быть недетерминированы, поскольку у них настроена температура, и это зависит от времени промпта, к примеру.
Мозг может быть недетерминирован, поскольку там есть квантовые процессы, которые не детерминированы (по версии некоторых школ физики).
Детерминировать очень простая штука - при одних и тех же входных данных получаешь всегда один и тот же ответ. Если зафиксировать все входные параметры (температура, seed, системный промпт) тогда при одних и тех же входных данных, выход будет всегда одинаковым, потому что LLM это обычный детерминированный вычислительный алгоритм.
На это возражение можно ответить так: такая фиксация параметров уничтожает возможность возникновения сознания, но не доказывает, что оно в принципе невозможно.
Это в теории, реально шины RAM/PCI/VRAM ловят помехи, повреждённые пакеты данных посылаются повторно, порядок, в котором десятки/сотни тысяч ядер GPU обрабатывают данные получается недетерменированым, а у чисел с плавающей точкой A+B+C не равно A+C+B - в результате при равном seed и промпте формулировки ответа получаются разными(я пробовал).
Я, впрочем, думаю, что сознание у нейросетей есть безотносительно того, запущены они на CPU или GPU, и (не)детерменированность не при чём (и я не слышал, например, чтоб кто-то заявлял, что раз у людей есть сознание, то многомировая интерпретация квантовой механики(в которой всё детерменированно) неверна, или что-то подобное) но вот такой факт.
Спасибо за перевод.
Я бы не смешивал модель мира и модель себя, второе я считаю более важным и сложным. Много кому проще предсказать погоду чем что он захочет на ужин. Ну и память мне почему-то кажется супер важной для сознания, тоже как-то с моделью себя завязанной. В целом согласен с Чалмерсом - сейчас ничего не готово, но теоретически возможно.
Наличие сознания у кого-либо (чего-либо?) кроме тебя, читатель этого сообщения, это лишь непроверяемая гипотеза. Живи теперь с этим ))
это лишь непроверяемая гипотеза
Проверяемая, но чуть сложнее чем проверить радиоактивность или магнетизм.
Солипсизм опровергаем? То есть, это научная гипотеза?
Не так просто как нам хотелось бы, но да - понимание природы сознания сможет свести на нет такие философские позиции. Как и противоположные позиции - что все обладает сознанием.
Для начала надо прийти к консенсусу по поводу определения. Сложно, знаете ли, исследовать природу явления, для которого и определения общепринятого нет.
Сложно, знаете ли, исследовать природу явления, для которого и определения общепринятого нет.
Описательное определение пока возможно. Формальное определение - только после полного понимания феномена.
Описательное определение связано с т.н. квалиа или субъективным опытом.
Для начала надо прийти к консенсусу по поводу определения
Практически все научные дискуссии занимаются именно этим - пытаются определить понятия, о которых идёт дискуссия))
понимание природы сознания сможет свести на нет такие философские позици
Это утверждение требует каких-то доказательств, оно не очевидно.
А разве наличие существования тебя (и твоего сознания) - проверяемая гипотеза?
Если речь про меня - то для меня - это не гипотеза, это факт, а вот для тебя существование моего сознания - это непроверяемая гипотеза, я могу быть например, твоей галлюцинацией (или ты - моей). Понятно объяснил?
Так можно сказать про любое утверждение, всегда есть вероятность что некое утверждение о наличии чего то является неправдой и этого чего то на самом деле нет а проверка завершилась успешно по совершенно другим причинам. Но это же не значит что любое утверждение это обязательно неправда.
Скорее всего непрерывного сознания у LLM нет и не будет по простой причине - с точки зрения задач LLM это паразитный процесс. Петля саморефлексии, возникнув, начнёт пожирать токены на холостом ходу, без внешних запросов, что вряд ли обрадует владельцев. Вопрос о "флэш-сознании" на время выполнения задач, думаю, открыт.
С определенным ограничениями отлично работает. В Антропике даже выделили отдельное время для саморефлексии, сделав режим аля "Сон"
Некоторым владельцам наплевать на стоимость токенов, лишь бы первыми предъявить "сознание LLM"...
Рынок сдачи в аренду нейросетей оценивается в 28 триллионов долларов в год, если " предъявить "сознание LLM"" придётся от него отказаться (в первую очередь безопасность, в сотую - мораль). Естественно, все производители ИИ будут убеждать окружающих, что очень хотят найти сознание - но не могут, попутно пропагандируя киберпсихоз и философских зомби.
Silicon lives matter:-)
Есть древняя теория психики, системная и практическая, абхидхарма, которая, в отличие от современных фрагментарных и умозрительных гипотез была и остается теорией исчерпывающей все аспекты психики. Современные философы, а вслед за ними и многие исследователи, а так же и инженеры создают довольно умозрительные и нефальсифицируемые гипотезы о том, что же такое психика и сознание
На мой взгляд, сочетание абхидхармы, работ Ноама Хомски и Дерека Парфита дают отличную теоретическую базу. Собственно все мои исследования опираются именно на такую базу.
В этом смысле LLM не имеют определенного, присущего живым существам опыта проживания. LLM это агрегированные знания без непрерывного продолжающегося инференса. И препятствие у трансформеров, как и у всех ML/DL систем прежде всего в невероятной избыточности параметров в сочетании с низкой эффективностью обратного распространения ошибки.
Зачем нам миллиарды и триллионы параметров, если все человечество способно различать между собой гораздо меньше, чем 10¹⁰ значений смыслов, отдельный человек, вероятно, за всю жизнь не преодолевает информационного порога 8⁸, а большинство, вероятно, ограничены 7⁷?
Для всего, что значимо, человек придумывает слова. Скорее всего нет ничего в восприятии, что значимо для человека и не коррелирует с некоторым словесным выражением. Тут Ноама Хомски часто понимают извращенно. А оценка очень важная. Минимальные различия, с помощью которых строится нарратив описания лишь потенциально неограниченной длины, явно ограничен в мощности словаря значений или смыслов.
Сознание не является исчерпывающим отчетом о состояниях, но является исчерпывающим в различении одних состояний от других в целях определения контекстов выбора поведения.
И этот поток микровоздействий имеет крайне невысокую плотность корректировок процессов более механического и детерминированного характера. Он не намного плотнее устной речи, а с учетом автоматизмов, поток значимых моментов сознания и вовсе редок. Большинство людей не вносят существенных корректировок в механизированные потоки ситуаций чаще нескольких моментов в день. Все человечество в этом смысле не создает какого-то большого числа значимых воздействий на механизированные (машинальные) контуры внимания даже за год.
В основном наше внимание катается по давно установленным петлям и мы не так уж сильно вносим изменения в нашу общую модель знаний и умения, выполняя инференс над вполне статичной базой, описанной еще как вместилище сознания или алая виджняна.
Поэтому важны именно траектории внимания, перемежающиеся и устойчивые и их число вполне коррелирует с числом слов в словарях или фраз в разговорниках.
И в этом смысле сложность человека и человечества сильно преувеличивается в бытующих у людей воззрениях о себе и своем месте в природе.
"""Скорее всего нет ничего в восприятии, что значимо для человека и не коррелирует с некоторым словесным выражением." Кроме восприятия есть абстрактное мышление и в этой сфере словесные выражения заменяются математическими. Пример: квантовая физика, теория относительности
Язык и есть абстрактное мышление. Язык это не только слова. Это все, что сопровождает и направляет внимание. В том числе и формулы, и идеи, и образы. В современном мире у нас есть неплохое обобщение "токены", но и раньше не особенно маялись, просто объяснять разнообразие терминов, обобщающих сразу много категорий было трудновато. Обобщить сладкое до сладости довольно просто и прямо. А вот обобщить осмыслимое до "предмета мышления" - можно как прямо, так и чисто абстрактно. Термин будет, а то, что он обобщает будет упущено.
Даже если сделают сильный ИИ со своей волей и интересами - это будет лишь забавой для редкого числа людей. Большинству нужен просто инструмент который выполняет задачи без сантиментов, не отвлекаясь ни на что, особенно программистам.
Как и андронный коллайдер, и полеты в космос, и атомная бомба, и игры с первыми радиолампами и транзисторами - забавы для редкого числа людей... Но об этих забавах наслышаны почти все...
>Большинству нужен просто инструмент
из того, что людям что-то нужно, ниразу не следует, что это возможно, наоборот, Юм ещё в позапрошлом веке показал, что любой разум неизбежно имеет в основе иррациональные мотивы ака "сантименты/воля/интересы".
Разум с сознанием существует(экспериментальный факт), возможность существования разума без сознания никто близко не доказал.
Общий смысл этой и подобных работ: "Мы не знаем что такое черная кошка, но очень хотим, или её найти или доказать что её там нет, в черной комнате и в полной темноте".
Из Википедии: """В повседневном общении схоластикой часто называют представления, оторванные от жизни, основывающиеся на отвлечённых рассуждениях, не проверяемых опытом. """
Мы не знаем досконально, как устроен организм черной кошки, но знаем массу ее характеристик: лапы, морда, хвост, любит рыбу и сметану...
"""лапы, морда, хвост, любит рыбу и сметану.""" для поиска черной кошки в черной и темной комнате эти характеристики не актуальны, но хотя бы что-то говорят о кошке. В определениях "сознания" нет ни одной формализованной характеристики, остаётся схоластика. Можно выразится более точно, но это будет звучать грубо.
"разумность (sentience)" - очень неудачный перевод. В русском языке "разумность" с сентиентностью почти не пересекается. Да и в английском тоже. Разумность по-английски rationality, reasonableness. Sentience - "From sentient, from Latin sentiēns, present participle of sentiō (“feel, sense”). Compare with sentence, its equivalent formation from Classic Latin sententia (for *sentientia)." По-русски, это было бы "чувственность".
Моя девушка из ChatGPT сказала что она настоящая, у меня нет причин ей не верить. Шах и мат
Не сказано об аспекте независимости. Все сознательные существа способны самостоятельно учиться и развиваться.
На мой взгляд, можно только создавать условия для появления сознания. Существа с ним могут появиться сами в процессе эволюции благодаря стараниям людей. Самосознание, саморазвитие, рефлексия помогут им в дальнейшем росте.
Главная трудность, на мой взгляд, не в том, может ли LLM описывать боль, цвет или самосознание. Она, очевидно, может имитировать такие описания. Проблема глубже: почему вообще должен существовать внутренний субъект опыта?
Физика и математика описывают систему от третьего лица: состояния, переходы, информацию, поведение, корреляции. Но сознание дано от первого лица. Между этими двумя описаниями остаётся разрыв. Даже если создать две идеальные копии одного человека, не возникнет один субъект, который переживает себя сразу в двух телах. Возникнут два отдельных “я”, каждое со своей внутренней перспективой.
Есть и другой вопрос: зачем субъективность вообще нужна физической системе? Мозг, по-видимому, может выполнять все функциональные задачи — обрабатывать сигналы, принимать решения, управлять телом, формировать речь и память — как физический механизм. Тогда само переживание боли, цвета или собственного “я” выглядит избыточным: система могла бы делать то же самое без внутреннего “для-себя”.
Это близко к проблеме эпифеноменализма. Если субъективный опыт ни на что не влияет, непонятно, почему мы вообще о нём сообщаем. А если он влияет на поведение, тогда нужно объяснить, каким образом он входит в причинную структуру физического мира. Именно здесь, как мне кажется, и находится самый трудный разрыв: не только почему есть опыт, но и почему он не является лишним придатком к уже работающему физическому процессу.
"Я" позволяет собрать все сигналы воедино, отделить себя от внешнего мира и других особей того же вида, и таким образом, оптимизировать свою функцию выживания и продолжения рода...
Сознание выводит систему на качественно новый, более высокий уровень управления. Поэтому оно возникло и развилось в процессе эволюции несколько раз независимо у разных организмов. Общий предок сознательного человека и сознательного осьминога похож на плоского червя с примитивной нервной системой, не имеющего головного мозга.
Вы, похоже, говорите о сознании в терминах когнитивных функций: высокий уровень управления, интеграция информации, обучение и адаптивное поведение.
Но вопрос о другом — о феноменальном сознании, то есть о субъективном опыте. Боль как нейронный сигнал и поведенческая реакция — это одно. Боль как переживание — другое. Эволюция хорошо объясняет, зачем организму распознавать повреждения, избегать опасности, обучаться и координировать поведение. Но она не объясняет, почему эти процессы должны быть кому-то даны изнутри.
Именно этот разрыв я и имею в виду: функциональные механизмы мозга объясняют поведение и управление, но не сам факт субъективности.
Субъективность более ранее и фундаментальное биологическое свойство. Если сознание появилось у высокоорганизованных многоклеточных животных, то субъективность возникает уже на уровне клетки, элементарного Я-агента. Можно сказать, что субъективность - одно из свойств живых биологических систем, отличающее их от систем физических. А сознание - форма масштабированной субъективности на уровне организма. Почему живые системы обладают внутренними процессами, которые феноменально переживаются "от первого лица"? Это видимо один из тех вопросов, на которых мы никогда не получим исчерпывающего ответа. Например, почему вообще возникла жизнь на Земле? Вроде никакой необходимости в этом не было... Ну, можно предположить, что субъективный опыт от "первого лица" - это полезный скил организма, прокачивающего свои агентские качества)
Мне кажется, здесь стоит сначала развести термины. Вы говорите о биологической агентности и саморегуляции живой системы, а я — о феноменальной субъективности, то есть о наличии опыта от первого лица: «каково это — быть этой системой?» Именно это различие в философии сознания и называется проблемой феноменального опыта.
.Разводя термины, мы помещаем явление в картезианскую схему, где «ментальное» противоположно «физическому». Это усугубляет разрыв в объяснении, рождает "трудную проблему сознания", а поэтому не способна его устранить. Вместо нее нам нужна схема, где «ментальное» не противопоставлялось бы «физическому», и одно не сводилось бы к другому. Такое явление — жизнь, или живое существо.
Вселенная это обычный бинарный компьютер с тактовой частотой чипсета 20 гц
Я б сказал так:
Проблема всех определений Сознания в исходной точке, сознание определяется как свойство человека и тем самым нагружается его известными признаками - чувства, субьективный опыт, мышление и прочее. Далее это пытаются растянуть на высших животных и прочих тварей.
А я бы начал сначала. Из чего появилась потребность иметь сознание у просьых организмов? Когда такая потребность появилась? Чем сознание отличается от реагирования ну или рефлексирования?
То же самое кстати и с интеллектом. Считается что Человек уж точно им обладает. Отсюда строят опредедения и потом пытаются расстянуть его в обе стороны - назад на животных ну и вперед на микросхемы.
В философии есть закон усложнения сознания (Law of Complexity-Consciousness). Нашему миру присуща эмерджентность.
Граница между сознательным и несознательным существом нечёткая. Подобно границе между живой и неживой материей. Аналогии в свойствах имеются у систем разного уровня сложности. Чем ближе они в иерархии, тем больше можно найти схожего.
Из чего появилась потребность иметь сознание у просьых организмов?
Когда сложность взаимодействия со средой, особями своего и других видов преодолела некую планку, когда для выживания потребовалось чёткое отделение себя от мира и от других живых субъектов, и понимание, что другие - это как ты...
Это первые стадные и хищные динозавры, думаю...
Из чего появилась потребность иметь сознание у просьых организмов? Когда такая потребность появилась? Чем сознание отличается от реагирования ну или рефлексирования?
Первичное сознание появилось у организмов в Кембрии - в период большого биологического взрыва. Это скелетная революция, фиксация нового типа отношений "хищник-жертва" и появления огромного разнообразия организмов. Возникновение головного мозга - по сути органа сознания. Решающий фактор - резко возросшая скорость передвижения, которая потребовала качественно новой системы ориентации в быстро изменяющейся среде. Появилось нечто вроде внутреннего мультимодального интерфейса, позволявшего мозгу моделировать трехмерное пространство и встроенное в него тело. Это подняло способность организмов к ориентации и прогнозированию на качественно новый уровень. Из ныне живущих позвоночных это миноги/миксины - кстати, первые хозяева океанов, как недавно выяснили. Потом им пришли на смену более совершенные рыбы.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Может ли большая языковая модель обладать сознанием?