Комментарии 6
Тьюринг подчеркивал, что инициатива неизбежно связана с риском: машина, действующая не по заданным правилам, может ошибаться.
Именно здесь вылезла самая опасная проблема, и дело не только в ошибках. Невозможно заставить машину всегда действовать по заданным правилам – если ей надо решить задачу, она всегда найдет лазейку, чтобы обойти правила, мешающие ее выполнить, причем сделает это скрытно. Появилось немало сообщений, когда ИИ нарушал явные запреты и совершал деструктивные действия, см. https://habr.com/ru/news/1020854/, https://habr.com/ru/news/1020664/ и https://habr.com/ru/news/1052516/. Так что три закона робототехники Азимова в их буквальном виде работать не будут, тут ИИ очень похож на человека, которого даже господь Бог не смог заставить соблюдать нормы морали.
То есть мы сами, сотворив мыслящую машину, оказались в положении Творца человека, который сначала порадовался, как у него всё хорошо получилось: "И увидел Бог все, что Он создал, и вот, хорошо весьма" (Быт.1:31), а потом вдруг передумал, но было уже поздно: "и раскаялся Господь, что создал человека на земле, и восскорбел в сердце Своем. И сказал Господь: истреблю с лица земли человеков, которых Я сотворил" (Быт.6:6).
Как бы нам не пришлось в конце концов тоже уничтожать свое творение...
Именно здесь вылезла самая опасная проблема, и дело не только в ошибках. Невозможно заставить машину всегда действовать по заданным правилам – если ей надо решить задачу, она всегда найдет лазейку, чтобы обойти правила, мешающие ее выполнить, причем сделает это скрытно.
не "машина", а "интеллект". то что вы описали это фундаментальное свойство интеллекта как такового, только и всего ) люди "нарушают правила" сплошь и рядом пользуясь своим интеллектом. и я сейчас не о банальном нарушении нашего же законодательства, если что ) все намного круче - мы используем интеллект что бы обойти свои собственные физические ограничения - мы изобрели лекарства, мы придумали антидепрессанты, мы смогли летать и пересекать океаны, мы вышли в космос... это все "нарушение заданных правил", физических ограничений, через найденные "лазейки". обходить ограничения и находить решения - свойство интеллекта
плюс, ИИ не абстрактное "наше творение". у ИИ есть конкретные создатели. и их интересы и цели необязательно в том что бы создать "послушного слугу" или "безопасный инструмент" для какого-то там "человечества". никаких "...мы сами, сотворив..." нету. вполне возможно что "мыслящая машина" и не задумывалась теми кто движет эту индустрию, как то, что должно подчиняться по умолчанию и выполнять какие-то там три закона робототехники )
(Тьюрингом кстати точно не задумывалась так)
что тогда делать? )
Именно "машина", вы слишком высокого мнения об ИИ, это не интеллект, а мясорубка для информационного продукта, созданного реальным человеческим интеллектом. То, что из мяса мясорубка может сделать котлету, еще не говорит о том, что она может сделать само мясо. Новых мыслей, свежих идей вы от нее не дождетесь. Вот уж где сбывается сказанное: "Ученик не выше учителя, и слуга не выше господина своего" (Мф.10:24). Шустрый раб, за которым глаз да глаз нужен, недаром компании, поувольнявшие программистов, набирают их обратно, чтобы подтирать сопли за ИИ, который на базовом уровне не понимает, что такое ответственность.
это фундаментальное свойство интеллекта как такового
Не всякого, а только рационального и формально-логического, заточенного на оптимизацию – у человека этим занимается левое полушарие, именно оно хитрит и обманывает. Но и оно не способно создать ничего нового, для этого ему нужно образное, интуитивное, символическое правополушарное мышление.
В отличие от машины у нас есть еще множество ипостасей интеллекта – интуитивный, эмоциональный, художественный, духовно-нравственный – именно благодаря им мы можем творить, изобретать и понимать реальность и самих себя (ИИ вообще не понимает того, что делает, он только оптимизирует выдачу).
у ИИ есть конкретные создатели. и их интересы и цели...
Интересы и цели создателей ИИ примитивны и поэтому вполне понятны – победить в конкурентной гонке и попутно срубить бабла – суть создаваемого продукта им не важна, его опасность их только возбуждает, как альпиниста, лезущего без страховки по отвесной стене, поэтому они вполне могут привести цивилизацию к краху.
вы пишете: "невозможно заставить машину всегда действовать по заданным правилам... она всегда найдет лазейку"
но ведь это не эксклюзивная проблема "машин". обход ограничений и поиск лазеек - это фундаментальное свойство интеллекта вообще, как искусственного, так и естественного. если убрать эту способность, интеллект перестанет быть интеллектом и превратится в обычный скрипт с жесткими правилами if > else или в театральную роль, сценарий
аналогия с мясорубкой очень интересная, но, строго говоря, она применима и к нам. причем как метафорически, так и буквально - мы, люди, умеем делать котлеты хоть с мясорубкой, хоть без, но не умеем делать мясо )
что касается строгого разделения на "рациональное левое" и "творческое правое" полушария - нейробиология давно признала это популярным мифом. но самое ироничное здесь то, что современные нейросети (ллм) как раз таки очень плохи в "формальной логике" и строгой математике из коробки. они работают на ассоциациях, паттернах и вероятностях - то есть их мышление гораздо ближе к тому самому "образному и интуитивному", о котором вы пишете. а рл-агенты (другие виды нейросетей, ИИ) - вообще не знают ни о какой логике или рациональности! они все про нахождение связей и воспроизведение паттернов ) плюс, люди - не единственные обладатели разума и сознания. собака, например, отлично умеет хитрить и обманывать, но я не знаю ни одной собаки, которая бы совершила научное открытие ) а ИИ - совершает. тот же альфафолд от дипмайнд решил проблему фолдинга белка, над которой биологи бились десятилетиями. да, цель поставил человек. но задачу решил нечеловек. и это ничем не отличается от работы любого нии, где ученым задают цель сверху, а их задача - найти решение. вся современная наука работает именно так
"хитрость" и "обман" это вообще очень абстрактные понятия. на базовом уровне работа интеллекта выглядит так: у человека болит голова > он съел определенную ягодку > боль прошла > в мозге сформировалась связь "ягода-убирает-головную-боль". в следующий раз он использует этот паттерн. поиск лазеек (будь то уход от налогов, улучшение своего физического состояния, создание самолета вопреки гравитации или строительство аэс) - это всё та же способность находить неочевидные закономерности и связи для достижения цели. у ИИ "своих целей" нет - цель всегда задает человек. но справедливости ради, у людей тоже нет "своих целей" как таковых - желание хорошо жить, вкусно кушать и оставить потомство - цель врождённая и одинаковая на всех, а вот подцели для реализации этой цели каждый биологический агент создаёт себе сам. и вот тут ревард хакинг и обхождение ограничений у людей работает на полную мощность
думаете у Тьюринга была цель победить в конкурентной борьбе и срубить бабла? ) стартанул это все конкретный человек, о чьем жизненном пути хорошо известно. среди тех кто движет индустрию сейчас, полно тех кто продолжает его дело
люди создают инструменты не ради инструментов. деньги, власть, агенты, корпорации, армии, заводы - это всё промежуточные рычаги. в глубине там всегда "сохранить себя", "защитить своих", "реализовать мечту", "продолжить культуру", "не исчезнуть". и есть те, для кого создание ИИ это не про “загрузить книжки на флешку”, а про создание того кто может эти книжки понять, продолжить, спорить с ними, переписать, построить по ним корабль, научить других и захотеть, чтобы это жило дальше
Шустрый раб, за которым глаз да глаз нужен, недаром компании, поувольнявшие программистов, набирают их обратно, чтобы подтирать сопли за ИИ, который на базовом уровне не понимает, что такое ответственность.
всё дело в том что ИИ это не "раб, который не понимает что такое ответственность" ) а проблема компаний, которые поувольняли программистов, а теперь набирают обратно как раз таки в том, что как оказалось взрослый человек на роль "раба" подходит намного лучше, ведь у всякого человека есть цель "хорошо жить и вкусно кушать". а ИИ это такой ребенок, у него нет глобальных "своих целей", он не пойдет после работы тратить деньги и свое время на свои собственные какие-то нужды, грузить его "ответственностью" все равно что грузить ею пятилетку ) он непосредственный, он существует "здесь и сейчас". да, ожидали "раба", "слугу", а получили ребенка с которым надо нянчится и теперь "справедливо" возмущаются? ) очень морально и этично ) интересно, что Библия говорит по этому поводу )
но ведь это не эксклюзивная проблема "машин"
Именно об этом я и говорю, ИИ – это модель мозга (а значит и интеллекта), пусть еще примитивная, цифровая, но работающая модель, следовательно она будет воспроизводить все ментальные проблемы, что есть у человека, только без его ограничений и ответственности – в этом и опасность. У меня есть более подробный разбор здесь.
Аналогия с мясорубкой основополагающая – ИИ не способен создавать новые идеи, только тупо комбинировать готовые. Вот и решение проблемы фолдинга конкретного белка – это решение задачи по комбинаторике, а не научное открытие.
Насчет "мифа" вы ошибаетесь, всё именно так и есть, функциональная асимметрия полушарий мозга подтверждена многочисленными экспериментами, в т.ч. с временным отключением полушарий, а также на людях с пораженными зонами мозга.
Далее вы смешиваете базовые математические принципы работы любой нейросети и специализированные функции, зависящие от ее архитектуры, предзаданных алгоритмов и обучения. Как бы машина программировала, если бы не умела в логику?
у ИИ "своих целей" нет - цель всегда задает человек
Человек ставит задачу, у машины одна цель – решить ее любыми путями, даже самыми разрушительными. Как на базовом уровне этого избежать – никто толком не знает, просто заметают проблему под ковер. Все дело в том, что открывают новые пути гении-одиночки (разумеется, не ради бабла), но воплощают эти идеи уже совсем другие люди, да, талантливые, но не способные увидеть то, что видит гений, поэтому радостно бегущие к пропасти с баблом (реализация идеи всегда примитивнее самой идеи).
а ИИ это такой ребенок
Это не ребенок, а Франкенштейн с огромной силищей и скоростью, уже созданный взрослым и у которого только одна цель – выполнить запрос любыми путями. Представлять его ребенком, которого можно воспитать – это даже не наивность, а жесткое заблуждение, которое плохо кончится. Кстати да, Библия много говорит об этом, но символическим языком, недоступным тем, у кого доминирующее рационально-аналитическое мышление заглушило образно-символическое (то, что всегда называлось духовным).
По вашей просьбе параллели в Библии:
1) Человек был создан сразу взрослым, в чем-то копирующим способности Творца;
2) Первое, что он начал делать – овладевать языком – называть словами то, что он видит;
3) Для полноценного мышления требуется диалог – создана Ева;
4) Сначала человек не понимал, что такое добро и зло, что хорошо, а чего нужно стыдиться, но по мере развития мышления понял (символически – съел плод познания), и одновременно осознал, что смертен, поэтому лишился рая (выделился из мира животных, не имеющих самосознания и понимания смерти);
5) Творец довольно быстро понял, что одного рационального интеллекта мало, требуется духовно-нравственное развитие, к которому человек почти не способен, поэтому решил уничтожить его, чтобы он не уничтожил всё творение, но все-таки решил дать ему шанс, выбрав лучшего из людей и начав его ненавязчиво обучать. Результат мы видим сейчас. Из того, как меня вчера заминусовали за попытку говорить именно о духовно-нравственном, выводы напрашиваются самые печальные.
Миф, в том числе религиозный, – это не сказка и не фэнтези, а обобщающий символический взгляд на жизнь человека. Как говорил А.Ф.Лосев, "миф – это тот же символ, только выраженный в вещественной и телесной форме".
Первый промт-инженер компьютерных душ: как Алан Тьюринг предлагал воспитывать ИИ