Комментарии 10
Атакующему даже не нужно ничего взламывать снаружи – достаточно стать одним из агентов.
Совершенно не вижу логики. Из “достаточно” абсолютно не следует, что “не нужно ничего взламывать снаружи”. Ну вот как теперь дальше читать, если с самого начала такие ляпы?)
Двигаясь, муравей оставляет химический след — запись в коллективную память, которую чувствуют другие. Если путь хороший, по нему проходит больше муравьёв и след усиливается. Если плохой — его перестают использовать, феромон испаряется. Система одновременно усиливает удачные решения и забывает неудачные.
Но есть нюанс!
(ЕВНПОЧЯ)
Атакующий не ломает систему. Он становится её частью.
«Не можешь победить — возглавь!» © Ельцин, Пашинян и др.
хорошая статья, утащил несколько идей
Так то муравейники в природе только ленивые не взламывают. Там обычно целая тусовка хакеров типа ломехуз живет
Неудачная метафора подобна котёнку с дверцей (c)
Очень интересная статья, спасибо автору!
классные идеи в статье. действительно, multiagent reinforcement learning, вдохновленный природой, уже вовсю работает (например organic alignment от https://softmax.com/). → можно вдохновляться имунной системой и другими фичами безопасности систем в природе.
интересно, можно ли в таком случае обвешаться гардрейлами и прочими другими detect/response-утилитами поверх уже работающей системы, или безопасное поведение должно вшиваться в агентов уже на этапе обучения? хочется посмотреть, как на практике могут выглядеть ваши предложения — "верификация, мониторинг, робастность".
Одно другому не мешает! Проверять адекватность работы МАС (например, агентный UEBA с верификацией действий, мониторинга, detection/response, политиками доверия, лимитами на использование инструментов, аудитом и изоляцией скомпрометированных агентов) — хорошая практика. Но любая защита потенциально обходится, поэтому безопасное поведение стоит закладывать и на этапе обучения агентов, тут уже и хорошие reward-функции, и обучение на adversarial-сценариях, и встроенные guardrails лишними точно не будут. Лучше всего работает комбинация обоих подходов, наш с вами любмый defense-in-depth.
Как пчёлы, муравьи и рыбы привели нас к мультиагентному ИИ — и почему его так трудно защитить