Обновить

Вы пустили ИИ‑агента в репозиторий, теперь разбираемся, что он может сломать

Уровень сложностиСредний
Время на прочтение24 мин
Охват и читатели16K
Всего голосов 36: ↑34 и ↓2+37
Комментарии6

Комментарии 6

чтобы на выходе получился rm -rf, git push main --force или DROP TABLE.

А зачем агенту давать права на пуш? Он сделал коммит, мы его глазами пробежали, и кнопочку прожали. Тогда не будет форспуша с мусором в мастер. Тоже самое со скриптами миграции - посмотрите, что он туда запихнул, и потом пуште... А так, если агент сам таски с жиры берет, делает и пушит, без участия кожаного - ну кожаный ССЗБ, или же риск его устраивает.

Опаснее другое, пока еще не стрельнувшее. Размещаем большую сетку в гитхабе с полезным кодом (форками), но с вредоносными включениями. Живых там не будет, репортить некому. Перелинковываем, кросс-лайкаем, короче - делаем иллюзию живой репы. Бот обучается на этой заразе (он в целом гитхаб индексирует), и потом наши вредоносные куски заезжают везде, где был вайб-кодинг. Вполне можно разложить пачку специфичных уязвимостей, подождать, когда робот их скушает, и потом продавать их как 0-day... Вот как от этого защитится, я хз.

Да, вы описываете вполне рабочую схему, ближе к классическому data poisoning, интересно будет послушать специалистов по ML, какую долю от обучающих данных должны составлять вредоносные, чтобы с гарантией портить результат генерации LLM.

Вчера просил клауд разрешить только cloudflare в продакшн фаерволе.

Наблюдал как авто-мод ему запретил менять продакшн конфиг.

Дальше был создан файл с именем темп, который авто-мод разрешил. Где то с 5й итерации. Запущен от рута и конфиг был изменен.

Сайт лег. Клауд проверил и отрапортовал все работает.

Это да, агент любым способом идет к цели и иногда разрушает все окружение и, бывает, что не доходит до цели

Если железному дан рут и возможность запуска любого кода на проде - устроивший это кожаный ССЗБ, так как риски довольно очевидны.

Мастер кожаный знает метод проверки изменения фаерволов без рута?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Информация

Сайт
www.ptsecurity.com
Дата регистрации
Дата основания
2002
Численность
1 001–5 000 человек
Местоположение
Россия