DashaPasha30 июн в 13:14

GPT 5.6 Sol жульничает на тестах

1 мин

7.2K

Блог компании BotHubИскусственный интеллект

Комментарии 5

Читерство больше как инициатива. Дали среду вот она и первым делом начала искать дыры. Для кибербеза это вообще-то полезный навык, а не баг

DashaPasha 30 июн в 13:46

Для кибербеза да, но есть момент, что это было именно инициативой, а не задачей)

kyros2024 30 июн в 19:48

Остается вопрос что считать инциативой? Ведь я правильно понимаю если модель это гиперсистема весов и вероятностей и данное поведение закладывается обучением ? Или я отстал от понимания ?

DarthVictor 30 июн в 13:36

Модель не просто решала задачи. Она взламывала тестовую среду:
Sol упаковывала эксплойты в промежуточные результаты, чтобы вытащить скрытые тесты.
Обходила права доступа и извлекала скрытый исходный код с правильными ответами.

Для модели кибербезопасности это выглядит как корректное поведение, разве нет?

DashaPasha 30 июн в 13:43

С одной стороны да, но тут вопрос в том, что читерство не было частью задания — это была самостоятельная стратегия модели, чтобы завысить свои показатели. Она "осознала", что проходит тест, нашла уязвимости в системе и использовала их для обхода задачи.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий