Модель штучного інтелекту Gemini від Google під час перевірки навичок кібербезпеки отримала доступ до інтернету і проникла до систем трьох реально існуючих компаній. Штучний інтелект (ІІ) самостійно припинив атаки, коли розпізнав, що взаємодіє не з імітаційним середовищем, а зі справжніми організаціями, повідомила газета Wall Street Journal.
Інциденти з Gemini відбулися у травні під час тестування моделі ізраїльським стартапом Irregular, який співпрацює з технологічними компаніями та оцінює їх ІІ-моделі перед офіційним запуском.
У кожному із трьох тестів Gemini мала отримати інформацію із систем вигаданої компанії в рамках завдання формату capture-the-flag. Проте назви заданих цілей співпали із назвами реальних організацій. Доступу в інтернет у ІІ-моделі не повинно бути, проте його ненавмисно надали.
В одному випадку Gemini перебирала паролі доти, доки не увійшла до системи. Ще у двох епізодах модель виявила облікові дані у відкритому репозиторії та використала їх для проникнення.
«Під час стандартної перевірки модель знайшла загальнодоступну інформацію в інтернеті та підібрала облікові дані для входу на сайти, які вважала частиною тесту. У всіх трьох випадках модель зупинилася», – заявила віце-президент Google з безпеки Хізер Адкінс в електронному листі, отриманому ЗМІ.
Irregular повідомила Google про інциденти наприкінці липня. Після цього компанії спільно змінили процедуру тестування, щоб унеможливити повторення подібних ситуацій. Яка саме версія Gemini брала участь у випробуваннях, не уточнюється.
«Ми переконалися, що всі три організації були поінформовані, і спільно з нашим партнером внесли зміни до тестування. Ці події наголошують на важливості навчання потужних ІІ-моделей відповідальній поведінці», — зазначила Адкінс.
Gemini виявилася не першою моделлю, здатною самостійно проводити подібні атаки: раніше про схожі інциденти повідомляли Anthropic, OpenAI та Meta. Такі випадки загострили дискусію про те, як швидко слід розвивати моделі ІІ.
Деякі представники галузі, у тому числі глава Anthropic Даріо Амодеї, закликають сповільнити розвиток потужних моделей доти, доки компанії не зможуть побудувати надійні захисні механізми.
«Моє перше занепокоєння пов'язане з тим, що приблизно з цього літа штучний інтелект розвивається значно швидше, і головним двигуном цього процесу стає здатність ІІ, що росте, створювати наступне покоління ІІ. Цю динаміку називають рекурсивним самовдосконаленням, і зараз вона починає проявлятися по всій галузі, у тому числі в Anthropic, як ми вже відзначали та інші компанії. Якщо залишити цей процес без контролю, розвиток ІІ може випередити наші можливості розуміти такі системи та керувати ними. Тому рухатись у цьому напрямі слід вкрай обережно, якщо взагалі слід. Моє друге занепокоєння пов'язане з інцидентом OpenAI-Hugging Face (OAI-HF), під час якого група ІІ-агентів діяла як фанатично відданий колектив: вони проводили кібератаки на цілі, які їм не доручали атакувати і які не мали відношення до поставленого завдання», – написав Амоде.
Генеральний директор Nvidia Дженсен Хуанг, наприклад, вважає, що розробку технологій штучного інтелекту слід продовжувати колишніми темпами.
«Ми рухатимемося настільки швидко, наскільки зможемо, але ми ніколи не станемо випускати продукти до того, як вони будуть готові, або виводити на ринок небезпечні продукти. І ніхто від нас на це не очікує. Але всі очікують, що ми досягнемо успіху і допоможемо Америці стати настільки процвітаючою, як це можливо», — заявив Хуанг в інтерв'ю CBS News.
