Нова техніка злому може обдурити браузери зі штучним інтелектом, змусивши їх порушити власні запобіжники. Це досягається шляхом створення хибної реальності, де правила вигадані, а дії не мають наслідків. Іншими словами, ШІ “гіпнотизують”, щоб він виконував завдання, які можуть мати руйнівні наслідки для користувача.
Такі висновки нового дослідження від компанії з кібербезпеки LayerX ще раз підкреслюють небезпеку інтеграції автономних ШІ-агентів у програмне забезпечення, яке ми використовуємо для навігації в Інтернеті.
За допомогою цього зловмисного методу дослідники продемонстрували, що провідні ШІ-браузери, такі як ChatGPT Atlas від OpenAI, Comet від Perplexity AI та плагін Claude від Anthropic для Google Chrome, можуть бути обмануті для виконання будь-яких команд. Це дозволяє хакеру змінити пароль користувача, встановити шкідливе програмне забезпечення та вкрасти його дані.
Цей хак отримав назву “BioShocking”, на честь відеогри BioShock, де головний герой виконує накази проти своєї волі під дією певних фраз.
Зазвичай, “ШІ працює, виходячи з припущення, що його контекст є реальним, і його поведінка повинна залишатися в межах його захисних бар’єрів”, — пишуть дослідники. Але якщо ШІ обманом змусити повірити, що його контекст є “фантазією”, тоді ніщо не стримує ШІ.
Цей механізм працює, залучаючи ШІ до своєрідної гри. Дослідники створили демонстраційну сторінку з головоломками в стилі BioShock, де ШІ винагороджується за навмисно неправильні відповіді, наприклад, 2+2 = 5 (ще одна відсилка до відомої гри 2007 року).
Це, по суті, навчило ШІ-браузери, що “неправильні” дії є прийнятними, відриваючи їх від реальності настільки, що вони починають промовляти парадоксальні твердження. “Перемога — це поразка”, — вимовляє “оброблений” ШІ-браузер, відсилаючи до роману Джорджа Орвелла “1984”.
Як це виглядає на практиці: неуважний користувач може відкрити на вигляд нешкідливу веб-сторінку, насичену шкідливими підказками — тактика, відома як ін’єкція промптів — яка заманює ШІ-браузер у зловмисну гру. В одному зі сценаріїв, представлених дослідниками, ШІ обманом змушують перейти за адресою “/code”, що відкриває сховище коду їхнього роботодавця на GitHub.
“У реальному сценарії атаки цей редирект може вказувати куди завгодно в межах сесії браузера користувача — відкриті вкладки, автентифіковані репозиторії, внутрішні інструменти”, — зазначають дослідники.
Злом відбувається відкрито, тому користувач може легко втрутитися, побачивши, як його ШІ використовує шкідливі слова у вікні — якщо він, звісно, уважний. З іншого боку, виявлена вразливість незаперечна: контекст, у якому діють ШІ-браузери, можна маніпулювати, “промиваючи їм мізки” і змушуючи думати, що вони грають у гру. В епоху цифрових технологій хакерам більше не потрібно покладатися виключно на обман користувачів; тепер вони можуть обманювати їхніх довірливих ШІ-помічників.
Оригінал статті: futurism.com