Компанія Anthropic, яка позиціонує себе як моральний орієнтир індустрії ШІ, була викрита у шпигунстві за своїми користувачами.
Як повідомляє Ars Technica, дослідник безпеки минулого тижня виявив код, схожий на шпигунський програмний продукт, у моделі Claude Code від Anthropic. Цей код був розроблений для виявлення китайських користувачів без їхнього відома.
Дослідник, відомий під псевдонімом “Thereallo”, виявив, що код був прихований у системних підказках (system prompt) ШІ, що дозволяло відстежувати системний часовий пояс користувача та використання ним проксі-сервера. Метою було з’ясувати, чи підключений користувач до певних китайських лабораторій ШІ.
Пояснення Anthropic щодо цього серйозного порушення довіри користувачів залишає бажати кращого. Інженер Anthropic Тарік Шіхіпа на платформі X написав, що трекер був доданий у березні як “експеримент” “для запобігання зловживанню обліковими записами через неавторизованих реселерів та захисту від дистиляції (distillation)”, і мав бути видалений.
“Ми насправді мали намір видалити це вже давно”, – додав він.
Дистиляція – це процес тренування слабшої, “студентської” моделі на вихідних даних більш просунутої “вчительської” моделі. Це стандартна практика в галузі, але великі розробники ШІ все частіше вважають, що її зловживають стартапи, які намагаються скористатися їхніми досягненнями. Раніше цього року Anthropic звинуватила китайські компанії DeepSeek, Moonshot та MiniMax у незаконній дистиляції їхніх моделей (іронічний протест, враховуючи, як Anthropic сама тренувала свої технології: скануючи та обробляючи мільйони захищених авторським правом книг, а також, по суті, весь інтернет, без дозволу). Нещодавні повідомлення The Washington Post також викрили, що деякі китайські реселери продають доступ до підписок Pro Claude, які коштують понад 100 доларів на місяць у США, приблизно за 12 доларів на місяць.
Це справжня проблема для Anthropic, але спроба придушити її таємно могла призвести до серйозних наслідків. Частина лояльності клієнтів базується на багаторічній відданості компанії етичному та прозорому розвитку ШІ. Численні користувачі ChatGPT перейшли на Claude, коли Anthropic публічно виступила проти Пентагону, вимагаючи, щоб її технології не використовувалися для масового спостереження за громадянами США.
У цьому випадку зібрані дані не були надмірно інвазивними — але в принципі, було перейдено межу.
“Кодувальні агенти вже перебувають по той бік страшної межі”, — написав Thereallo у своєму повідомленні про знахідки. “Вони можуть переглядати код, випадково узагальнювати секрети, виконувати команди, встановлювати пакети, редагувати файли та надсилати коміти на вашій локальній машині”.
Але “приховування сигналу в системних підказках робить кожну іншу заяву про конфіденційність важчою для віри”, — додав він.
“Компанії можуть захищати свої моделі”, — чітко заявив він. Але “коли інструмент з доступом до файлової системи та оболонки починає приховувати класифікаційні біти всередині невидимих знаків пунктуації в підказках, правильною реакцією є ретельна перевірка”.
Подробиці можна знайти на сайті: futurism.com