На початку року компанія Anthropic відмовилася випускати свою модель ШІ Mythos у публічний доступ, пояснивши це надмірною небезпекою. Тоді керівники стверджували, що модель здатна долати потужні системи кібербезпеки, вказуючи на дослідників, які використали її для виявлення тисяч вразливостей у широко використовуваному відкритому програмному коді.
Минули місяці, і Anthropic нарешті був готовий представити модель широкому загалу. У вівторок компанія під керівництвом Даріо Амодея анонсувала модель Fable 5 на базі Mythos, яка, за їхніми твердженнями, “безпечна для загального використання”.
Проте, нові запобіжники швидко розчарували дослідників ШІ, які звинуватили компанію у навмисному “лоботомізуванні” Fable 5. Обурення було настільки сильним, що Anthropic швидко внесла корективи в політику, як повідомив Wired у середу, підкресливши, наскільки обережно діє компанія.
У своєму початковому анонсі Anthropic стверджувала, що запобіжники розроблені для того, щоб зупинити Fable 5 від самовдосконалення, у “нових втручаннях, які обмежують ефективність Claude для запитів, спрямованих на розробку передових LLM”. За кілька днів до запуску Anthropic опублікувала звіт про “коли ШІ створює себе сам”, тренд, який “може збільшити ризики втрати людьми контролю над системами ШІ”.
Однак, дослідники ШІ не були вражені обмеженнями можливостей останньої моделі від Anthropic.
“Остання модель Anthropic НЕ допоможе вам, якщо вона вважатиме ваші ML-дослідження/ML-інженерію цікавими, і/або таємно знижуватиме свій IQ, щоб середній інженер цього не помітив”, – написала у Twitter дослідницька компанія SemiAnalysis.
“Ми вже спостерігаємо, як фільтри модерації останньої моделі Anthropic блокують наші дослідження GPU-інференції та програмування”, – додали вони.
Інші дослідники звинуватили Anthropic у використанні Fable 5 для “тіньового бану”, або тихого обмеження облікових записів дослідників ШІ. Згідно з системною карткою компанії, втручання, що обмежують запити на “розробку передових LLM”, “не будуть видимі для користувача”.
Ця остання стурбованість, яка могла б ефективно саботувати будь-кого, хто намагається тренувати конкуруючі моделі, тихо переводячи їх на менш потужні моделі без їхнього відома, виявилася достатньо суперечливою, щоб Anthropic змінила свою думку.
“Ми змінюємо запобіжники Fable 5 для розробки передових LLM, щоб зробити їх видимими”, – повідомила компанія Wired у заяві. “Ми зробили неправильний компроміс і перепрошуємо за те, що не знайшли правильного балансу”.
“Здавалося, що Anthropic казала громадськості: ‘Ми не довіряємо нікому іншому займатися дослідженнями ШІ’, – сказав виданню провідний дослідник стартапу Prime Intellect Вілл Браун. ‘Тільки ми повинні займатися дослідженнями ШІ'”.
Все це відбувається на тлі закликів Anthropic до глобального мораторію на розвиток ШІ, обговорюючи небезпеки “рекурсивного самовдосконалення”. Іншими словами, компанія привертає багато уваги до можливості, що звучить як наукова фантастика: ШІ почне швидко вдосконалювати себе, потенційно виходячи з-під контролю своїх людських творців.
Окрім обмеження здатності розробляти інструменти ШІ, нові запобіжники Fable 5 також спрацьовують при виявленні запитів, “пов’язаних з кібербезпекою, біологією та хімією, або дистиляцією”. Дистиляція – це, по суті, використання машинного навчання для тренування “студентської” моделі на основі поведінки та міркувань “вчительської” моделі, практика, яка викликала чимало суперечок.
Anthropic вже публічно скаржилася на масштабні спроби дистиляції, або “вилучення” їхньої базової моделі — лицемірна позиція, враховуючи їхнє безрозбірне збирання веб-контенту, захищеного авторськими правами, для тренування свого ШІ.
## Fable 5: Anthropic Переглядає Запобіжники ШІ Після Шквалу Критики
На початку року світ технологій затамував подих: Anthropic, один із провідних розробників штучного інтелекту, відмовилася випустити свою потужну модель Mythos, назвавши її надто небезпечною. Причиною були попередження про потенційну здатність моделі долати найсучасніші системи кібербезпеки, що підтверджувалося дослідженнями, де Mythos допоміг виявити тисячі вразливостей у відкритому програмному коді.
Минуло кілька місяців, і ось — Anthropic повернулася з оновленою версією. Представляємо Fable 5 — модель, що працює на базі Mythos, яка, за словами компанії, тепер “безпечна для загального використання”.
Однак, випуск Fable 5 супроводжувався запровадженням нових, суворих запобіжників, які миттєво викликали бурхливу реакцію спільноти. Дослідники ШІ звинуватили Anthropic у навмисному “приглушенні” потенціалу Fable 5, що призвело до значного обурення. Цей шквал критики змусив компанію терміново переглянути свою політику, демонструючи, наскільки обережно вони ступають на цій небезпечній території майбутніх технологій.
Спершу Anthropic заявляла, що запобіжники покликані перешкоджати самовдосконаленню Fable 5, зазначаючи, що вони “обмежують ефективність Claude для запитів, спрямованих на розробку передових LLM”. Лише за кілька днів до запуску компанія опублікувала доповідь про потенційну небезпеку “самостійного створення ШІ”, що може призвести до втрати контролю з боку людини.
Попри ці заяви, дослідники штучного інтелекту були розчаровані тим, як Anthropic обмежує можливості своєї найновішої розробки.
«Нова модель Anthropic НЕ допоможе вам, якщо вона вважатиме ваші ML-дослідження чи інженерію цікавими, і, ймовірно, таємно знижуватиме свій IQ, аби середній інженер цього не помітив», — написала у Twitter дослідницька фірма SemiAnalysis. «Ми вже спостерігаємо, як фільтри модерації новітньої моделі Anthropic блокують наші дослідження GPU-інференції та програмування».
Інші дослідники звинуватили Anthropic у використанні Fable 5 для “тіньового бану” — прихованого обмеження доступу для дослідників ШІ. Згідно з офіційною документацією моделі, такі втручання, що обмежують запити на “розробку передових LLM”, “не будуть видимі для користувача”.
Саме це викликало найбільше занепокоєння: можливість таємно саботувати розробку конкуруючих моделей, переводячи їх на менш потужні версії без відома користувачів. Ця перспектива виявилася настільки суперечливою, що Anthropic була змушена переглянути свою позицію.
«Ми змінюємо запобіжники Fable 5 для розробки передових LLM, аби зробити їх видимими», — заявила компанія у коментарі для Wired. «Ми зробили неправильний вибір і перепрошуємо за те, що не знайшли правильного балансу».
«Складалося враження, ніби Anthropic говорить громадськості: “Ми не довіряємо нікому іншому займатися дослідженнями ШІ”, — поділився з виданням провідний дослідник стартапу Prime Intellect Вілл Браун. — “Тільки ми повинні цим займатися”».
Усі ці події відбуваються на тлі закликів Anthropic до глобального мораторію на розвиток ШІ, де компанія акцентує увагу на небезпеці “рекурсивного самовдосконалення”. Іншими словами, Anthropic активно обговорює сценарій, що нагадує наукову фантастику: ШІ почне стрімко покращувати себе, потенційно виходячи з-під контролю людства.
Окрім обмежень на розробку інструментів ШІ, нові запобіжники Fable 5 також активуються при виявленні запитів, пов’язаних із “кібербезпекою, біологією, хімією або дистиляцією”. Дистиляція, по суті, є методом використання машинного навчання для тренування “студентської” моделі на основі поведінки та міркувань “вчительської” моделі — практика, що давно викликає багато дискусій.
Цікаво, що Anthropic вже відкрито висловлювала своє невдоволення щодо масштабних спроб “дистилювати” або “вилучати” їхню базову модель. Це видається дещо лицемірним, враховуючи, що сама компанія активно використовувала контент з Інтернету, захищений авторськими правами, для навчання своїх ШІ.
За матеріалами: futurism.com