Цього року Anthropic розпочала обережний, поетапний запуск своєї новітньої моделі штучного інтелекту Mythos для обраної групи організацій.
Мета полягала в тому, щоб надати їм шанс усунути будь-які кібербезпекові прогалини в їхньому коді, адже Mythos, як попереджала компанія, здатна легко пробивати оборону.
Через кілька місяців співзасновник Anthropic Кріс Ола відвідав Ватикан, щоб виступити на оголошенні першого енцикліки Папи Льва, присвяченої ШІ та його ризикам. У своїй промові Ола тривожно зазначив, що його команда інженерів постійно виявляє загадкові й навіть “тривожні” моменти всередині моделей компанії.
Підсумовуючи, клієнти компанії стурбовані. Розробники, які минулого тижня відвідали семінари Claude Code в Лондоні, повідомили Bloomberg, що вони занепокоєні наданням моделям і агентам ШІ безпрецедентного рівня автономії. Це викликає запитання щодо відповідальності, якщо щось піде не так.
Керівниця продукту Claude Code, Кет Ву, запевнила, що система “надзвичайно безпечна”, і проблема радше в недостатній комунікації, а не у відсутності контролю.
Але це навряд чи заспокоїть розробників, які відчувають, що їх усувають від процесу програмування, зводячи їхню роль до спостереження за тим, як ШІ генерує код годинами, а то й днями. Інші зауважили, що новітні версії Claude Code більше не відображають ланцюжок міркувань, що ще більше ускладнює розуміння їхньої роботи.
Це особливо актуально, адже Anthropic прагне позиціонувати себе як морально свідома та відповідальна компанія, що яскраво проілюстрував незвичайний візит Оли до Ватикану.
Багато в чому AI-компанія, схоже, хоче мати все одразу: закликає до більшого нагляду та обережності, але водночас випускає потужні інструменти ШІ, які викликають занепокоєння у розробників-людей.
Потенційні ризики очевидні як ніколи. З меншим людським наглядом, майбутні помилки, які можуть допускати такі інструменти, як Claude Code, ставатимуть дедалі складнішими для ефективного виправлення. Експерти також попереджають про атрофію навичок, оскільки програмісти все більше покладаються на ШІ-асистентів. Як повідомляв 404 Media раніше цього місяця, багато розробників стурбовані тим, що їхні колеги швидко втрачають технічні навички через надмірну залежність від програмного забезпечення.
Але, можливо, не все втрачено. Оскільки доступ до цих інструментів стає надто дорогим для багатьох, коли реальні витрати на ШІ стають очевидними, певний необхідний людський нагляд, можливо, ще не зник.
## Anthropic та “тривожні” моделі ШІ: Розробники занепокоєні автономією, компанія запевняє у безпеці
Наприкінці цього року Anthropic розпочала обережний, поетапний запуск своєї найсучаснішої моделі штучного інтелекту — Mythos. Цей виважений підхід мав на меті надати обраним організаціям можливість вчасно виявити та усунути потенційні прогалини в кібербезпеці, адже Mythos, як попереджала сама компанія, здатна легко створювати “дірки” в їхніх захисних системах.
Минають місяці, і співзасновник Anthropic, Кріс Ола, здійснив несподіваний візит до Ватикану. Там він виступив на презентації першої енцикліки Папи Льва, присвяченої штучному інтелекту та пов’язаним із ним ризикам. У своїх виступах Ола тривожно зазначив, що його команда інженерів продовжує виявляти в моделях компанії загадкові та навіть “тривожні” аспекти.
Усі ці події викликають занепокоєння серед клієнтів Anthropic. Розробники, які нещодавно відвідали воркшопи Claude Code у Лондоні, поділилися з журналісткою Bloomberg Пармі Олсон своїми побоюваннями щодо надання моделям і агентам ШІ безпрецедентного рівня автономії. Це, своєю чергою, піднімає критичні запитання щодо відповідальності у випадку виникнення проблем.
Керівниця продукту Claude Code, Кет Ву, намагалася заспокоїти Олсон, наголошуючи на “надзвичайній безпеці” системи. Вона пояснила, що йдеться радше про недостатню комунікацію, а не про брак контролю.
Однак, такі запевнення навряд чи втішать розробників, які відчувають, що їх поступово відсторонюють від процесу програмування. Вони змушені спостерігати, як інструмент ШІ генерує код годинами, а то й днями. Деякі з них також зазначають, що новітні ітерації Claude Code перестали відображати “ланцюжок думок” (chain of thought), що ще більше ускладнює розуміння внутрішніх процесів роботи моделі.
Це особливо актуальна тема, адже Anthropic докладає значних зусиль, щоб позиціонувати себе як “морально свідомого та відповідального гравця” на ринку ШІ. Незвичайний візит Кріса Оли до Ватикану є яскравим підтвердженням цієї стратегії.
Здається, компанія прагне мати все одразу: закликати до посиленого нагляду та обережності, одночасно випускаючи потужні інструменти ШІ, які викликають занепокоєння у розробників-людей.
Потенційні ризики стають дедалі очевиднішими. Зменшення людського контролю може призвести до того, що помилки, які допускатимуть такі інструменти, як Claude Code, у майбутньому ставатимуть значно складнішими для ефективного виправлення. Експерти також висловлюють занепокоєння щодо “атрофії навичок” серед програмістів, які все більше покладаються на ШІ-асистентів. Як повідомлялося раніше, багато розробників вже спостерігають, як їхні колеги швидко втрачають технічні навички через надмірну залежність від програмного забезпечення.
Проте, не все може бути втрачено. Зважаючи на те, що вартість доступу до потужних інструментів ШІ може стати надто високою для багатьох, коли реальні витрати на його розробку та підтримку стануть очевидними, можливо, необхідний людський нагляд ще не зник назавжди.
Подробиці можна знайти на сайті: futurism.com