AI на межі: Anthropic закликає до глобальної паузи у розвитку, чи це реальна загроза чи маркетинговий хід?
Чи справді штучний інтелект наближається до точки неповернення, де він вийде з-під людського контролю? Компанія Anthropic, один із найпотужніших гравців на ринку ШІ, б’є на сполох, закликаючи до глобального “стопу” у розробці новітніх технологій. Це рішення викликало бурхливу дискусію у світі технологій.
У своєму детальному дописі, опублікованому днями, Anthropic, яка наразі є найціннішим стартапом у сфері ШІ, виклала свої аргументи. Компанія стверджує, що її моделі, такі як Claude, стоять на порозі “рекурсивного самовдосконалення”. Це гіпотетичний ключовий момент, коли ШІ зможе самостійно покращувати себе, потенційно випереджаючи людські інтереси та створюючи ризики для суспільства.
Anthropic підкреслює: ми ще не досягли цієї точки, але “це може статися швидше, ніж більшість інституцій готові”.
“Ми вважаємо, що світу було б корисно мати можливість сповільнити або тимчасово призупинити розвиток передових ШІ, щоб дозволити суспільним структурам та дослідженням з узгодження (alignment research) наздогнати прогрес технології”, — йдеться у заяві компанії.
При цьому Anthropic визнає складність такого кроку: “Значне уповільнення або пауза потребуватимуть домовленості між кількома добре забезпеченими лабораторіями на передовій, у різних країнах, зупинитися за однакових умов”. Компанія також чесно зазначає, що “навчити моделі набагато легше приховати, ніж ракетні шахти”, що ускладнює контроль за дотриманням будь-яких угод.
Цікаво, що заклик Anthropic до паузи лунає саме зараз, коли компанія переживає пік свого розвитку. За останні місяці вона обігнала OpenAI, ставши найдорожчим ШІ-стартапом зі значною оцінкою, а її моделі вважаються одними з найкращих, особливо у сфері програмування. Теоретична “зупинка” конкурентів могла б закріпити домінування Anthropic.
Не всі сприйняли заяву Anthropic з ентузіазмом. Відомий критик ШІ, Гері Маркус, назвав допис компанії “приманкою та підміною”.
“Anthropic намагається вселити жах у серця всіх (цитуючи: ‘повне рекурсивне самовдосконалення також може збільшити ризики втрати людьми контролю над системами ШІ’), але все, що вони насправді продемонстрували, це лише швидше кодування — повністю під людським контролем”, — написав Маркус у своєму блозі. “Швидший інструмент для кодування, ймовірно, не призведе до кінця світу”.
Anthropic здавна позиціонує себе як “дорослого в кімнаті”, який переймається етикою та безпекою. Частиною їхньої історії є розповідь про те, як CEO Даріо Амодеї відмовився випускати революційну модель ШІ у 2022 році через занепокоєння щодо безпеки, дозволивши OpenAI отримати славу з випуском ChatGPT.
Два місяці тому, у продовження цієї історії, Anthropic представила нову модель — Mythos. Компанія заявила, що не випускає її публічно, оскільки вона “достатньо потужна, щоб зламати кожен великий веб-браузер і кожну велику операційну систему”.
Однак, ця “гра в безпеку” викликає дедалі більше запитань. Раніше цього року Anthropic мала конфлікт із Пентагоном через побоювання, що її системи ШІ можуть бути використані у автономній зброї або для масового стеження. Пізніше стало відомо, що Claude використовувався для вибору цілей ударів в Ірані.
Під час конфлікту з військовими, Anthropic також відмовилася від своєї обіцянки безпеки, яка, по суті, була основою їхньої діяльності: припинити тренування ШІ, якщо неможливо гарантувати належні захисні механізми.
Ще більше підкреслюючи можливу двозначність позиції Anthropic, професор Лондонського університету Стівен Мердок вказав на нещодавні викриття Financial Times. Згідно з ними, Anthropic допомагає Агентству національної безпеки США використовувати модель Mythos для кібервійни проти таких потенційних супротивників, як Китай та Іран.
“Anthropic може створювати враження доброзичливої компанії, але їхнє визначення безпеки ШІ є вузьким”, — сказав Мердок The Guardian. “Підтримка американських органів у розробці наступальних можливостей ніколи не була чимось, проти чого вони виступали”.
Незалежно від того, чи справді Anthropic вірить у реальність глобальної паузи, чи це чергова спроба підсилити свій образ “захисника безпеки”, компанія обіцяє продовжувати свої зусилля.
“У найближчі місяці ми організуємо обговорення, де політики, дослідники, громадянське суспільство та інші компанії-розробники ШІ зможуть допомогти відповісти на питання, порушені у цій статті, особливо щодо повного рекурсивного самовдосконалення та шляхів створення кращих механізмів координації та обговорення”, — заявила компанія. “Ми опублікуємо результати цих обговорень”.
Оригінал статті: futurism.com