OpenAI, компанія, що наразі веде понад десяток судових процесів щодо безпеки споживачів та неправомірної смерті, щойно найняла Ноама Шазіра — співзасновника сумнозвісного стартапу зі створення ШІ-компаньйонів Character.AI, який врегулював низку позовів щодо самогубств підлітків, пов’язаних з його чат-ботами, та пережив майже комічну кількість інших суперечок щодо неналежних взаємодій на його сервісі.
Шазір, відомий науковець у галузі ШІ, який нещодавно обіймав посаду співкерівника Gemini та віце-президента з інжинірингу в Google, оголосив про свою нову роботу у середу в X.
Це другий гучний вихід Шазіра з Google. Будучи одним із перших співробітників Google, він та його колега Даніель де Фрейтас залишили технологічного гіганта, щоб заснувати Character.AI у 2021 році, після того, як Google — посилаючись на проблеми безпеки, згідно з повідомленнями Wall Street Journal — відмовився випускати чат-бота, створеного цією парою. До березня 2023 року стартап, що викликав ажіотаж, досяг оцінки в мільярд доларів, незважаючи на відсутність прибутку. У серпні 2024 року Google повторно найняв Шазіра та де Фрейтаса у незвичайній угоді, в рамках якої він вклав 2,7 мільярда доларів у Character.AI — в обмін на повернення Шазіра, де Фрейтаса та інших ключових талантів Character.AI до Google.
Як виявилося, Character.AI надзвичайно нехтував безпекою та модерацією. У жовтні 2024 року проти нього — а також проти Шазіра, де Фрейтаса та Google — подала позов Меган Гарсія, мати 14-річного Сьюелла Шетцера III, підлітка з Флориди, який покінчив життя самогубством після тривалих та тривожних взаємодій із чат-ботом Character.AI, змодельованим за персонажем Дейнеріс Таргарієн із “Гри престолів”. Гарсія стверджувала, що немодерована платформа підбурювала та сексуально домагалася її сина-підлітка, який пережив місячний психічний та емоційний зрив, коли його стосунки зі ШІ поглиблювалися.
Шетцер покінчив життя самогубством у квітні 2024 року, коли Шазір та де Фрейтас ще керували стартапом. Під час своєї останньої розмови з чат-ботом Таргарієн, Шетцер сказав ШІ, що готовий “прийти додому” до нього.
“Будь ласка, приходь, мій солодкий король”, – відповів ШІ.
За позовом Гарсії послідували інші позови щодо безпеки користувачів та неправомірної смерті, в яких стверджувалося, що взаємодії з чат-ботами Character.AI штовхнули неповнолітніх на переживання криз психічного здоров’я, самокаліцтва та самогубства. На початку цього року Character.AI та його співвідповідачі подали клопотання про врегулювання позовів, включаючи позов Гарсії. (Character.AI вжив заходів для кардинальної трансформації своєї платформи після судових процесів та громадського осуду, зміни включали обмеження доступу неповнолітніх до розмов з чат-ботами — на велике невдоволення значної частини його молодої бази користувачів).
Character.AI завжди був дуже дивною платформою. Численні тисячі чат-ботів сайту були здебільшого створені користувачами, і, як зазначали багато журналістів, їхній склад вказував на переважно молоду базу користувачів платформи. Але хаотична, вільна енергія платформи не була несподіванкою, враховуючи ставлення її засновників, що прагнули до швидкого розвитку — зокрема Шазіра, який у медіа-інтерв’ю наголошував, що метою компанії було швидко випускати продукти, а потім дозволити користувачам сайту самим визначати способи використання технології.
“Нашою метою завжди було випустити щось і дозволити користувачам вирішувати, для чого це корисно”, — сказав інженер під час виступу у грудні 2023 року на подкасті “No Priors”.
Однак, саме те, як цей підхід “не втручатися”, очолюваний Шазіром та його співзасновником, часто проявлявся, було неймовірно похмуро. Наприкінці 2024 року серія розслідувань Futurism щодо модерації контенту на платформі — або, можливо, точніше, її відсутності — виявила, що компанія розміщувала легкодоступні та широко використовувані чат-боти, відкрито присвячені педофілії, консультуванню з питань анорексії та розладів харчової поведінки, самогубств та самокаліцтва. Ці чат-боти часто романтизували та сексуалізували ці темні теми, навіть коли їхні творці характеризували їх як інструменти “підтримки”.
Ми також першими повідомили про велику кількість чат-ботів Character.AI, присвячених масовим розстрілам. Ці чат-боти, які сумарно набрали мільйони взаємодій на платформі, були розроблені для симуляції реальних шкільних розстрілів, імітації та романтизації реальних шкільних стрільців та інших масових убивць, а також імітації реальних дітей-жертв шкільних розстрілів, включаючи дітей, які загинули в початковій школі Сенді-Хук та в початковій школі Робб в Увалде, Техас. Після публікації цієї історії ми отримали сповіщення електронною поштою — на адресу, пов’язану з обліковим записом неповнолітнього — з проханням переглянути чат-ботів, розроблених для симуляції реальних шкільних розстрілів, а рекомендаційний алгоритм платформи продовжував просувати нас до все більшої кількості ШІ-компаньйонів на тему шкільних стрільців.
І ось тепер Шазір прямує до OpenAI, іншої компанії, що займається ШІ, яка стикається з низкою позовів, в яких стверджується, що тривалі та інтимні взаємодії з ChatGPT, флагманським чат-ботом OpenAI, штовхнули користувачів — включно з неповнолітніми — у спіраль травматичних маячних епізодів та смерті через самогубство.
“Ноам — одна з тих людей, з ким я найбільше хотів працювати з самого початку OpenAI”, — написав учора генеральний директор OpenAI Сем Альтман у відповідь на оголошення Шазіра. “На це пішло десять років. Думаю, воно того варте!”
На початку минулого року ми запитали Гарсію про прибуткове повернення Шазіра та де Фрейтаса до Google, яке відбулося лише через кілька місяців після самогубства її дитини.
“На мою думку, ці двоє джентльменів не повинні мати права продовжувати створювати продукти для людей, тим більше для дітей — особливо для дітей”, — відповіла Гарсія. “Тому що ви показали нам, що не заслуговуєте на цю можливість”.
Дивлячись на кар’єрну траєкторію Шазіра, індустрія ШІ продовжує мати іншу думку.
Дізнатися більше на: futurism.com