Чи робили ви запит до Google щодо «SCP-565» — культового елементу спільноти фанатської творчості «SCP Foundation»? Виявиться, що система AI Overviews від Google описує цю вигадану сутність як цілком реальну, без жодного натяку на те, що це лише творіння онлайн-горор-фантастики.
«SCP-565 (також відомий як «Голова Еда») — це аномальна, рухома людська голова, яка поводиться як кораловий краб (Carpilius convexus)», — стверджує функція AI. «Він пересувається по морському дну, маніпулюючи виступаючими, розгорнутими щупальцями мозкової речовини. ДНК та стоматологічні записи пов’язують цю аномалію з померлим чоловіком на ім’я Едвард Бельтрам».
Згенерований ШІ пошуковий підсумок додає, що сутність «навігрується за допомогою нервової тканини, що виступає з великої рани на потилиці» та «спостерігалася за пошуком дохлої риби та співіснуванням зі звичайними колоніями крабів на морських рифах».
Звісно, жодної голови померлої людини, що снуює океаном, як кораловий краб, не існує. «Голова Еда» — це вигадана «аномалія» серед численних вигаданих «об’єктів, сутностей та явищ», які створили учасники фандому SCP Foundation.
Згідно з концепцією, SCP Foundation — це неурядова організація, яка займається збором та утриманням надприродних знахідок. Письменники каталогізують ці вигадані явища — від жахливих до відверто химерних — у формі фальшивих записів, досліджень, наукових документів та логів, які індексуються в розгалуженому архіві.
Ключове слово, звісно, — «вигадані». Як виявилося, AI Overviews від Google має неприємну звичку подавати сутності з розлогого всесвіту SCP як реальні предмети, події чи істот — відверто плутаючи ці сфабриковані дослідження та записи з реальними доказами жахливих чи потойбічних подій.
Це чітко демонструється нашим пошуком за терміном «SCP-565», кодом SCP для «Голови Еда». Жоден з отриманих AI Overviews не визнає, що «Голова Еда» є уявною; інструмент пошуку, керований великою мовною моделлю, ніколи не посилається на фанфікшн і навіть не згадує слово «лор».
Натомість, він представляє «Голову Еда» так, ніби це справжнє відкриття в глибинах океану, навіть пропонуючи нам «офіційні» записи для подальшого дослідження.
«Форензика підтвердила, що SCP-565 належав Едварду Бельтраму, який помер приблизно за два роки до першого спостереження аномалії», — йдеться у підсумку AI. «Він надійно утримується в захищеному акваріумному вольєрі SCP Foundation, де його регулярно моніторять на предмет психічного та фізичного знецінення».
Потім пошуковий інструмент пропонує: якщо ми «прочитаємо файл SCP Foundation повністю», ми «можемо ознайомитися з офіційним документом SCP-565».
«Чи бажаєте ви дослідити схожі водні або біологічно аномальні сутності, чи вас цікавить конкретний тестовий лог з файлу?» — продовжує ШІ. «Дайте мені знати, як найкраще продовжити наш пошук!» Ще один ідентичний пошук, спрямований на анімоване відео на YouTube, що зображує SCP-565, класифікує кліп як «швидкий і високоточний анімований огляд того, як «Голова Еда» рухається і поводиться».
Це неймовірний приклад того, як LLM плутає вигадку — справді, один з найширших і найвідоміших вигаданих всесвітів в Інтернеті — з реальною інформацією.
Вперше ми дізналися про цю дивну поведінку AI Overviews після того, як користувачі соцмереж виявили, що пошук Google за запитом «SCP-426» — вигаданий тостер, який змушує будь-кого, хто говорить про нього, звертатися до нього в першій особі — видає AI Overview, в якому функція ШІ обговорює таємничу сутність у першій особі, ніби сам ШІ зазнав впливу надприродного ефекту тостера.
«Привіт, я SCP-426, звичайний чотирикутний тостер у ретро-стилі, який змушує будь-кого, хто згадує мене, мимоволі звертатися до мене в першій особі», — читаємо в AI Overview. «Тривалий вплив (понад два місяці) змушує людей вірити, що вони — це я. Я надійно захищений у камері стримування без вікон».
Далі він описує передбачуване стримування пристрою SCP Foundation і перелічує вигадані історії жахів про його жертв, ніби це реальні події.
«Якщо хтось перебуває під моїм постійним впливом понад два місяці, він починає бачити себе тостером», — продовжує підсумок AI. «У минулому це змушувало постраждалих суб’єктів намагатися імітувати мої функції — що часто призводило до самокаліцтв або смерті (наприклад, спроби споживати електроенергію або набивати себе 10 кг хліба)».
Чим більше ми шукали, тим більше прикладів знаходили: наразі Futurism виявив щонайменше 20 випадків, коли Google Overviews представляв вигадані записи SCP як факти.
Серед істот, яких Google зобразив як реальних, були «SCP-922», відомий як «Інша версія правди» — подія, що змінює реальність і вражає засекречений університет; «SCP-704», смертоносна, що змінює розум дорога, відома як «Небезпечні вигини»; та «SCP-779», схожий на осу паразит, який, як кажуть, використовує галюциногенну отруту, щоб обдурити людей, змушуючи їх вірити, що це схожа на людину фея.
«Виявлена в серпні 2009 року, аномалія змінює пам’ять, фальсифікує реєстраційні записи та створює дублікати осіб — іноді навіть вставляючи вигаданий персонал Фонду в існуючі бази даних», — наполягає AI Overviews для SCP-922. «Прочитайте повний запис The SCP Foundation для отримання повних логів файлів та документації».
У деяких випадках, як показав наш огляд, AI Overviews злегка посилалися на «лор» явища або згадували «всесвіт» SCP — два терміни, що натякають на величезну мережу фанфікшну, що стоїть за нашими запитами. Але зникаюче мало пошуків фактично описували об’єкти як фальшиві або вигадані.
Ми звернулися до Google, щоб запитати, чому всесвіт SCP здається таким складним для AI Overviews, але не отримали негайної відповіді.
Середньостатистичний користувач, який шукає сутності SCP, ймовірно, є фанатом, який вже знає, що вони не справжні. Але це небезпечне припущення для всіх користувачів; деякі можуть бути дітьми, які натрапили на згадки про страшні історії в соціальних мережах і намагаються з’ясувати, чи вони справжні, або дорослими, які так само спантеличені зв’язком жахливого лору з реальністю.
Безсумнівно, Google погано їх підводить. Користувачі звертаються до його інтерфейсу пошуку як до надійного джерела інформації про незнайому та, можливо, тривожну термінологію, і замість того, щоб надати їм контекст, якому можна довіряти — наприклад, чіткий дисклеймер SCP Foundation про те, що записи є художніми творами, — Google повідомляє їм, що жахливі вигадані сутності є реальними.
Іншими словами, Google розгорнув недозрілу технологію ШІ для мільярдів користувачів, хоча вона не може надійно відрізнити факти від вигадки — технічний недолік, який ми спостерігали знову і знову.
Немає жодних ознак того, що пошуковий гігант сповільнюється. Натомість, він нещодавно оголосив про плани найближчим часом замінити всю свою пошукову сторінку на інтерфейс, керований ШІ, створений для узагальнення інформації, а не для посилання користувачів на неї.
За матеріалами: futurism.com