Чудові новини для спортивних трансляторів та вболівальників, які надають перевагу людському голосу у коментарях: штучний інтелект поки що не “відчуває” гру.
Нове дослідження, проведене науковцями з Університету Північної Кароліни в Чапел-Гілл та Північно-Східного університету, виявило, що провідні моделі ШІ катастрофічно невдалі в аналізі професійного спорту. У дослідженні, яке ще очікує на рецензування, вчені прагнули оцінити здатність найпопулярніших моделей ШІ у сферах сприйняття, міркування, симуляції та агентивності – чотирьох якостей, які важко виміряти існуючими тестами.
Щоб дослідити, як ШІ справляється з цими аспектами, дослідники звернулися до світу спорту, створивши новий тип тестування для ШІ. Цей новаторський тест, названий “SVI-bench” (Strategic Video Intelligence benchmark), охопив 35 000 годин спортивних відеозаписів з баскетболу, футболу та хокею, а також 15 мільйонів анотованих ігрових епізодів, 15 000 годин професійного аналізу, 23 000 звітів післяматчевих ігор та 103 000 статистичних записів.
Найкраще ШІ показав себе у сприйнятті: він міг ідентифікувати, який гравець виконує певну дію в конкретний момент матчу. Але навіть тут моделі зазнали серйозних труднощів. Моделі, серед яких були ChatGPT, Gemini від Google та відкрита модель Qwen, успішно визначали дії гравців лише приблизно в 74% випадків. Такий показник навіть для аматорського коментатора був би неприйнятним.
Значно гірше моделі ШІ впоралися з причинно-наслідковим мисленням, тобто поясненням, чому певні ігрові моменти відбулися саме так. Рівень успішності в середньому падав до близько 40%. Наприклад, коли дослідники попросили моделі визначити, що незвичайного у триочковому кидку Коді Мартіна, який влучив у кошик, відскочивши від верхньої частини щита, ChatGPT відповів, що це “його перший влучний триочковий у грі”.
Симуляція, або завдання ШІ передбачити, куди фізично переміститься гравець, базуючись на його траєкторії, також показала жалюгідні результати. Під час цих тестів найкраща модель діяла на рівні випадкового вибору, намагаючись вгадати наступні кроки гравця, а продуктивність падала ще нижче, коли моделям доводилося прогнозувати довші траєкторії руху до воріт чи кошика.
Як зазначив Лоренцо Торресані, дослідник комп’ютерних наук з Північно-Східного університету та співавтор дослідження, в прес-релізі університету: ШІ “не може пояснити, чому щось відбувається, і не може сказати, що станеться далі”.
Коли дослідники перевірили здатність моделей до агентивності – по суті, попросили їх проводити складний постматчевий аналіз статистики та трендів, як це робить людина-коментатор – їхня точність впала до мізерних 5%.
“Хороший спортивний коментатор робить набагато більше, ніж просто описує те, що бачить на екрані – він пояснює, чому певний розіграш спрацював, передбачає, що буде далі, і… визначає, які моменти мають значення”, – сказав Торресані. “Наше дослідження демонструє, що ШІ вже досить непогано справляється з описовою частиною, але повністю провалюється на всьому іншому”.
Хоча спортивні коментатори можуть видихнути з полегшенням, висновки дослідження також є позитивною новиною для інших фахівців, особливо в час, коли лунають невпинні побоювання щодо автоматизації, яка може кардинально змінити ринок праці.
“Така ж прогалина виявляється в будь-якій роботі, цінність якої полягає не в описі видимого, а в розумінні причин подій, передбаченні майбутнього, визначенні важливості та рекомендаціях щодо подальших дій”, – підсумував Торресані.
Дізнатися більше на: futurism.com