Інтернет-видання «Дзеркало тижня» опублікувало статтю з результатами соціологічного опитування про ставлення українців до війни, миру, мобілізації та можливих переговорів із країною-агресором. У матеріалі – 10 графіків і багато висновків про соціальну природу українського суспільства. Соціолог і ректор Київської школи економіки Тимофій Брік вирішив розібрати статтю та зібрав 19 критичних зауважень
Які виклики, ідеї, плани мають лідери професійної благодійності? Як працюють топові благодійні фонди? Як меценати обирають, які соціальні проєкти підтримувати? Благодійний форум про благодійність вже 23 серпня у Львові ⚡️
Якщо у цій статті і є одна думка, яка лейтмотивом пронизує всі графіки та інтерпретації, то це – південний макрорегіон відрізняється від інших.
У статті багато говориться про втому східного макрорегіону від війни, про готовність південного макрорегіону на переговори з Росією і про загальну тенденцію українців давати амбівалентні відповіді (переговори на часі, але не треба поступатись).
«Схід просто втомився від десятилітньої війни, а південь досі плекає ілюзії, що з Путіним можна домовитися, якщо піти на певні поступки» – цитата зі статті.
Цей текст викликав чималий резонанс у соціальних мережах. Користувачі звертали увагу на різні графіки та дивувались відповідям респондентів (Як можна бути такими амбівалентними? Українцям не соромно за ухилянтів – як так?).
З усім тим саме дослідження та вся стаття мають багато проблем: допущено чимало помилок як на «дрібному» рівні методик, так і концептуального представлення результатів. Тому спиратись на них не раджу.
Це вже третій великий пафосний текст від «Дзеркала тижня» на моїй пам’яті, який так недбало працює з соціологічними даними. Попередні – статті «Кровотеча» (2018 рік) про міграцію та «Тест на сумісність» (2019-й) з опитуванням українців на непідконтрольних територіях. Ці матеріали я регулярно використовую на своїх лекціях «Як не треба робити опитування» і «Як не треба писати про соціологію».
Для однієї з попередніх статей «Дзеркала тижня» я нарахував 21 критичне зауваження. Тоді це стало моїм особистим рекордом.
Перевіримо, чи ця нова стаття поб’є цей рекорд.
Свою критику я розбив на три групи:
1. Соціологічні неточності.
2. Помилки інтерпретації даних і концептуальні неточності.
3. Наратив тексту.
Соціологічні неточності
У цьому розділі мова йтиме про кодування даних, шкали, формулювання питань. Усе те, що є основою опитувань.
Кодування регіонів
У тексті автор акцентує на регіональних відмінностях. У великій його частині обговорюються саме східні та південні регіони. Підкреслюється, що південний регіон суттєво відрізняється від інших. Велика частина статті вмотивована тим, що цю різницю треба обговорити й пояснити.
Але питання – як саме визначено «південь». Соціологи мають різні думки стосовно областей та регіонів України. Деякі соціологи відносять Дніпропетровську і Запорізьку області або до півдня, або до сходу.
Підхід у статті «Дзеркала тижня» має право на існування, але є ймовірність, що результати аналізу – це статистичний артефакт від кодування даних. Якби Дніпропетровську та Запорізьку області закодували за підходами КМІС чи ІС, результати могли б бути іншими. Відповідно довгий та пафосний текст, що південний регіон відрізняється і є якимось нетиповим, довелось б переписувати.
Власне, соціологи роблять різні вправи з даними та перевіряють влив різних параметрів перед тим, як писати свої тексти.
Невелика деталь. «Дзеркало тижня» згадує Луганську область як частину сходу. Наразі ця область майже повністю окупована Росією. Виникає питання, чи проводили там опитування і де саме (у декількох селах області?). Якщо не проводили, область залишили в описі методології випадково. На перший погляд, це дрібниця, може просто хибодрук. Але з таких дрібниць складається якість текстів.
Два питання в одному
Ставити питання в анкетах дуже складно. Є безліч методик і мотивацій. Все залежить від контексту. З усім тим, саме в опитуваннях громадської думки дуже важливо не мати кілька питань у тексті одного питання. Наприклад, не варто питати «Чи ви сьогодні рано прокинулись і чи ви в гарному настрої: так, ні, не знаю».
У «Дзеркалі тижня» можна побачити такі питання «У жовтні 2022 року президент Зеленський видав указ про неможливість проведення переговорів із Володимиром Путіним. Як ви вважаєте, чи потрібно скасувати цей указ для можливих мирних переговорів із президентом Росії?».
На перший погляд, питання нормальне. Це моделювання певного сценарію. Респондента запитують, як варто діяти в такому сценарії. Але проблема все одно залишається. Тут питають про указ Зеленського. Чи треба його скасувати? І водночас питають щодо указу про переговори з президентом Росії. Всі люди різні, респонденти різні, і у кожного є своя емоційна чи когнітивна реакція.
Хтось погано реагує на Зеленського і скаже, що його укази треба скасувати. А хтось реагуватиме саме на згадку президента Росії. Такі питання не є «надійними» (в соціологічному сенсі цього слова – ми не зможемо нормально відтворити результат і отримати схожі відповіді в іншій випадковій вибірці, бо розподіл того, хто як зрозуміє питання, невідомий).
Також закину сюди дрібне спостереження, що сама термінологія в питаннях не є узгодженою. Іноді в питанні написано «Зеленський», а іноді «керівництво України». Іноді «Путін», а іноді «президент Росії».
Загалом, це не дуже страшно. Але зазвичай соціологи намагаються використовувати однакові терміни, щоб уникнути когнітивних упереджень чи різких емоційних викривлень. Не варто лишати шанс респонденту дати якусь викривлену відповідь.
Використання неоднозначних слів
Великі сумніви у мене викликає саме питання «Як ви вважаєте, чи соромно нині, під час війни, бути ухилянтом?». Саме слово «ухилянт» зараз не є терміном, які всі розуміють однаково. Для когось це жаргон, для когось аморальна людина, а для когось – антисистемна людина, яка негативно реагує на умовну «злочинну владу».
У ситуації, коли люди мають різне розуміння слів, кожен відповідатиме про щось своє. Відповіді будуть ненадійні.
Так само і слово «соромно» може мати різні значення для різних людей. Зазвичай соціологи уникають таких слів, за винятком, коли відбувались спеціальні експерименти та обґрунтування (наприклад, Роналд Інглхарт відомий тим, що опитував людей «у лоба», наскільки вони щасливі. Але робив це з серйозним методологічним і статистичним обґрунтуванням).
Шкали відповідей
Майже на кожне питання в дослідженні «Дзеркала тижня» шкала відповіді складається з трьох пунктів: «так»–«ні»–«важко відповісти», «варто»–«не варто»–«важко визначитись», «згодні»–«не згодні»–«важко відповісти».
Дуже дивний вибір шкали. Майже всі методики з оцінки політик, які я знаю, використовують шкали від 1 до 5 чи шкали від 1 до 7. Це може бути шкала Лайкерта чи шкала Терстоуна.
Такі шкали більш чутливі, адже думки людей це часто спектрум. Чи соромно бути ухилянтом? Може трохи й соромно, а може й дуже соромно. Крім того, що ці шкали ближчі до реального способу мислення людей, також їх простіше використовувати для статистичного аналізу (наприклад, порівнювати між регіонами).
Якщо ж соціологи хочуть використовувати багато шкал «так»–«ні», це часто робиться для створення спеціальних індексів. Наприклад, якщо я відповів «так» чотири рази, а ви відповіли «так» нуль разів, то ми можемо порівнювати ці дані і тестувати гіпотези, звідки між нами різниця.
Приклад: «Як ви вважаєте, чи настав час для початку офіційних мирних переговорів України та Росії»?
Шкала Лайкерта
Варіанти відповідей:
1. Абсолютно не згоден.
2. Не згоден.
3. Як згоден, так і не згоден.
4. Згоден.
5. Абсолютно згоден.
6. Важко відповісти.
Респондент обирає одну з відповідей, яка найкраще відображає його думку.
Шкала Терстоуна
Твердження:
1. «Час для мирних переговорів давно настав».
2. «Ще зарано починати мирні переговори».
3. «Мирні переговори можуть початися найближчим часом».
4. «Не варто починати мирні переговори найближчим часом».
5. «Важко відповісти»
Читати більше Згорнути
Немає першоджерела та опису методології
Ось цей пункт дуже дивний. В усіх тренінгах з медіаграмотності та розмовах про «погану соціологію» завжди акцентується, що треба мати посилання на першоджерело. Зараз мова йде про якісь графіки та цифри, які ніхто, крім авторки статті, не бачив.
Немає посилання на дослідження, на сайті «Центру Разумкова» (виконавець польових робіт) цього дослідження також немає (станом на 17 липня). Неможливо ознайомитись з описом методології, описовими статистиками, звірити повний звіт з інтерпретаціями журналістів «Дзеркала тижня».
Це насправді настільки базова річ, що я навіть не відразу звернув на це увагу.
Інтерпретації даних і концептуальні неточності
У цій частині про те, як автори невірно розуміють дані чи посилання, невірно інтерпретують дані, говорять щось антинаукове.
Неправильний переказ даних про довіру
У вступі до тексту авторка цитує соціологічне дослідження групи Рейтинг про зниження довіри населення до президента України Володимира Зеленського.
«…починаючи від кухні простого українця, до якого щовечора у своїх відеопосланнях звертається президент Володимир Зеленський (рейтинг довіри до глави держави за два роки знизився на 30%)».
Не дуже зрозуміло, навіщо читачеві відразу казати, що рейтинг до президента впав. Можливо, авторка хотіла зафреймити читачів. 30% – це багато чи мало? Лінк, яким пролінковане слово «рейтинг» у цьому реченні, веде читача на розмову з соціологом Олексієм Антиповичем. У ній йде мова про те, що довіра до Зеленського під час війни значно виросла – до 90%, а потім впала до 60%. Це все одно високий рівень довіри, більший, ніж до війни, і не можна казати, що президент нелегітимний.
Виходить дивно. В оригіналі соціолог цілий абзац доносить думку, що падіння є, але довіра все одно нестандартно висока. А в статті читачам говорять, що довіра впала. Це дуже різний тон, у читачів Антиповича та «Дзеркала тижня» залишаться дуже різні відчуття від прочитаного.
Неправильний переказ міжнародного опитування
Цитата зі статті ДТ: «…а також псевдосоціології, згідно з якою «майже кожен другий українець згоден на втрату захоплених Росією земель в обмін на «свободу вибору» вступу до НАТО та ЄС, збереження армії й незалежності – ECFR».
Це викривлена інтерпретація. Посилання, яким лінкує автор цю цитату, веде на дослідження Івана Крастева, відомого політолога та визнаного в Україні інтелектуала. Його дослідження включає понад 19 000 респондентів із різних країн, включно з Україною. В ньому чітко артикулюється, що війна в Україні важлива, що є потреба в зброї, що українці все ще вірять у перемогу. Українцям важливий суверенітет, і деякі питання формулювалися спеціально для перевірки гіпотез про цінність суверенітету. Ніякого меседжу про «в обмін на» в оригіналі тексту не було.
Власні думки без прив’язки до даних-1
Цитата зі статті ДТ: «Можливо, тут знову варто згадати, що війна 2014-го почалася саме на сході. І за десять років драми, яку переживають розкидані по всій країні жителі цього регіону, в них стерлися будь-які відчуття щодо слів російського диктатора. Залишився тільки біль».
Загалом, соціологи постійно використовують дуже просту методику. Вони питають місце походження респондента. Якщо респондент зі східних регіонів, а тепер проживає, наприклад, у Києві чи Львові, це можна зберегти в базі даних опитування і робити статистичні порівняння.
Чи правда «розкидані по всій країні» мають подібні відповіді? Чи вихідці сходу у Києві відрізняються від вихідців сходу у Львові? І взагалі, як саме вони вимірювали «біль» та «відчуття» щодо диктатора? Наприклад, компанія Градус регулярно проводить опитування і питає які відчуття та емоції викликала певна подія чи особа. В принципі це реально зробити, але тут авторка просто говорить пафосні речення без прив’язки до реальних даних.
Власні думки без прив’язки до даних-2
Цитата зі статті ДТ: «До речі, саме схід (13%) і південь (10%) лояльніші до фіксації кордону по лінії фронту. Але мотивація тут навряд чи може бути однаковою. Схід просто втомився від 10-річної війни, а південь досі плекає ілюзії, що з Путіним можна домовитися, якщо піти на певні поступки».
Знову ж таки авторка статті наводить порівняння півдня та сходу у своїх даних, але потім говорить речі, які в даних відсутні. Що означає «Схід просто втомився» з соціологічного погляду? Чи авторка наводить хоч одну «шкалу втоми», чи є якісь докази, що «втома» має більше вираження серед респондентів зі сходу проти респондентів з центру?
Авторка статті стверджує, що схід та південь різняться тим, що на сході є питання «втоми», а на півдні є питання «ілюзії» щодо Путіна. Чи є хоч одна таблиця чи графік, де ці два регіони порівнюються за параметрами втоми чи ілюзій? Таких даних у статті немає. Авторка просто на ходу вигадала та навʼязала читачам власні думки, які не ґрунтуються на даних.
Власні думки без прив’язки до даних-3
Цитата зі статті ДТ про південний регіон: «Адже річ не в тім, що він не піде проти Зеленського, а в тім, що він є досить лояльним до Росії. Не відчуваєте? І це не звинувачення, а заклик шукати причини».
Цікава гіпотеза. Чи регіон більш антизеленський чи проросійський? Це цікава дослідницька задача. Її можна перевірити. На жаль, у цьому дослідженні немає жодної спроби це зробити, тільки додумування без посилань на дані.
Дивний статистичний аналіз і статистичні артефакти
Точніше ніякого статистичного аналізу немає. Зазвичай, коли дослідники порівнюють різні групи (регіони), перевіряється статистична гіпотеза. У цьому випадку жодних статистичних тестів немає.
Не дуже зрозуміла причина, чому взагалі треба порівнювати регіони між собою? Авторка посилається на теорію соціолога Євгена Головахи про амбівалентність, але вона притаманна всім регіонам. Також авторка сама пише, що у випадку з оцінкою ухилянтів грає роль вік: «37% відсотків від 60+ вважають, що бути ухилянтом соромно».
Виходить, що статистично на оцінку ухилянтів впливає саме вік. Відповідно, якщо в різних регіонах і відмінна вікова структура, то саме це пояснюватиме відповіді респондентів.
Шукати правильну причину (чи регіон, чи вік, чи амбівалентність, чи вплив влади, чи вплив медіа) і є задача статистичного аналізу. Існує відома фраза «кореляція не означає причинно-наслідкового зв’язку». Але в цьому випадку «кореляція не означає кореляції». Авторка побачила якісь тенденції у даних і не поставилась до них критично, але написала великий текст про регіони, який можливо треба буде повністю переписати, якщо зробити декілька простих кроків.
Незрозумілий опис з ухилянтами
У тексті зустрічаються дивні речення, з яких важко зрозуміти, що ж відбувається в даних: «на півдні 13% опитаних заявили, що в їхньому оточенні майже всі є ухилянтами» і «на заході переважають люди, в оточенні яких більшість намагається всіма способами ухилитися від служби, – 17%».
Не точно, але скоріш за все це означає, що у респондентів є «меншість в оточенні», «більшість в оточенні» і «майже все оточення». І люди відповідали про відсотки по кожній категорії. Але я не знаю точно, бо звіт дослідження не опублікований і звіритися немає можливості (станом на 17 липня).
Стилістична дрібниця, але…
Цитата зі статті ДТ: «основна частина пасіонаріїв-добровольців або тих, хто вимушено до них приєднався, – на фронті. Вивчити думку армії, яка несе на собі весь тягар війни й має право якщо не вирішального, то найбільш значущого голосу щодо переговорів із Росією, нині неможливо».
Тут відразу два тригери для соціолога. Перший – це слово «пасіонарії». Це слово належить до застарілих антинаукових теорій і додавати його до серйозного тексту, який спирається на соціологічні дані чи теорії, дуже дивно.
Другий тригер – це думки про неможливість робити опитування в армії. Насправді опитування в армії робити можна, але це дуже складно і це має певний рівень секретності. З усім тим казати «неможливо» – це неточно.
Загальні проблеми з наративом
Невдала аналітична рамка
Авторка статті з одного боку дуже багато пише про унікальність півдня, з іншого – про амбівалентність відповідей (навіть долучила думки поважного експерта Євгена Головахи). Проблема в тому, що ці два пояснення є несумісними.
Або мова про те, що є універсальна складова української культури – останні 30 років українці регулярно дають амбівалентні відповіді про політику та економіку. Або про те, що універсального нема, а є окремі регіони і їх треба розуміти. Так, можна спробувати поєднати ці підходи. Наприклад, можна писати, що чомусь саме на півдні амбівалентність проявляє себе сильніше. Але авторка туди не йде і дані глибоко не аналізує.
Діагноз без даних
Чомусь авторка не аналізує дані, щоб пояснити, а що саме в них відбувається. Їй не цікаве питання «чому». А чому південь інакший? Це, тому що там інша вікова структура (авторка побіжно згадує вік), чи тому що там якась особлива амбівалентність, чи тому що там є російська пропаганда, чи тому що там недбало працює українська влада?
Причин може бути багато. І саме тут потрібні дані. Спираючись на опитування, таблиці, графіки, можна було б показати причину. Але ні, авторка сама ставить діагнози без опори на дані.
Внутрішні неузгодженості
Цитата про південний регіон: «Адже річ не в тім, що він не піде проти Зеленського, а в тім, що він є досить лояльним до Росії. Не відчуваєте? І це не звинувачення, а заклик шукати причини. Невідкладно дізнаватися, чим дихає регіон, працювати з ним, допомагати, чесно говорити про все. Тобто стати сильною державою, а не залишатися кволою владою, яка думає виключно про другий термін».
Ця цитата гарно ілюструє загальний наратив статті – влада погана, але ми це знаємо не з досліджень чи даних, а з позиції авторки. В цьому абзаці є внутрішня суперечність. Якщо погана влада дійсно думає тільки про другий термін, тоді вона як раз працює з регіоном на підсилення власного іміджу. А якщо – як каже авторка – влади там немає, вона не дізнається, чим дихає регіон, значить, прямо зараз вона не веде там електоральної боротьби.
Висновки без посилань на дослідження-1
У висновках до статті авторка пише: «У держави немає виразної інформаційної політики, що ґрунтується на реальності, а не на її замовчуванні». Звідки взялась теза про інформаційну політику? Чи був хоча б один графік на цю тему?
Висновки без посилань на дослідження-2
У висновках «А не просто затягувати повідець військових адміністрацій на шиї громад, щоб одержати в одноосібне користування місцеві бюджети. Це не про регіональну політику єдиної держави й точно не про перемогу». Звідки раптом взялась теза про місцеві бюджети та регіональну політику? Якби авторка показала дані, з яких випливає, що невдала політика з місцевими бюджетами призвела до антивладних настроїв і бажання вести переговори з Росією, це було б дуже цінно. Але ж таких даних у статті немає, це просто позиція, не привʼязана до дослідження.
Відповідальність
Наостанок не можу втриматись і зверну увагу ще на дві цитати зі статті. Перша: «…цифри, які одержав Центр Разумкова під час соціологічного опитування, проведеного з 20 до 28 червня 2024 року на замовлення ZN.UA».
Авторка прямо пише, що замовником дослідження є видання «Дзеркало тижня». В професійній соціологічній групі Snobbish Sociologist представник Центра Разумкова підтвердив, що саме замовник робив анкету, але соціологи давали свої поради та редагували частину питань. На мою думку, саме соціологи зробили свою частину роботи добре. Вони отримали анкету замовника, запропонували правки, потім працювали з тим, що затвердили. Це типова ситуація.
А ось авторка в статті почала віддалятись від власної анкети та зазначає: «Тож соціологи поставили їм таке запитання:», або ж «Тут, безумовно, близько стоїть запитання про те, що наші люди розуміють під перемогою, – його соціологи цього разу не ставили». З цих цитат читач може подумати, що саме соціологи визначали, які питання ставити, а які не ставити.
Але ж ми знаємо, що замовником та автором анкети було саме «Дзеркало тижня». Дистанціювання та перекидання відповідальності за дані на соціологів виглядають для мене дивно.
Висновок
У попередньої «соціологічної» та скандальної статті «Дзеркала тижня» я нарахував 21 критичне зауваження. До цієї статті – всього 19. Власного рекорду ДТ не побило, але все одно це надзвичайно велика цифра.
Зазвичай, коли соціологи критикують дослідження, мова йде про три-чотири зауваження, частина з яких є питаннями смаку чи наукової школи.
У цьому ж випадку мова і про невірне трактування чужих досліджень, і дивну методологію та помилки у власній анкеті, і невірні інтерпретації, і навіть додрукування та написання тексту, не спираючись на дані, а тільки на власну ідеологічну чи світоглядну позицію авторки.