Un amplu pachet de studii publicat în Nature pune sub lupă una dintre cele mai sensibile întrebări din cercetare: cât de des pot fi reproduse și replicate rezultatele din științele sociale și comportamentale. Concluzia nu este nici catastrofală, nici liniștitoare: o parte importantă a studiilor rezistă, dar multe altele se clatină atunci când sunt verificate serios.

În ultimii ani, tot mai mulți cercetători au început să se întrebe dacă unele dintre concluziile celebre din psihologie, economie, științe politice sau alte domenii care studiază comportamentul uman chiar pot fi obținute din nou atunci când datele și metodele sunt verificate atent. Acum, un set amplu de lucrări publicat de Nature încearcă să dea un răspuns mai solid, prin evaluarea a sute de articole și a zeci de afirmații științifice din aceste domenii.

Una dintre analize a verificat reproductibilitatea unui eșantion stratificat de 600 de articole publicate între 2009 și 2018 în 62 de reviste din științele sociale și comportamentale. Aici, „reproductibilitate” înseamnă ceva relativ simplu: dacă ai acces la aceleași date și aplici aceeași analiză, obții același rezultat? Studiul arată că disponibilitatea datelor rămâne o problemă serioasă: doar 144 de articole, adică 24%, aveau datele puse la dispoziție pentru verificare, iar pentru alte 38 cercetătorii au reușit să reconstruiască seturile de date din alte surse. În ansamblu, autorii spun că reproductibilitatea a fost mai bună în studiile mai recente și în revistele care cer în mod explicit partajarea datelor.

O altă analiză s-a uitat la replicabilitate, adică la situația în care un studiu este refăcut printr-o nouă colectare de date, nu doar prin rerularea acelorași fișiere. Aici concluzia a fost și mai discutată: Nature rezumă rezultatul spunând că aproximativ jumătate dintre efectele analizate s-au replicat în același tipar ca în studiile originale. Cu alte cuvinte, dacă iei unele rezultate importante din literatura despre comportamentul uman și le testezi din nou, o parte semnificativă nu mai arată la fel de convingător.

Un al treilea fir al acestui proiect a testat robustețea analitică a 100 de afirmații din științele sociale și comportamentale. Aici ideea a fost alta: chiar dacă pornești de la aceleași date, rezultatul poate depinde de alegerile făcute de cercetător în analiză. Studiul a arătat că doar 34% dintre reanalize au potrivit îndeaproape rezultatele originale, deși 74% au ajuns totuși la aceeași concluzie generală. Asta sugerează că multe lucrări nu se prăbușesc complet, dar sunt mai fragile decât par atunci când sunt prezentate publicului ca rezultate ferme și definitive.

Pentru publicul larg, toate aceste distincții tehnice pot părea abstracte, dar miza este foarte concretă. O bună parte din ceea ce auzim despre educație, comportamente sociale, decizii politice, efectele rețelelor sociale, fericire, productivitate sau biasuri cognitive vine din astfel de domenii. Dacă rezultatele sunt fragile, atunci și recomandările, politicile sau interpretările construite pe ele pot fi mai puțin solide decât credem.

Important este însă că pachetul publicat de Nature nu susține că „știința nu funcționează”. Dimpotrivă, mesajul mai nuanțat este că știința funcționează tocmai atunci când își verifică singură rezultatele, chiar și cu riscul de a descoperi probleme. Un editorial publicat odată cu aceste lucrări spune explicit că mai multă reflecție critică și mai multă testare a rezultatelor pot duce la o știință mai bună. Cu alte cuvinte, faptul că vedem aceste fisuri nu este doar un semn de slăbiciune, ci și unul de maturizare a cercetării.

Există și câteva semne bune. Studiul despre reproductibilitate arată că lucrările mai noi și revistele care impun partajarea datelor tind să stea mai bine. Asta sugerează că regulile mai stricte privind transparența, accesul la date și verificarea codului de analiză chiar pot îmbunătăți calitatea cercetării. În paralel, alte analize din același pachet, mai ales pe economie și științe politice, au găsit niveluri mai ridicate de reproductibilitate și robustețe decât în alte zone ale științelor sociale.

Poate cea mai utilă concluzie pentru cititorul obișnuit este aceasta: atunci când vede un titlu de tipul „un studiu arată că…”, ar trebui să fie puțin mai prudent. Un singur studiu nu este adevărul final, mai ales în domenii care lucrează cu realități foarte complicate, cum sunt comportamentele umane și sociale. Ceea ce contează cu adevărat este dacă un rezultat poate fi verificat din nou, cu date accesibile, metode clare și eventual în mai multe contexte. Exact asta încearcă să măsoare noul proiect din Nature.

Pe scurt, mesajul nu este că ar trebui să ne pierdem încrederea în știință, ci că ar trebui să înțelegem mai bine cum se construiește ea. Știința nu devine credibilă pentru că produce rezultate spectaculoase, ci pentru că acceptă să fie verificată, contrazisă și refăcută. Iar în științele care încearcă să explice oamenii și societatea, această verificare pare să fie mai necesară ca oricând.