2018. már 06.

Megismételhető-e a tudomány?

írta: BME FTT
Megismételhető-e a tudomány?

A megismételhetőség problémája, vagyis az, hogy a tudományos eredmények megismétlése során bizonyos arányban nem sikerül reprodukálni az eredeti megállapításokat, a 2010-es évek óta egyre több fórumon van jelen. Egyesek már a reprodukálhatóság kríziséről beszélnek, melyről konferenciákat, workshopokat szerveznek, beszélgetéseket kezdeményeznek a különböző területek tudósaival és folyamatosan publikálnak a kérdésben, feltárva az okokat és megmutatva a lehetséges megoldásokat.

replication.jpg

2015-ben jelent meg a Science nevű folyóiratban Brian Noseknek és munkatársainak tanulmánya, amely akkor úgy tűnt, megrendíti a pszichológia kísérleti alapjait. Kutatásukban 98 cikk eredményét ismételték meg (kettőt közülük kétszer is), de kevesebb mint a fele, csak 39 vezetett ugyanarra az eredményre, mint az eredeti közlemények. Az írások olyan népszerű és nagy publicitást kapó témákat öleltek fel, mint a gyerekek és felnőttek reakciói félelmetes ingerekre vagy az, hogy hogyan lehet hatékonyan számtant tanítani. Világszerte nagy viták indultak a kérdésben, 2016-ban pedig érkezett egy válasz is. Gary King és Daniel Gilbert megismételték a 98 vizsgálatot és arra jutottak, hogy rengeteg gond volt Nosekék kísérletével. Ezek között szerepelt, hogy az adatok módosítása már olyan mértéket öltött, miszerint nem is volt várható, hogy reprodukálhatóak legyenek a kiválasztott kísérletek. De nem csak a pszichológiának kellett szembenéznie hasonló gondokkal, az orvostudomány területén is találunk példákat. 2011-ben a Nature Reviews Drug Discovery-ben jelent meg egy, az ún. gyógyszer-támadáspontok azonosítását[1] végző kutatások megismételhetőségével kapcsolatos írás. Az elemzett cikkek kétharmadának eredményét nem lehetett reprodukálni. A kudarc aránya még ennél is nagyobb volt egy rákkutatásokat vizsgáló publikációban. Összesen 53, új és ígéretesnek tűnő tanulmányt ismételtek meg, amelyek közül mindössze 6 bizonyult reprodukálhatónak.

 

Mik lehetnek az okok?

Először is érdemes megjegyezni, hogy a reprodukálhatóságot ellenőrző vizsgálatok során a tudósok sokszor találkoznak azzal, hogy az eredeti közleményekből alapvető információk hiányoznak. Mielőtt bárki arra gondolna, hogy a tudósok szántszándékkal titkolnak el tudnivalókat: ez általában nem igaz. A kísérletek végrehajtása és az utána történő leírása között előfordulhatnak egyszerűsítések, de olyan tapasztalatok, sajátos körülmények is, amelyek a kísérlet sikeréhez szükségesek, de a publikálás szigorú követelményeihez már nem illeszkednek, vagy egyszerűen terjedelmi korlátok miatt nem férnek bele az írásokba. Ilyen esetekben az ellenőrizendő eredmény megismétlésénél két dolgot tehet valaki: vagy megkeresi a cikk szerzőit és velük együtt végzi el újra a kísérletet vagy reprodukálhatatlannak minősíti azt. Az utóbbi esetben az a kijelentés válik kérdésessé, hogy valóban megismételhetetlen az eredmény, az előbbi esetben pedig még minden alaposság ellenére sem garantált a siker.

screen-shot-2015-03-13-at-11_21_11.png

A természet, az emberi test és psziché működése ugyanis rendkívül komplex, így ennek kísérletekben való vizsgálata óhatatlanul magában hordozza az esélyt, hogy a labor lekorlátozott körülményei nem fogják lefedni az összes létező lehetőséget. Ráadásul a kutatásokban alkalmazott (bio)statisztikai módszereknek is megvannak a maguk hátrányai, kezdve a hipotézisek tesztelésének hibáitól, a p-érték bizonytalanságán át, egészen addig a problémáig, hogy vajon hogyan lehet “pusztán” számadatokból eljutni a természetre vonatkozó valós törvények leírásáig.  (Ezekről részletesen Singer Júlia biostatisztikus írt cikksorozatot a Medical Online hírportálon.)

Természetesen az adatok szándékos torzítását sem lehet kizárni, ami a legkisebb módosításoktól kezdve az egész kísérlet meghamisításáig terjedhet. A kisebb torzításokat inkább afféle ”kozmetikázásnak” lehetne hívni, általában csak egy-egy adat szépítése a cél, hogy a cikket biztosan elfogadják. Ezek viszont a megismételhetőség igazolásánál már gondot jelenthetnek. És a legritkább esetekben, de a szándékos csalásra is vannak példák (Diederik Stapel és Fudzsii Jositaka, illetve egy egészen friss eset, Brian Wansink). A botrányok hátterében a szakértők szerint a kutatókra nehezedő publikációs nyomás állhat. Az előmenetelük, szakmai megbecsültségük, anyagi támogatásuk is mind a cikkeik számában rejlik, ami néhány tudóst erre a tévútra vihet.

 

Ezek szerint megbízhatatlan a tudomány?

A megismételhetőség problémája komoly kétségekre adhatna okot. Ha ezzel a ”kritériummal” ennyi gond van, akkor talán nem is kellene bízni a tudományban? Ez a kijelentés aligha állja meg a helyét. Általánosságban elmondható, hogy az ígéretes új eredményeket – amelyek például egy betegség jobb megértéséhez vezethetnek – éveken keresztül tesztelik, ellenőrzik egymástól teljesen függetlenül működő laborok, így a kérdéses eredmény előbb-utóbb az őt megillető helyre kerül: módosításokkal elfogadják vagy cáfolják. Ráadásul a tudománynak számtalan sikert is köszönhetünk, a korábban említett rákkutatásokhoz tartozik az is, hogy 2011 óta is változatlan ütemben jelennek meg a daganatos betegségek kezelésére hatékonyan alkalmazható gyógyszerek.

A tudósok pedig tisztában vannak a gondokkal és próbálják orvosolni is a helyzetet. A Transparency and Openness Promotion (TOP) Committee célja, hogy konkrét megoldásokat kínáljon a problémára. A kidolgozott 8 irányelv között szerepel a hivatkozási standardok továbbfejlesztése (nemcsak a cikkek, hanem pl. egy-egy programkódnak is legyen hivatkozása), a kutatás során használt adatok, módszerek, anyagok és elemzések átláthatósága és nyomon követhetősége, valamint egy-egy kísérlet megismétlésének propagálása.

reproducibility-small-300x203.jpgBár sokan támogatnák a nem megismételhető kísérleteket publikáló tudósok megbüntetését, a rákkutató Elizabeth Iorns szerint inkább jutalmazni kellene azokat, akik lehetővé teszik a kísérletek független megismétlését. Iorns létrehozta a Reproducibility Initiative-ot is a kutatási eredmények ellenőrzésére. A tudósok elküldhetik tanulmányaikat a szervezetnek, majd az intézmény független szakmai bizottsága kiválasztja, hogy melyeket érdemes megvizsgálni. Az elemzés után kapott eredményeket visszaküldik a tanulmányok szerzőinek, akik utána eldönthetik, hogy akarják-e publikálni azokat.

A felsorolt kezdeményezések csak néhány törekvést mutatnak a megismételhetőség problémájának megoldására. A nyílt kommunikáció, a mindenki számára elérhető adatbázisok, az új standardok bevezetése és megismertetése a tudósok új generációjával is az általános célok között szerepel, amikre a tudomány képviselői is igyekeznek egyre nagyobb hangsúlyt fektetni. Erre mi sem jobb példa, mint a poszt elején említett pszichológiai kutatások kapcsán kialakult vita. Bár King szerint a 2015-ös tanulmányban több ponton hibáztak, nagyszerűnek véli, hogy Nosekék közzétették az adataikat, ezáltal teret engedve egy ismétlő vizsgálatnak. Abban mindketten egyetértettek (és értenek ma is), hogy ennek az attitűdnek kellene elterjednie a tudományban.

 

Forrás:

[1] A tanulmányban vizsgált cikkek célja olyan betegségek kialakításáért felelős DNS-szakaszok, fehérjék, stb. azonosítása, amelyekre később gyógyszereket lehetne fejleszteni.

 

Szólj hozzá

szumma megismételhetőség science studies