Safngreining

Safngreining er tegund gagnagreininga þar sem niðurstöður nokkurra rannsókna, sem hver um sig er ekki tölfræðilega marktæk, eru sameinaðar og rannsakaðar líkt og um eina rannsókn væri að ræða.

Til dæmis hafa niðurstöður ganzfield rannsókna sveiflast mikið sem bendir til þess að niðurstaðan fari töluvert eftir því hver framkvæmir rannsóknina. Á árunum 1974 til 1981 voru 42 ganzfield rannsóknir kynntar eða gefnar út. Charles Honorton heldur því fram að 55% þessara rannsókna hafi fundið sannanir fyrir tilvist einhvers áhugaverðs, jafnvel dulræns. Það er að segja, niðurstöður rétt rúmlega helmings rannsóknanna voru tölfræðilega marktækar og ólíklegar til að breytast. Niðurstöðurnar gætu komið til útaf fjarskynjun en þau gætu einnig orsakast af upplýsingaleka eða einhverjum öðrum göllum á rannsóknunum.

Árið 1981 eða 1982 send Honorton allar rannsóknirnar til efahyggjumannsins Ray Hyman sem tók til við að gera safngreiningu á þeim. Hyman komst að þeirri niðurstöðu að rannsóknirnar gæfu ekki tilefni til að trúa á fjarskynjun, aðallega vegna fjölda galla sem hann fann í rannsóknunum sjálfum. Hann hreinsaði gögnin þar til hann var með 22 rannsóknir frá átta rannsóknaraðilum (746 tilraunir sem gáfu 48% af grunngögnunum). Í þessum rannsóknum fann hann 38% jákvæð svör, en eftir að taka hlutdrægt val og gæði rannsóknanna inn í myndina reiknaði hann út að 31% svaranna, en ekki 55%, væru jákvæð.

Að mati Hyman studdust 58% rannsóknanna við ófullnægjandi slembitöluval. Hann fann einnig vandamál vegna upplýsingaleka (herbergi voru ekki hljóðheld, rannsakendur gátu heyrt í vídeóupptökum) og vegna tölfræðiaðferða sem stuðst var við. Hann skrifar:

Að því ég best veit var ég fyrstur til að beita safngreiningu á dularsálfræðigögn. Ég gerði safngreiningu á á upphaflegu ganzfield rannsóknunum sem hluta af rýni minni á þeim rannsóknum. Greining mín sýnir að vissir gallar, sérstaklega varðandi slembi, tengdust niðurstöðunum. Jákvæðar niðurstöður fylgdu ófullnægjandi vinnubrögðum. Til að svara gangrýni minni framkvæmdi Charles Honorton sína eigin safngreiningu á sömu gögnum. Hann tók gallana einnig inn í myndina en mat þá öðruvísi en ég. Í greiningu hans var ekki fylgni milli galla í rannsóknum og niðurstöðum þeirra. Þetta kom til að hluta vegna þess að Honorton fann fleiri galla í misheppnuðum rannsóknum en ég. Hins vegar fann ég fleiri galla í jákvæðum rannsóknum. Væntanlega töldum bæði ég og Honorton að við værum að meta rannsóknirnar á hlutlausan máta. Samt enduðum við báðir með niðurstöður sem styðja fyrri skoðanir okkar. (Hyman 1996)

Fimmtán rannsóknanna birtust í fræðiritum, 20 voru samantekt á greinum sem höfðu verið kynntar á fundi Parapsychological Association, fimm voru “published monographs” og tvær voru undergraduate honors theses í líffræði. Þegar Honorton framkvæmdi safngreiningu sína valdi hann 28 af þessum rannsóknum. Carl Sargent framkvæmdi níu þeirria, Honorton fimm; John Palmer fjórar; Scott Rogo fjórar; William Braud þrjár og Rex Stanford framkvæmdi þrjár. Þriðjungur gagnanna kom frá Sargent.

Í safngreiningu sinni á þessum 28 rannsóknum komst Honorton að þeirri niðurstöðu að í stað þess að fá 25% rétt svör frá móttakendum eins og gera mætti ráð fyrir væri raunveruleg niðurstaða 34% rétt svör – niðurstaða sem ekki væri hægt að útskýra sem tilviljun, þ.e.a.s. þetta var tölfræðilega marktæk niðurstaða.

En Hyman bendir á lykilatriði varðandi safnrannsóknir, trúaðir og efahyggjumenn meta rannsóknirnar alls ekki á sama hátt, jafnvel þó þeir haldi að þeir séu óhlutdrægir. Honorton tók undir það með Hyman að það væru einhver vandamál með sumar rannsóknirnar og að ekki ætti að draga veigamiklar ályktanir út frá þeim fyrr en ítarlegri rannsóknir hefðu farið fram, rannsóknir sem væru vel hannaðar og stýrðar.

Hyman taldi ekki að hægt væri að útskýra gögnin með skúffuáhrifunum, en hann gæti hafa haft rangt fyrir sér. Það er engin stöðluð aðferð til að ákvarða hve mörgum rannsóknum þarf að sópa undir teppið til að ógilda safngreiningu. Tölfræðingar beita mismunandi reikniritum og fá út töluvert mismunandi niðurstöður. Komast mætti hjá skúffuáhrifunum með því einfaldlega að framkvæma stærri rannsóknir með strangari stýringu.

Dularsálfræðingurinn Dean Radin er afar hrifinn af safngreiningu. Í bók sinni, The Conscious Universe, notar hann niðurstöður safngreininga til að sýna fram á tilvist fjarskynjunar. Um ganzfeld rannsóknirnar heldur hann því fram að niðurstöður Honorton sé ekki hægt að útskýra með skúffuáhrifunum. Honorton hafi gert sína eigin greiningu á skúffuáhrifnum og komist að þeirri niðurstöðu að “það þyrftu að vera 423 rannsóknir með að meðaltali engin áhrif sem ekki er vitað um til að útskýra megin heildarniðurstöðu rannsóknanna 28 sem “data selection” … um fimmtán óútgefnar rannsóknir fyrir hverja sem var gefin út” (Radin 1997). Aftur á móti sýnir önnur aðferð við að meta gögnin að einungis þarf 62 óþekktar rannsóknir undir teppinu, sem gerir einungis tvær fyrir hverja sem gefin var út (Stokes 2001). En í raun skiptir ekki máli hvaða tölfræðiaðferðir eru notaðar til að finna út hve margar rannsóknir þyrftu að hafa núllniðurstöður til að ógilda hópgreiningu. Þess má geta að árið 1975 tóku amerísku dularsálfræðisamtökin upp stefnu gegn valkvæmri birtingu á einungis jákvæðum niðurstöðum.

Susan Blackmore heimsótti rannsóknarstofu Carl Sargent og hafði þetta að segja:

Þessar rannsóknir sem litu svo vel út á pappírunum, voru í raun opnar fyrir svikum og villum á ýmsan máta og reyndar fann ég nokkrar villur og mistök við að fylgja aðferðum meðan ég var þarna. Ég komst að þeirri niðurstöðu að útgefnar skýrslur gæfu ranga mynda af tilraununum og að niðurstöðurnar væri ekki hægt að nota sem sönnunargögn fyrir fjarskynjun (psi). Að lokum gáfu rannsóknaraðilar og ég öll út mismunandi skoðanir okkar á atburðunum (Blackmore 1987; Harley og Matthews 1987; Sargent 1987). Aðal rannsóknaraðilarnir hættu alfarið í dularsálfræðinni.

Ég myndi ekki minnast á þetta niðurdrepandi atvik nema útaf einni ástæðu. Gögnin úr Cambridge rannsóknunum eru öll í samantekt Bem og Honorton án þess að vísað sé til heimilda. Af tuttugu og átta rannsóknum í samantektinni eru níu frá rannsóknarstofunni í Cambridge, fleiri en frá nokkurri annarri rannsóknarstofu, og þær höfðu næst mest áhrif á heildarniðurstöðu á eftir rannsóknum Honorton sjálfs. Bem og Honorton benda á níu rannsóknir komi frá einni rannsóknarstofu en þeir taka ekki fram hvaða. Enginn efi er settur fram, engar vísanir eru í rannsóknir mínar og enginn hefðbundinn lesandi gæti gefið sér að þriðjungur rannsóknanna í samantektinni væri svona umdeildur (“What can the paranormal teach us about Consciouness?” 2001)

Eðlisfræðingurinn Victor Stenger segir að hópgreining í dularsálfræði sé “vafasöm aðferðafræði … þar sem tölfræðilega ómarktækar niðurstöður úr mörgum rannsóknum eru sameinaðar eins og um væri að ræða eina vel hannaða rannsókn” (Meta-Analysis and the Filedrawer Effect”). Fræðilega væri hægt að framkvæmda hundrað rannsóknir með litlu úrtaki og allar með neikvæða niðurstöður en framkvæma safngreiningu sem úr kæmi tölfræðilega marktæk niðurstaða. Þetta ætti að minna okkur á að tölfræðilega marktækt þýðir ekki merkileg vísindi.

Skeptics dictionary: Meta-analysis

Þýðingin safngreining á meta-analysis sem hér er notast við er fengin úr læknablaðinu . Orðið allsherjargreining hefur einnig verið notað.