1. Jakson johtopäätös
Tässä jaksossa ei avata enää uusia kohdetason ratkaisulinjoja. Se tuo mukaan jotakin kylmempää, kovempaa ja epämukavampaa: säännöt, joiden alaiseksi teoria itse asetetaan. Jos EFT haluaa yhä kirjata jaksojen 8.4–8.11 punasiirtymäresiduaalit, jaetun peruskartan sulkeutumisen, rakenteellisen kerrostumisen, horisontin lähialueen hienorakenteet, rajalaitteiden kynnykset ja kvanttisuojakaiteet ”tueksi”, sen on ensin hyväksyttävä neljä yhteistä suojakaidetta: holdout-joukkojen arviointiperusteita ei saa säätää tulosten perusteella, sokkoutuksessa vastausta ei saa kurkistaa, nollatarkistukset eivät saa olla yhtä merkitseviä kuin päätulos, eikä putkienvälinen replikaatio saa jättää totuutta yhden analyysireitin yksinoikeudeksi. Ilman näitä neljää porttia osa 8 voi kaikesta loistokkuudestaan huolimatta jäädä vain selitysvoimaiseksi kertomukseksi. Vasta niiden läpäiseminen tekee EFT:stä ehdokasteorian, joka suostuu todella auditoitavaksi.
2. Kohdetason jälkeen tarvitaan vielä menetelmällinen pääportti
Jaksot 8.4–8.11 ovat jo tuoneet pöydälle kaikki kohdetason taistelukentät, joilla EFT haluaisi eniten voittaa ja joilla se myös haavoittuu helpoimmin: eri havaintomenetelmien dispersiovapaan yhteistermin, TPR:n pääakselin ja PER-residuaalit, kiertokäyrien, gravitaatiolinssien ja sulautumisten jaetun peruskartan, rakenteiden syntyhistorian, negatiivin ja ympäristötomografian, horisontin lähialueiden ja rajojen erottuvat tunnusmerkit, rajalaitteet ja vahvan kentän tyhjiön sekä kvanttien etenemisen ja viestintäkiellon suojakaiteen. Ei kuitenkaan riitä, että niistä vain kerrotaan, mitä mitataan, millainen tulos tukisi EFT:tä ja mikä aiheuttaisi rakenteellista vahinkoa. EFT:n kieli on itsessään hyvin selitysvoimaista, ja selitysvoimainen teoria ei pelkää eniten esimerkkien puutetta, vaan sitä, että esimerkkejä on niin paljon, että jokainen niistä voidaan sovittaa kertomukseen jälkikäteen.
Edeltä puuttuu vielä yksi pääportti: jokaisesta pisteitä tavoittelevasta tuloksesta on ensin kysyttävä, saavutettiinko se saman menetelmällisen suojakaidejärjestelmän alaisena. Vasta kun tämä portti on kirjattu näkyviin, seuraava kokonaiskirjanpito voi oikeutetusti erottaa ”suoran tuen”, ”tiukennuksen” ja ”rakenteellisen vahingon”. Muuten siitä tulee helposti jälkikäteen valittujen esimerkkien ansioluettelo.
3. Jakso ei lisää uusia koeperheitä, vaan täydentää auditointikuria
Jaksoa ei pidä kirjoittaa tilastotieteen oppikirjaksi. Se jäähdyttäisi osan 8 äkisti ja veisi sen sivuun varsinaisesta tehtävästään. Jakso 8.12 ei opeta lukijalle, mitä harjoitus- ja testijoukot, tilastollinen merkitsevyys, Bayesin tekijä tai mallikeskiarvo tarkoittavat. Se tekee vain yhden ilkeämmän asian: se kysyy, miten EFT estetään pettämästä itseään.
Jakson 8.12 neljä sääntöä eivät siis ole toisistaan irrallisia teknisiä toimia. Ne palvelevat yhtä yleiskuria: arviointiperusteet jäädytetään etukäteen; tulosten jälkeen niitä saa vain kirjata, ei muuttaa. Ennen päätuloksen näkemistä on määriteltävä, miten otos valitaan, mitkä kohteet kuuluvat pääotokseen, mitkä taajuuskaistat tai punasiirtymäkerrokset varataan holdout-joukoksi, mitkä ympäristömittarit tulevat pääanalyysiin, mitkä poissulkusäännöt ovat voimassa ja millä pisteytyssäännöillä tulos lasketaan osumaksi. Ilman tätä vaihetta holdout-joukko vuotaa harjoitusaineistoon, sokkoutuksesta tulee näytelmä, nollatarkistuksiksi valitaan helpoimmat tapaukset ja putkienvälinen replikaatio typistyy tilanteeksi, jossa sama vinouma ajetaan kahdesti.
Yhtä tärkeää on erottaa toimijoiden roolit. Monet osan 8 kokeista ja havainnoista sopivat luontevasti samaan perusrakenteeseen: ennusteryhmä julkaisee ennustekortin vain ympäristön, geometrian ja jäädytettyjen proksien perusteella; mittausryhmä poimii lukemat tietämättä, mitä kortissa lukee; ratkaisuryhmä vertaa ennusteita ja tuloksia vasta lopuksi ennakkorekisteröidyn pisteytystaulukon mukaan. Kaikkien ratkaisulinjojen ei tarvitse kopioida näitä kolmea ryhmää mekaanisesti, mutta rakenne muistuttaa jakson tärkeimmästä periaatteesta: ennusteen on tultava ennen kaunista kuvaa ja sääntöjen ennen kaunista kertomusta.
4. Ensimmäinen suojakaide: holdout-joukot – tuloksilla ei saa jälkisäätää arviointiperusteita
Holdout-joukko ei ole jaksossa 8.12 lempeä ”yleistymiskyvyn tarkistus”, vaan veitsi, joka estää jälkisäädön. EFT:n tavallisin virhe ei ole se, ettei signaalia nähtäisi lainkaan. Vaara alkaa, kun pieni suunta havaitaan ja sen jälkeen otosta, ympäristöluokitusta, kynnystä, taustamallia ja sovitusperhettä säädetään yhä uudelleen, kunnes vihjeestä kasvaa näyttävä kuva. Holdout-joukon tehtävä on sulkea tämä pakotie: arviointiperusteet saa määrittää harjoitusosassa, mutta holdout-osuutta ei saa ottaa takaisin korjaamaan jo esitettyä väitettä.
Kosmologiassa holdout-joukoksi voidaan varata punasiirtymäikkuna, lähdeluokka, taivaanalue, kartoitusversio tai jopa kokonainen riippumaton etäisyysketju. Äärimmäisen maailmankaikkeuden tutkimuksessa voidaan jättää sivuun tiettyjä kohteita, epookkeja, renkaan suuntasektoreita, sulautuvia galaksijoukkoja tai ympäristöluokkia. Laboratorio- ja kvanttiosuuksissa holdout-joukoksi voidaan puolestaan varata parametri-ikkuna, materiaaliluokka, kokonainen laite tai ryhmä kynnyksen lähellä olevia skannaustasoja, joiden tunnisteita ei ole avattu. Muoto voi vaihdella, mutta kurinalaisuus on yksi: holdout-joukko vain testaa; siitä ei syötetä tietoa takaisin säätöön.
Holdout-joukossa saatu tulos todella lisää EFT:n uskottavuutta vasta silloin, kun harjoitusaineistossa kerran nähty suunta ei vain ”näytä vähän samalta” uudessa aineistossa, vaan merkki säilyy, järjestys ei hajoa eikä arviointiperuste vaihdu. Jos jakson 8.4 yhteistermi todella on dispersiovapaa yhteinen pohjaväri, sen pitäisi säilyttää ainakin sama suunta ja sama aikaikkuna myös holdout-joukon taajuuksilla, tapahtumaikkunoissa tai asemilla. Jos jakson 8.5 TPR:n pääakseli todella selittää pohjavärin, yleisen α:n ei pitäisi vaihtua heti, kun siirrytään holdout-lähdeluokkaan tai -taivaanalueeseen. Jos jakson 8.6 jaettu peruskartta ei ole tapauskohtainen tilkkutäkki, jäädytetyn kartan ei pitäisi vaatia uutta korjauspakettia heti, kun se viedään holdout-kohteisiin. Jos suunta kääntyy, järjestys hajoaa tai otos on valittava uudelleen heti holdout-vaiheessa, tulos ei enää kuulu pääpäätelmään vaan korkeintaan vihjeeksi.
Lisäksi on sanottava suoraan, ettei holdout-joukoksi saa jättää vain ”helpointa läpäistävää osaa”. Jos teoria säästää loppuun puhtaimmat, tutuimmat ja visuaalisesti miellyttävimmät tapaukset mutta käyttää korkean riskin taivaanalueet, vaikeasti kalibroitavat taajuudet, monimutkaiset kohteet ja kynnyksen lähellä olevat parametri-ikkunat harjoitusvaiheen toistuvaan kokeiluun, holdout-joukko on jo saastunut. Aidossa holdout-joukossa on tietoisesti mukana myös ne yksiköt, jotka todennäköisimmin osoittavat väitteen vääräksi, sillä osan 8 tarkoitus ei ole nostaa voittoprosenttia vaan tehdä voiton ja tappion ehdot koviksi.
5. Toinen suojakaide: sokkoutus – ennusteen on puhuttava ennen kaunista kuvaa
Sokkoutuksen arvo ei ole muodollisessa ”tieteellisyydessä”, vaan siinä, että teoria pakotetaan lausumaan aidosti riskialtis väite etukäteen. EFT:n piirissä on liian helppoa lisätä selitys vasta kuvan näkemisen jälkeen: yhteistermi näyttää voimistuvan ympäristön mukana, joten sanotaan, että ympäristövahvistusta odotettiin alun perinkin; jokin vinouma näyttää vahvemmalta vain solmuympäristöissä, joten sanotaan, että runkoverkon kuuluikin toimia niin; kynnyksen jälkeen ilmaantuu tasanne, joten sanotaan, että juuri tältä kynnyksen diskreettiys näyttäisi. Jos näitä lauseita ei ole kirjoitettu ennen tuloksen näkemistä, ne eivät ole ennusteita vaan jälkikäteistä retoriikkaa.
Jakson 8.12 vaatima sokkoutus ei siis tarkoita vain tiedostonimien peittämistä tai otosluokkien sekoittamista. EFT:lle tärkeämpi on rakenteinen sokkoutus, jossa ennuste, mittaus ja ratkaisu erotetaan toisistaan. Ennustevaiheessa teoria saa kirjoittaa ennustekorttiin vain jäädytettyjen ympäristömittareiden, geometrian, materiaaliparametrien tai aiemman kirjanpidon perusteella, minkä luokan pitäisi olla vahvempi tai heikompi, odotetaanko samaa vai vastakkaista merkkiä, pitäisikö vaikutuksen säilyä dispersiovapaana ja pitäisikö sen näkyä samassa aikaikkunassa. Mittausvaiheessa signaalin poimivien tutkijoiden ei pidä tietää, mitä kortissa lukee. Ratkaisuvaiheessa kolmas osapuoli laskee osumat, vääränmerkkiset tulokset ja osumattomuudet vasta jäädytettyjen sääntöjen mukaan. Vasta silloin EFT ottaa aidosti riskin, että tulos kumoaa sen ennusteen.
Sokkoutuksen toteutus voi näyttää eri osa-alueilla hyvin erilaiselta. Jaksoissa 8.4 ja 8.5 voidaan sokkouttaa ympäristökerrostus ja lähdeluokkien tunnisteet; jaksoissa 8.6–8.9 runkoverkon suuntakenttä, sulautumisvaihe, kylmän täplän kerrostus, horisontin lähialueen suuntamalli tai kohdeluokitus; jaksoissa 8.10 ja 8.11 taas materiaalierä, kynnystaso, ajon järjestys, linkin puhtausluokka tai tieto siitä, kuuluuko parametri-ikkuna holdout-joukkoon. Muodon ei tarvitse olla sama, mutta kurin on oltava: ensin kerrotaan, mitä pitäisi tapahtua, ja vasta sitten katsotaan, tapahtuiko niin – ei niin, että ensin katsotaan, mitä tapahtui, ja väitetään sen jälkeen, että tulos oli tiedossa alusta asti.
Sokkoutuksella on vielä yksi helposti sivuutettu arvo: se pakottaa EFT:n erottamaan toisistaan etukäteen ennustettavan ja jälkikäteen selitettävän. Paperilla molemmat voivat näyttää siltä, että teoria ”osui oikeaan”, mutta niiden tieteellinen asema on täysin eri. Edellinen ottaa riskin ennen tulosta; jälkimmäinen etsii tuloksen jälkeen lauseen, johon havainto mahtuu. Jakso 8.12 suojaa nimenomaan edellistä, sillä vain se voi aidosti muuttaa teorian voittomahdollisuuksia.
6. Kolmas suojakaide: nollatarkistukset – artefakteja ei saa tulkita uudeksi fysiikaksi
Monet EFT:n ratkaisulinjat etsivät rakenteita, jotka ovat ”heikkoja mutta kurinalaisia”: dispersiovapaata yhteistermiä, ympäristömonotoniaa, samassa paikassa tapahtuvaa skaalautumista, kynnyksen jälkeistä tasannetta, ennustekortin osumaa ja eri havaintomenetelmien jaettua peruskarttaa. Koska tällaiset signaalit eivät tavallisesti ole määrältään ylivoimaisia vaan ilmenevät järjestyksenä, merkkinä, yhteisenä aikaikkunana, residuaaleina ja kerrostumisena, systemaattiset virheet, valintafunktiot, kalibrointidrifti, mallipohjan vinouma ja analyysiputkeen vakiintuneet käytännöt voivat myös jäljitellä niitä huomaamatta. Nollatarkistusten tehtävä on toimia näiden artefaktien tuomioistuimena.
Riittävän kovia nollatarkistuksia tarvitaan vähintään kahta tyyppiä.
- Rakennetta rikkovat nollatarkistukset: tunnisteiden permutointi, ajan kääntäminen, taajuuskaistojen ja asemien permutointi, taivaskartan kiertäminen, runkoverkon suuntien satunnaistaminen, kohdeidentiteettien sekoittaminen ja kynnysjärjestyksen uudelleenjärjestäminen. Niissä kysytään, palaako päätulos satunnaiseksi, kun EFT:n edellyttämä rakennesuhde rikotaan.
- Analyysiputken kontaminaatiota testaavat nollatarkistukset: kaistanpäästön häirintä, aikaleiman siirto, mallipohjan injektointi, satunnainen maski, näennäinen verrokki-ikkuna, sijaismateriaali, valekynnyksen skannaus, vastakkainen polariteetti ja akselin ulkopuolinen geometria. Niissä kysytään, pystyykö jokin tunnettu ei-fysikaalinen tekijä tuottamaan putkessa päätuloksen veroisen merkitsevyyden.
Nollatarkistus ei ole sivuroolissa eikä sitä saa kuitata liitteessä. Jos ajan kääntäminen, taajuuskaistojen vaihto ja dispersiota jäljittelevä verrokki tuottavat jaksossa 8.4 samanlaisen ”nollaviiveisen yhteistermin”, päätulos ei kestä. Jos runkoverkon satunnainen kierto tai peruskartan häirintä säilyttää jaksoissa 8.6 ja 8.7 väitetyn samansuuntaisuuden ja jaetun peruskartan, tulos näyttää enemmän algoritmin vinoumalta. Jos jakson 8.9 horisontin lähialueen hienorakenne pysyy yhtä merkitsevänä kuvantamiskäytäntöä tai mallipohjan suuntaa vaihdettaessa, erottuva tunnusmerkki heijastaa vain käsittelyputken ominaisuuksia. Jos jaksojen 8.10 ja 8.11 sijaisrakenne, valekuorma, tyhjä ontelo, klassisen täsmäytyksen katkaisu tai valekynnyksen verrokki tuottaa saman ”uuden signaalin”, niin sanottu uusi fysiikka syntyy vain instrumentin sisällä. Päätulos ei voi nousta tueksi, ellei se säilytä erityisyyttään nollatarkistuksia vastaan.
Nollatarkistusten rinnalle tarvitaan myös positiivisia kontrolleja. Putken on siis osattava epäonnistua oikein silloin, kun EFT-rakennetta ei ole, ja onnistua oikein silloin, kun tunnettu rakenne injektoidaan tai tunnetun fysiikan pitäisi näkyä. Jos putki ei pysty hajottamaan artefaktia eikä palauttamaan tunnettua signaalia, sen päätulosta ei saa pisteyttää. Osan 8 nollatarkistukset eivät siis vain pura väitteitä, vaan lukitsevat samanaikaisesti vaatimuksen: onnistuttava silloin kun pitää, epäonnistuttava silloin kun pitää.
7. Neljäs suojakaide: putkienvälinen replikaatio – yksittäinen analyysireitti ei saa monopolisoida totuutta
Osan 8 vaarallisimpia voittoja ovat tulokset, jotka katoavat heti, kun datan käsittelyreitti vaihdetaan. Monet EFT:n kiinnostuksen kohteet riippuvat jo lähtökohtaisesti monimutkaisesta poimintaketjusta: miten tausta vähennetään, runkoverkko erotellaan, gravitaatiolinssauksen inversio tehdään, rengaskuvat rekonstruoidaan, kynnys tunnistetaan, raakavirrat synkronoidaan ja kohina sekä jälkivalinta kirjataan eri tileille. Jos jokin näistä vaiheista on vahvasti sidoksissa yhden ryhmän oletuskäytäntöihin, yhden putken näyttävä tulos ei voi nousta automaattisesti fysikaaliseksi johtopäätökseksi.
Putkienvälinen replikaatio ei siksi tarkoita saman koodin ajamista kahdesti eri satunnaissiemenellä. Se vaatii todellista riippumattomuutta: erillisiä esikäsittelyketjuja, taustamalleja, runkoverkon tai kuvien rekonstruktiomenetelmiä, sovitusperheitä ja kalibrointireittejä – mielellään myös erillisiä ryhmiä, laitoksia ja laiteversioita. Tähtitieteellisissä aineistoissa erilaisten kartoitustuotteiden, kuvantamis- tai inversioputkien ja makromallien joukkojen on annettava samansuuntainen johtopäätös. Laboratorioaineistoissa taas eri laitteet, ohjausohjelmistot, tiedonkeruu- ja jälkikäsittelyketjut eivät saa kääntää tulosta mielivaltaisesti.
EFT ei vaadi, että kaikki putket tuottavat numerollisesti saman vastauksen. Se tarvitsee jotakin yksinkertaisempaa mutta vaikeammin jäljiteltävää: päämerkin, pääjärjestyksen ja päärakenteen on säilyttävä. Jos signaali ilmestyy vain tietyllä taustavähennyksellä, rekonstruktion regularisoinnilla, mallipohjalla tai jälkivalintaikkunalla ja hajoaa muiden järkevien putkien tullessa mukaan, osan 8 rehellinen kirjaus ei ole ”kiistanalainen mutta lupaava” vaan ”toistaiseksi käsittelyputkesta riippuva vihje”.
Putkienvälisen replikaation on lopulta ulotuttava myös tilikirjojen avoimuuteen ja uudelleenlaskettavuuteen. Kaikkien ryhmien ei tarvitse julkaista jokaista välitiedostoa välittömästi ja varauksetta, mutta ulkopuolisen tarkastajan on ainakin nähtävä keskeiset päätöspisteet: mitkä otokset poistettiin, mitkä parametrit jäädytettiin, mihin holdout-yksiköihin ei koskettu, mitkä nollatarkistukset epäonnistuivat ja missä riippumattomat putket olivat eri mieltä. Jos vain alkuperäinen ryhmä hallitsee näitä tilejä, ulkopuolisen on vaikea erottaa, onko kyse monimutkaisesta ilmiöstä vai monimutkaisesta prosessista.
8. Miksi neljän suojakaiteen on toimittava rinnakkain eikä vain muodollisina tarkistuksina
Pelkkä holdout ilman sokkoutusta antaa mahdollisuuden nähdä ensin suunta ja valita vasta sitten ”järkevä” holdout. Pelkkä sokkoutus ilman nollatarkistuksia voi estää vastauksen kurkistamisen mutta ei systemaattisen artefaktin tulkitsemista yllätykseksi. Pelkät nollatarkistukset ilman putkienvälistä replikaatiota voivat jättää saman vinouman sekä päätulokseen että nollatarkistuksiin. Pelkkä putkienvälinen replikaatio ilman holdout-joukkoa voi puolestaan johtaa siihen, että useat ryhmät ylisovittavat yhdessä harjoitusaineiston lähes oraakkelimaiseksi. Neljä suojakaidetta eivät ole neljä koristeosaa vaan yksi ketju.
Jakson 8.12 on siksi torjuttava suoraan tavallinen hyvityslogiikka: ”emme tehneet holdout-testiä, mutta sokkoutimme; nollatarkistukset eivät olleet vahvoja, mutta putket olivat melko yhdenmukaisia; riippumatonta replikaatiota ei vielä ole, mutta harjoitusaineisto näyttää erinomaiselta.” Tällainen pisteytys voi toimia viestinnässä, mutta auditoinnissa se rikkoo sääntöjä. Osa 8 ei tavoittele yleisvaikutelmapisteitä. Se kysyy, kestääkö väite kaikkein epäsuotuisimmissa säännöissä. Yhden kriittisen portin epäonnistumista ei saa hyvittää toisen portin kauniilla tuloksella.
9. Miten neljä suojakaidetta viedään käytäntöön jaksoissa 8.4–8.11
Jaksoissa 8.4 ja 8.5 neljän suojakaiteen päätehtävä on estää yhteistermin ja TPR/PER-tilijaon ompeleminen jälkikäteen. Holdout-joukkoihin kannattaa varata lähdeluokkia, taivaanalueita, taajuuksia ja tapahtumaikkunoita. Sokkoutuksessa ympäristön ennustekortti sekä pääsuureen ja residuaalin tilijakosäännöt jäädytetään etukäteen. Nollatarkistuksissa etusijalla ovat dispersiolakia jäljittelevät sijaismallit, ajan kääntäminen sekä tunnisteiden ja asemien permutointi. Putkienvälisen replikaation on katettava ainakin punasiirtymä- ja aikaviiveketjut, riippumaton etäisyysketju ja linssimallinnuksen putki. Ilman näitä suojakaiteita jaksot 8.4 ja 8.5 luisuvat helposti takaisin asetelmaan, jossa ”tämäkin kuva näyttää sopivalta ja tuokin voidaan selittää”.
Jaksoissa 8.6–8.9 neljän suojakaiteen tehtävä on estää jaettua peruskarttaa, runkoverkon suuntaa, horisontin lähialueen hienorakenteita ja rajojen erottuvia tunnusmerkkejä muuttumasta pelkäksi kuvien tulkinnaksi. Holdout-rakenteeseen sopivat paremmin kokonaiset kohteet, epookit, punasiirtymäkerrokset, sulautumisvaiheet ja näkölinjayksiköt. Sokkoutus voidaan kohdistaa runkoverkon suuntakenttään, ympäristöluokkaan, suuntamalliin, kohdeluokitukseen ja tunnusmerkin ennustekorttiin. Nollatarkistuksissa on painotettava mallipohjan kiertoa, satunnaista runkoverkkoa, satunnaismaskia, akselin ulkopuolista verrokkia, näennäisiä kuumia ja kylmiä täpliä sekä siirto- ja uudelleennäytteenottotestejä. Putkienvälinen replikaatio vaatii, että erilaiset runkoverkkoalgoritmit, massarekonstruktiot, kuvantamisratkaisut ja aikaviiveen poimintaketjut päätyvät samaan pääsuuntaan.
Jaksoissa 8.10 ja 8.11 neljää suojakaidetta ei saa löysätä lainkaan. Laboratoriotuloksissa näennäinen voitto syntyy erityisen helposti siitä, että signaali näkyy vain yhdessä laitteessa ja yhdessä käsittelyskriptissä. Holdout-joukoksi voidaan varata kokonainen parametri-ikkuna, materiaaliluokka, laite tai siruerä. Sokkoutus voidaan kohdistaa kynnystasoon, materiaalitunnisteeseen, ajon järjestykseen ja linkin puhtausluokkaan. Nollatarkistuksiin on sisällyttävä sijaisrakenteet, tyhjä ontelo, valekuorma, vastakkainen polariteetti, katkaistun linkin verrokki, ajallinen epäkohdistus sekä signaalin injektointi ja palautus. Putkienvälinen replikaatio on vietävä mieluiten yli laitosten, laitteistojen ja ohjausohjelmistojen rajojen, ja erityisesti raaka- ja jälkivalintatilien on oltava saatavilla kahden riippumattoman reitin kautta. Vain näin osa 8 välttää kirjoittamasta teknistä sattumaa EFT:n uudeksi ansioksi.
10. Millaiset menetelmälliset tulokset todella tukisivat EFT:tä?
Jakson 8.12 näkökulmasta EFT:tä ei todella tue se, että jokin kohdeluokka ”näyttää enemmän EFT:ltä”, vaan se, että EFT hyväksyy itselleen epäsuotuisimmat säännöt ja saa niiden alla silti rakenteellisia osumia useilla ratkaisulinjoilla. Vähintään seuraavien asioiden olisi toteuduttava yhtä aikaa:
- Holdout-joukoissa havaittu suunta, järjestys ja päärakenne vastaavat harjoitusosaa, eikä tulosta pelasteta arviointiperusteiden jälkisäädöllä;
- sokkoutettujen ennustekorttien osumatarkkuus pysyy vakaasti satunnais- ja permutaatiotason yläpuolella eikä ala näyttää ”itsestään selvältä” vasta sokkoutuksen purkamisen jälkeen;
- päätulos erottautuu selvästi sekä rakennetta rikkovista että analyysiputken kontaminaatiota testaavista nollatarkistuksista;
- vähintään kaksi aidosti riippumatonta putkea ja tutkimusryhmää päätyy samaan pääsuuntaan ilman, että sääntöjä keksitään uudelleen.
Jos nämä ehdot eivät täyty vain yhdellä erillisellä ratkaisulinjalla vaan samanaikaisesti useissa jaksojen 8.4–8.11 perheissä, EFT alkaa ensimmäistä kertaa todella vapautua vaarallisimmasta arviosta: ”tarinoita kertova teoria”. Se merkitsisi, ettei EFT vain osaa selittää kohteita, vaan sallii menetelmien kaventaa sen selitysoikeutta – ja että jotakin jää jäljelle myös kaventamisen jälkeen.
Yksi asia on kirjoitettava erityisen tiukasti: myös menetelmällinen tuki on porrastettua. Heikoimmalla tasolla tulos vain ei kaadu suojakaiteisiin. Vahvemmalla tasolla se ei ainoastaan selviydy niistä vaan osoittaa aktiivisesti ennusteen osuman, holdout-vakauden, nollatarkistusten erottelukyvyn ja tutkimusryhmien välisen samansuuntaisuuden muodostaman nelinkertaisen sulkeutumisen. Osa 8 tarvitsee jälkimmäisen tason. Ensimmäinen kertoo vain, ettei EFT:tä ole vielä saatu kiinni menettelyvirheestä; jälkimmäinen osoittaa, että se alkaa ansaita menettelyllistä uskottavuutta.
11. Mitkä tulokset merkitsevät vain tiukennusta eivätkä välitöntä hylkäystä?
Kaikki menetelmälliset vaikeudet eivät pakota EFT:tä suoraan uudelleenkirjoitukseen. Osa tuloksista merkitsee tiukennusta, ei hylkäystä.
- Ensimmäinen tiukennus on, että holdout-tulos säilyy vain osassa ikkunoita. Tietyt väitteet voivat siis läpäistä neljä suojakaidetta tietyissä lähdeluokissa, ympäristöissä, alustoissa tai parametri-ikkunoissa mutta heikentyä niiden ulkopuolella. EFT on ehkä tavoittanut jotakin todellista, mutta soveltamisala on kavennettava.
- Toinen tiukennus on, että sokkoutettu ennuste osuu suuntaan mutta ei amplitudiin; kerrostumiseen mutta ei yhteiseen asteikkoon. EFT voi tällöin säilyttää ennustettavuuden mutta ei liian vahvaa universaalia kielioppia. Kolmas tiukennus on, että nollatarkistukset läpäistään yleisesti, mutta jotkin korkean riskin aliavaruudet pysyvät herkkinä, esimerkiksi tietyt taivaanalueet, taajuuskaistan reunat, kuvantamiskokoonpanot tai materiaalierät. Neljäs tiukennus on, että sama suunta säilyy putkesta toiseen, mutta tulosten yhteensovittaminen vaatii leveämmän systemaattisen epävarmuuskaistan. Näitä tuloksia ei saa kiillottaa täydelliseksi tueksi, mutta ne eivät myöskään merkitse välitöntä hylkäystä. Ne pakottavat EFT:n pienentämään kunnianhimoaan ja tekemään väitteistään kovempia.
12. Mitkä tulokset aiheuttaisivat suoraa rakenteellista vahinkoa?
- Ensimmäinen EFT:n menetelmällistä selkärankaa todella vaurioittava tulos on holdout-joukkojen järjestelmällinen suunnanvaihto. Harjoitusosassa vakailta näyttävät suunta, järjestys ja sulkeutuminen katoavat tai kääntyvät holdout-joukossa, tai ne voidaan säilyttää vain valitsemalla otos uudelleen. Kyse ei silloin ole ”hieman heikommasta yleistymisestä” vaan siitä, että pääpäätelmä todennäköisesti riippuu jälkisäädöstä.
- Toinen on se, että sokkoutetut ennusteet epäonnistuvat toistuvasti, mutta sokkoutuksen purkamisen jälkeen syntyy aina kaunis selitys. Jos ennustekorttien osumatarkkuus jää jäädytetyillä perusteilla lähelle satunnaista, vääränmerkkisiä tuloksia kertyy paljon tai kynnystä, luokitusta ja prokseja on kirjoitettava uudelleen vasta kuvan näkemisen jälkeen, EFT ei voi enää esittää näitä selityksiä ennustavana kielioppina.
- Kolmas on, että nollatarkistukset ovat yhtä merkitseviä kuin päätulos. Jos tunnisteiden permutointi, ajan kääntäminen, mallipohjan kierto, sijaismateriaali, näennäinen verrokki-ikkuna, kaistanpäästön häirintä tai satunnainen runkoverkko tuottaa lähes yhtä vahvan ”tukisignaalin”, osan 8 on myönnettävä, ettei ”tulos ole monimutkainen” vaan ”prosessi valmistaa signaalin”.
- Neljäs on, että vain yksi putki tai yksi tutkimusryhmä näkee EFT:n. Jos päätulos hajoaa aina taustamallin, inversiomenetelmän, kuvantamisreitin, kalibrointiketjun tai laiteversion vaihtuessa tai eri laitosten uudelleenlaskenta ei pitkään aikaan tuota samaa suuntaa, EFT menettää oikeutensa vaatia tunnustamista. Viides ja ankarin tulos on, että neljä suojakaidetta ovat keskenään ristiriidassa: holdout läpäistään mutta sokkoutettu ennuste ei osu; päätulos on merkitsevä mutta nollatarkistus yhtä merkitsevä; yksi ryhmä saa vakaan tuloksen mutta useat ryhmät eivät toista sitä. Jos tällainen repeämä jatkuu useissa ratkaisuperheissä, jaksoa 8.12 ei saa kirjata menetelmälliseksi plussaksi vaan koko osan uskottavuuden vakavaksi vaurioksi.
Menetelmälliseen rakenteelliseen vahinkoon kuuluu myös yksi usein aliarvioitu tilanne: sääntöjä päivitetään aina vasta tuloksen jälkeen. Tänään ratkaisee merkki, huomenna järjestys ja ylihuomenna vain voimakkaan ympäristön aliotos. Tänään kaksi putkea riittää, huomenna erimielisyyden vuoksi luotetaan vain toiseen. Tänään holdout-yksikkö on taivaanalue, huomenna suunnanvaihdon jälkeen taajuuskaista. Jos säännöt seuraavat tuloksia tällä tavoin pitkään, jakson 8.12 on tuomittava se vakavaksi vaurioksi: EFT ei ole vielä oppinut antamaan itsensä kiinteiden sääntöjen arvioitavaksi.
13. Milloin ratkaisua ei vielä voi tehdä?
- Tässä jaksossa säilyy myös luokka ”ei vielä arvioitu”, mutta sen rajan on oltava hyvin kapea. Ensimmäinen perusteltu syy on, että raakakirjanpito ja keskeiset metatiedot eivät ole vielä riittävän avoimia. Jos ajanmäärityksen, kaistanpäästön ja kalibroinnin ketjut, holdout-yksikön määritelmä tai ympäristöproksit ovat yhä läpinäkymättömiä, väkisin annettu tuomio vain nostaa keskustelun kohinatasoa.
- Toinen syy on, että otos ei vielä ole riittävän kattava aidon holdout-rakenteen muodostamiseksi. Joidenkin erottuvien ennusteiden kohteita voi olla niin vähän, että yhden jättäminen sivuun vie lähes koko otoksen. Joillakin äärialustoilla ei puolestaan vielä ole mahdollisuutta laitosten väliseen testiin. Silloin ratkaisun lykkääminen on kurinalaista.
- Kolmas syy on, että neljälle suojakaiteelle ei vielä ole yhteisiä määritelmiä. Jos tutkimusryhmillä ei ole perustavaa yhteisymmärrystä siitä, mikä on riippumaton putki, pätevä nollatarkistus, sokkoutettu osuma tai holdout-yksikkö, raskas tuomio voi tänään olla ennenaikainen. Tätä luokkaa ei kuitenkaan saa käyttää loputtomaan lisäaikaan. Kun raakakirjanpito on avattu, perusteet jäädytetty, holdout-testit ja nollatarkistukset tehty sekä riippumattomat putket rakennettu ja tulos osoittaa silti vastakkaiseen suuntaan, kyse ei enää ole ”arvioimatta jättämisestä”. Silloin tulos heikentää EFT:tä; kyse ei ole paremman tekosyyn odottamisesta.
Yksi perusteltu mutta vaarallinen lykkäyksen syy on vielä se, että kohteet ovat liian harvinaisia, alustat liian kalliita tai replikaatiosykli liian pitkä. Joitakin horisontin lähialueen hienorakenteita, äärimmäisiä sulautumisia tai kalliita kvanttilinkkejä ei aidosti voida toistaa useassa laitoksessa yhtä nopeasti kuin tavallisia kokeita. Jakso 8.12 voi silloin sallia tilapäisen kirjauksen ”näyttötiheys ei riitä”, mutta sitä ei saa vaihtaa muotoon ”kirjataan toistaiseksi tueksi”. Osan 8 kieliopissa kalleus ja harvinaisuus voivat hidastaa ratkaisua, mutta ne eivät saa nostaa voittotodennäköisyyttä.
14. ”Selitettävissä” ei ole sama asia kuin ”kestää auditoinnin”: jakson tärkein suunnanmuutos
Tämä jakso ei lisää vain muutamaa teknistä vaatimusta vaan siirtää koko osan asenteen selittämisen logiikasta auditoinnin logiikkaan. Selittämisen logiikka löytää jokaiselle uudelle kohteelle lauseen, johon se voidaan sijoittaa. Auditoinnin logiikka toimii päinvastoin: teoria sitoo ensin omat kätensä ja kysyy vasta sitten, mitä siitä jää jäljelle. EFT:lle, joka yrittää piirtää peruskartan uudelleen, muutos on erityisen tärkeä. Mitä paremmin se osaa puhua, sitä paremmin sen on opittava olemaan ensin hiljaa; mitä useamman asian se pystyy selittämään johdonmukaisesti, sitä aiemmin sen on hyväksyttävä itselleen epäsuotuisimmat säännöt.
Tässä on myös jakson tärkein muistettava lause: falsifioinnissa pelottavinta ei ole vastustajan voima vaan se, suostuuko teoria arvioimaan itseään kaikkein epäsuotuisimmilla säännöillä. Jos EFT ei suostu tähän, se jää tarinoita kertovaksi teoriaksi, vaikka kukaan ei juuri nyt pystyisikään kumoamaan sitä. Jos se taas voittaa näissä säännöissä edes osan ikkunoista, nämä voitot painavat enemmän kuin kokonainen osa kauniita selityksiä, joita mikään suojakaide ei ole testannut.
15. Jakson yhteenveto
Se, kestääkö osa 8, ei riipu vain siitä, mitä se havaitsee, vaan siitä, suostuuko se ensin altistamaan itsensä holdout-joukkojen, sokkoutuksen, nollatarkistusten ja putkienvälisen replikaation neljälle portille. Vasta kun EFT hyväksyy nämä itselleen epämukavat säännöt, myöhempi tuki voi olla muutakin kuin oman kertomuksen kaiku.