En maskin formulerer et klart, godt strukturert og noen ganger briljant svar. Den viser til et begrep, legger frem en forklaring og gir ikke uttrykk for noen tvil. Da får vi en svært menneskelig refleks: fordi språket ligner kunnskapens språk, gir vi det status som kunnskap. Problemet er ikke bare at generativ kunstig intelligens kan ta feil. Problemet er at måten den tar feil på, passer perfekt med vårt ønske om å tro.

To eldre vitenskapelige feilgrep gjør det mulig å se denne refleksen på en annen måte. De handler verken om amatører eller svindlere tatt på fersken, men om to anerkjente forskere, Yves Rocard og Prosper René Blondlot. Begge arbeidet med et fenomen som viste seg ikke å eksistere. Begge hadde et eksperimentelt rammeverk de oppfattet som seriøst. Og begge minner oss om at en vitenskapelig metode kan miste sin kraft når den først og fremst brukes til å bekrefte det eksperimentatoren allerede håper å observere.

Forskeren er ikke immun mot forventninger

Fra 1957 søkte Yves Rocard en fysisk forklaring på de påståtte evnene til ønskekvistgjengere. Karrieren hans tydet ikke på lettvint godtroenhet: Han var professor ved École normale supérieure, leder for fysikklaboratoriet der og vitenskapelig rådgiver for CEA, og hadde bidratt til flere anerkjente forskningsfelt. Likevel lanserte han ideen om at enkelte mennesker kunne oppfatte lokale variasjoner i jordens magnetfelt knyttet til forekomsten av grunnvann.

For å teste denne hypotesen utformet Rocard blant annet en innretning der en elektrisk ledning skapte et kontrollert magnetfelt. En forsøksperson som holdt en pendel, sto i nærheten. Ved å snu strømretningen skulle man kunne kontrollere om pendelens rotasjonsretning også endret seg. På papiret virket forsøket organisert rundt en identifiserbar fysisk variabel. Men en kritisk analyse av metoden og resultatene avdekket skjevheter som var store nok til å gjøre episoden til et vitenskapelig feilgrep, ikke svindel.

Tilfellet Prosper René Blondlot er eldre. I 1903 kunngjorde denne professoren ved Universitetet i Nancy og medlemmet av Vitenskapsakademiet at det fantes stråler han kalte «N». Tidsånden gjorde muligheten plausibel: Røntgenstråler var blitt oppdaget i 1895, radioaktivitet i 1896, og i 1903 ble flere personer knyttet til disse oppdagelsene hedret med Nobelprisen i fysikk. I en periode da nye former for stråling forandret vitenskapen, virket enda et fenomen mindre absurd enn det gjør for oss i dag.

Blondlot hevdet at N-stråler, produsert av en lampe med en glødende keramisk stav, fikk en svakt opplyst skjerm til å virke litt lysere. Alt hvilte dermed på en nesten umerkelig forskjell nær terskelen for visuell persepsjon, som bare en trent observatør angivelig kunne skjelne. Deretter mente han at han kunne studere utbredelsen, brytningen og diffraksjonen deres ved hjelp av metodene fra klassisk optikk.

Disse to sakene har ett avgjørende trekk til felles: Observasjonen blir ikke tydelig påtvunget av selve fenomenet. Den avhenger av et svakt, tvetydig og tolkningsbart signal. Pendelen kan se ut til å reagere. Skjermen kan se ut til å bli lysere. Dermed forblir ikke forskerens forventning lenger utenfor forsøket. Den blir en del av resultatet.

Forbindelsen til KI er ikke teknisk, men psykologisk

Denne sammenligningen tilhører ingen av de to sakene; den må presenteres som det den er: en analyse. Etter mitt syn hører N-stråler og KI-hallusinasjoner til radikalt forskjellige epoker og oppsett, men de aktiverer den samme svakheten hos observatøren. Vi vurderer en påstand mindre kritisk når formen allerede samsvarer med det vi forventer.

Hos Blondlot gjorde kappløpet etter nye former for stråling eksistensen av enda et fenomen plausibel. Hos Rocard ga en magnetisk hypotese et fysisk preg til en praksis omgitt av forestillinger. Med KI forskyves situasjonen: Vi observerer ikke lenger en svakt lysende skjerm eller en pendel, men en sammenhengende, umiddelbar og personlig tekst. Det tvetydige signalet blir til en overbevisende setning.

Tre felles mekanismer kan trekkes frem, så lenge de betraktes som en tolkningsramme og ikke som dokumenterte resultater:

  • Forventning styrer tolkningen. Når vi håper på et svar, en forklaring eller en bekreftelse, legger vi lettere merke til det som peker i samme retning.
  • Tilsynelatende kompetanse virker betryggende. En anerkjent forsker, en avansert protokoll eller teknisk flytende prosa kan gi en påstand tyngde allerede før den er kontrollert.
  • Gjentakelse skaper normalitet. Når flere mennesker godtar det samme rammeverket, virker tvil mindre legitim. Kollektiv enighet kan da ligne et bevis.

Overdreven tillit til KI skyldes derfor ikke bare mangel på teknisk kunnskap. Den springer også ut av et mer hverdagslig fenomen: Vi forveksler gjerne sammenheng med sannhet. Et velskrevet svar virker ofte bedre begrunnet enn et nølende svar, selv om stilistisk selvsikkerhet ikke garanterer noe.

KI kan skape noe nytt uten å skape noe sant

En tredje, moderne debatt handler om kreativiteten til generativ KI. Slike systemer kan danne originale eller uventede kombinasjoner ut fra tilgjengelige data, mens noen observatører mener at de bare rekombinerer innlærte tilstander. Jean-Claude Heudin utforsker på sin side en annen vei med genetiske algoritmer basert på rekombinasjon, mutasjon og seleksjon, som han beskriver som en form for algoritmisk kreativitet.

Denne debatten bidrar til å presisere problemet. Et resultat kan være originalt, overraskende og til og med nyttig uten å være faktisk korrekt. Nyhet er ikke et bevis. Det er heller ikke eleganse. En KI kan foreslå en sammenheng ingen tidligere har formulert på den måten, og samtidig introdusere informasjon som ikke finnes. Nettopp denne blandingen gjør den overbevisende: Det sanne, det plausible og det oppdiktede kan få samme stemme.

Vi ville derfor ta feil om vi bare spurte: «Virker dette svaret intelligent?» Det nyttige spørsmålet er hardere: «Hva i dette svaret ville tåle en uavhengig kontroll?» De gamle vitenskapelige feilgrepene ber oss ikke om å forakte intuisjon, ekspertise eller innovasjon. De ber oss om ikke å gi dem det siste ordet.

Hva N-strålene bør endre i måten vi bruker KI på

Den første lærdommen er å skille kvaliteten på formuleringen fra kvaliteten på bevisene. Et klart svar kan være feil. En forsiktig formulering kan være mer pålitelig enn en spektakulær fremstilling. Når vi møter en viktig påstand, bør vi lete etter det som kan avkrefte den, ikke bare det som gjør den tiltalende.

Den andre lærdommen er å flytte kontrollen utenfor systemet som produserer påstanden. Rocard tolket sin egen innretning. Blondlot støttet seg på en subtil persepsjon som var forbeholdt trente observatører. På samme måte er det ikke alltid en reell kontroll å be en KI bekrefte sitt første svar: Den kan ganske enkelt bygge opp en begrunnelse som passer med det den nettopp har hevdet. Kontrollen må ligge hos en uavhengig kilde, et tilgjengelig dokument eller en reproduserbar måling.

Den tredje lærdommen gjelder fellesskapet. En delt feil er fortsatt en feil. Når flere brukere videreformidler det samme genererte svaret, kan opprinnelsen forsvinne, og gjentakelsen kan gi det kunstig autoritet. Antallet gjentakelser erstatter ikke styrken i det opprinnelige faktumet.

Faren er ikke at KI tvinger oss til å tro. Den er at KI gir oss akkurat det svaret vi allerede var klare til å godta.

Vitenskapen kjennetegnes ikke av fravær av feil, men av evnen til å avdekke dem og revidere konklusjonene sine. Saken om N-strålene omtales da også som en berømt kollektiv illusjon, samtidig som den illustrerer denne evnen til selvkorrigering. Det er kanskje den beste modellen å bruke på generativ KI: å ta den bredt i bruk, men samtidig bygge en aktiv kultur for motargumenter rundt den.

Rocard og Blondlot ser ikke på oss fra en naiv fortid. De holder opp et speil. Feilen deres var ikke at de forestilte seg en dristig hypotese. Den var at de lot hypotesen lære øynene deres hva de skulle se. I dag leser øynene våre lysere skjermer og raskere svar. Ansvaret vårt er det samme: Vi må aldri la overbevisningen ligge for langt foran bevisene.