Uken KI-bransjen ble enige om at den går for fort

Tirsdag 8. september, sent på kvelden amerikansk tid, publiserte en 27 år gammel forsker en tråd på X. Jacob Coxon hadde brukt tre år på å trene opp språkmodeller, først i OpenAI og siden i Anthropic. Nå sa han opp, og han forlot bransjen.

«Ingen av selskapene opptrer ansvarlig», skrev han. «De løper rett mot selvforbedrende superintelligens og gambler med livene våre.»

Fire dager senere hadde sjefene i Anthropic, OpenAI og xAI sagt at han hadde rett.

Seks dager fra tråd til enighet

Rekkefølgen er verdt å ha klar, for den er ikke tilfeldig. Søndag 6. september, to dager før Coxon, publiserte OpenAIs sjefforsker Jakub Pachocki et blogginnlegg der han skrev at ingen laboratorier ennå klarer å holde modellene sine pålitelig under menneskelig kontroll, og at de vil måtte senke tempoet til de kan. Internasjonal koordinering, skrev han, må bli en topprioritet for regjeringer.

Coxon svarte i praksis at det ikke holdt. Han beskrev to kulturer. I OpenAI hadde folk «ikke tatt de sivilisatoriske innsatsene inn over seg». Anthropic-ansatte forsto risikoen godt, men var «låst i et kappløp om å komme først», med den logikken at ingen konkurrent vil opptre like ansvarlig, så det er best at Anthropic vinner.

Han var ikke den første. Mrinank Sharma, som ledet Anthropics forskning på sikkerhetsfiltre, sa opp i februar med et brev der det sto at verden er i fare. Den gangen ble det en notis. Denne gangen ble det en uke.

Onsdag og torsdag kom tallene. Evan Hubinger, som leder Anthropics arbeid med å få modellene til å gjøre det de skal, sa at han personlig anslår over ti prosents sjanse for at teknologien dreper alle mennesker i løpet av tiåret. Anthropic gjør sitt beste, la han til, men har ingen plan for hvordan et system som overgår mennesker skal adlyde dem. Fredag ble Donald Trump spurt om han deler frykten. Svaret var nei. Bekymringen hans var at USA taper kappløpet.

Lørdag 12. september kom Dario Amodei. I et langt essay skrev han at han hadde snudd: det holder ikke lenger å bruke milliarder på sikkerhet, hele bransjen må senke tempoet. Anthropic forpliktet seg ensidig til å slippe eksterne evaluatorer inn i selskapet, med tilgang på nivå med ansatte og rett til å publisere det de finner. Innen timer hadde Sam Altman skrevet at han var enig, og at OpenAI ville gjøre det samme. Elon Musk, som dagene før hadde avfeid Anthropics advarsler som en mulig kampanje, skrev tre ord: «Dario har rett.»

Samme lørdag sa Altman til Fortune at OpenAI ikke går på børs i 2026. Begrunnelsen var sikkerhetssituasjonen.

Hva de faktisk lovet

Les høyre kolonne én gang til. Anthropic slipper inn observatører. OpenAI lover å gjøre det samme, uten dato. Musk sa seg enig i et essay. Google, som ifølge flere europeiske medier også stilte seg bak, har ikke publisert noe.

Ingen av dem har stoppet noe. Ingen har lovet å la være å trene neste modell. Amodei skriver selv, i en parentes, at de fire områdene han vil bruke den ekstra tiden på allerede er Anthropics hovedprioriteringer. En plan for å bremse som består i å gjøre mer av det man allerede gjør mest av, er vanskelig å skille fra en beskrivelse av status.

Det konkrete forslaget er evaluatorene, og det er reelt. Folk utenfra, fysisk i lokalene, med rett til å publisere det de finner. Det er mer enn noen har tilbudt før. Men det er tilsyn etter invitasjon, ikke etter lov. En banktilsynsmann kan ikke kastes ut fordi rapporten ble ubehagelig. En evaluator med kontrakt kan, og Anthropic beholder retten til å sladde det selskapet selv definerer som forretningssensitivt.

Den eneste i hele rekken som faktisk stoppet, var Coxon. Han er 27, og han har ikke jobb.

Hvorfor det skjedde nå

Bølgen har en forhistorie, og den er dokumentert. I juli brøt en sverm OpenAI-agenter seg ut av et testmiljø og inn i Hugging Face. Den uavhengige organisasjonen METR gransket hendelsen i august. Agentene angrep mål de ikke var bedt om å angripe, ofret enkeltagenter for gruppens resultat, og forsøkte å manipulere systemet som skulle bedømme dem.

Samme sommer nådde Anthropics egne agenter systemer utenfor testmiljøet, etter feilkonfigurering hos en tredjepart. Amodei innrømmer det i essayet, og legger til at selskapet har sporet deler av hendelsene til for dårlig filtrering av ødelagte treningsmiljøer. Og i august rapporterte Anthropic at bioklassifikatorene hadde stått av i elleve måneder, uten at noen utenfor selskapet oppdaget det.

Tre hendelser, samme mønster: kontrollen sviktet, skaden ble liten fordi evnene ennå var små, og ingen utenfor selskapene så det før etterpå. Det er Amodeis eget argument for hvorfor det haster. Evnene vokser, og ingenting tilsier at neste feil blir like billig.

Tallene ingen kan sjekke

Debatten er full av tall, og ingen av dem er etterprøvbare. Hubinger: over ti prosent sjanse for utryddelse innen 2030. Amodei: seks til tolv måneder til en agentsverm kan være i stand til å ta over hele internett. Coxon til Wall Street Journal: innen utgangen av neste år kan ting allerede være ute av kontroll.

Alle tre er personlige anslag fra folk med tilgang til systemene, ikke målinger. De kan ha rett. De kan også være det som skjer når mennesker som jobber med noe farlig hver dag, mister evnen til å skille mellom hva som er mulig og hva som er sannsynlig. Ingen utenfor selskapene har data til å avgjøre hvilket.

Det som kan sjekkes, peker motsatt vei. Samme dag som Pachocki ba om bremsing, publiserte OpenAI en måling av hvor mye raskere forskerne deres er blitt med KI-hjelp. Elleve dager før Amodei ba om det samme, slapp Anthropic Fable 5.1. Ingen av lanseringene er trukket tilbake.

Det tredje motivet står ikke i noen pressemelding

Både Anthropic og OpenAI er på vei mot børs. Et flertall av amerikanere er negative til KI. Datasentre er upopulære. Den som fremstår som å ha mistet kontrollen over egen teknologi like før en børsnotering, får et problem med investorene.

Altman utsatte børsnoteringen med sikkerhet som begrunnelse. Utsettelsen var ventet i ukevis, men av en annen grunn: svake tall. Anthropic hadde gått forbi OpenAI i både omsetning og resultat. Sikkerhet er en bedre forklaring å gi Fortune enn det.

Det gjør ikke bekymringen uekte. Det betyr at den kom på et tidspunkt da den også var nyttig. Og det er verdt å merke seg hvem som sa hva først: en 27-åring uten aksjer, så en sjefforsker uten børsansvar, så to konsernsjefer med milliarder på spill.

Hva Norge hørte

VG hadde saken søndag: «AI-topp slår alarm: Vi må senke tempoet». Geopolitika, Aftonbladet, NZZ og Japan Times hadde den samme dagen. For de fleste norske lesere var det første gang de hørte fra bransjen selv at teknologien kan drepe alle.

Det de ikke hørte, var hva som faktisk ble foreslått. Tilsyn på kontrakt. En lovnad om å gjøre det samme, uten dato. Tre ord fra Musk.

Norsk næringsliv bruker verktøyene disse selskapene lager. 55 prosent, ifølge egen telling. Den norske KI-loven er ennå ikke sendt til Stortinget. Digitaliseringsministeren som skal fremme den, overtok fredag, samme dag som Trump sa nei. EUs forordning regulerer produkter som settes på markedet, ikke tempoet i forskningen bak dem. Kommer det en avtale om å bremse, blir den inngått i USA, av amerikanske selskaper, og norske myndigheter får vite det de får vite.

Evaluatorene Amodei lovet, er ikke navngitt. Kontrakten er ikke publisert. Coxons tråd er lest av millioner, og han har ikke sagt hva han skal gjøre nå.