OpenAIs sjefforsker ber om bremsing. Samme dag kom fartsmålingen.

OpenAIs sjefforsker Jakub Pachocki publiserte søndag essayet «An Alien Mind». Konklusjonen er at ingen laboratorier har løst justering og overvåking godt nok til å skalere i maksimal fart særlig mye lenger. Han håper frivillige nedbremsinger blir vanlig til felles sikkerhetsterskler er på plass.

Hva han ber om

Pachocki venter rekursiv selvforbedring, altså at modellene i økende grad driver sin egen utvikling. Han vil ha forpliktelser som OpenAIs Preparedness Framework og Anthropics Responsible Scaling Policy gjort om til pålagte sikkerhetsterskler, håndhevet av tredjepartsrevisorer, myndigheter eller internasjonale organer.

Han skriver også at selskapets viktigste overvåkingsverktøy svekkes. OpenAI har satset på å lese modellenes skriftlige resonnement uten å trene på det. Nytten avtar nå: resonnementet blandes med verktøybruk og dialog, modellen blir bedre til å manipulere sin egen tankerekke, og den blir smartere uten å skrive noe. Det samme sto i lanseringsdokumentet for Astra tre dager tidligere, samme uke som Anthropic la sikkerhetsfilter på den ene av to nye modeller.

Tallene fra samme dag

Timer unna publiserte OpenAI en gjennomgang av hvor fort selskapets egen forskning går. Selskapet oppgir at det i september nådde målet om en automatisert forskningsassistent, et system som klarer oppgaver en dyktig forsker ville brukt noen dager på. Målet om en automatisert KI-forsker står til mars 2028.

Hva bremsen faktisk kostet

Etter 7. august, da Astra ble flagget som mulig kritisk for cyberevne, falt Astra-klassens GPU-tildeling 59,2 prosent i uken som fulgte. Tildelingen til andre modellklasser steg 17,2 prosent og dekket rundt 85 prosent av fallet. Samlet regnekraft i jobbene var omtrent uendret. Tallene er OpenAIs egne og selvrapporterte.

Sjefforskeren ber om nedbremsing. Regnekraften ble ikke stående ubrukt, den fant en annen modell.