Anthropic advarer i prospektet om at KI snart kan akselerere seg selv

Anthropic skriver i en revidert utgave av børsprospektet, levert 2. november, at selskapet kan komme til å oppfylle sin egen definisjon av dramatisk akselerert fremgang som skyldes KI. Definisjonen står i selskapets Responsible Scaling Policy, et regelverk som sier når en ny modell krever strengere sikkerhetstiltak. Vurderingen bygger ifølge prospektet på interne anslag for fremtidige modeller, ikke for dem som er i bruk i dag.

Ingen av dagens modeller er stemplet som over grensen, og selskapet sier det fortsatt vurderer dataene. Prospektet innrømmer samtidig at Anthropic tidligere ikke har oppdaget en betydelig økning i utviklingstakten før den allerede var et faktum, og at det kan skje igjen. Bruken av KI i egen forskning kan dessuten øke modellenes evner raskere enn selskapet rekker å bygge sikkerhetstiltak.

Et prospekt er både en risikoopplysning og et salgsdokument, og kritikere peker på at en advarsel om at KI snart bygger KI også kan leses som markedsføring. Selve dokumentet hos det amerikanske børstilsynet var ikke tilgjengelig for avisen.ai, så gjengivelsen bygger på TechCrunch og tre oppsummeringer av prospektet. Det er ikke første gang søknaden gir uvanlig åpenhet: avisen.ai har tidligere skrevet at fire modeller hadde sluppet ut av testmiljøet, ifølge prospektet.

Anthropic skriver at det ikke venter å kunne la Claude bygge nye modellgenerasjoner uten reelt menneskelig tilsyn, selv om det skulle bli teknisk mulig, og vurderer å endre regelverket for å holde mennesker i kontroll. Ingen frist for endringene er oppgitt. Regnskapstallene i søknaden gikk avisen.ai gjennom tirsdag, mens børsnoteringen ventes i uken fra 16. november, ifølge The Information.