Forskeren sluttet i Anthropic. Kollegaen tallfestet risikoen.

Jacob Coxon har sagt opp i Anthropic. I en tråd på X tirsdag kveld skrev forskeren, som har brukt tre år på pretrening hos først OpenAI og så Anthropic, at begge selskapene «kjører rett mot selvforbedrende superintelligens og gambler med livene våre».

Hva han skrev

Coxon hevder at de som bygger teknologien selv tror den kan drepe alle før tiåret er omme, og at han hører den frykten uttrykt privat av folk som formulerer seg forsiktigere i pressen. Hos OpenAI har mange ikke tatt konsekvensene inn over seg, mener han, mens Anthropic forstår risikoen godt, men er låst i et kappløp om å komme først. «Å akseptere dette kappløpet og gå inn i sluttspillet er et hovmodig veddemål som ikke bør startes fra en privat bedrifts Slack», skrev han. Til Wall Street Journal sa han at ting kan være ute av kontroll allerede ved utgangen av neste år.

Kollegaen gikk lenger

Evan Hubinger svarte offentlig at teamet «oppriktig tror KI kan drepe alle mennesker», og la til at Anthropic ikke har noen plan for å løse justering av superintelligens. Anslaget står også i selskapets egen risikorapport, samme sjanger som avdekket at bioklassifikatorene sto av i elleve måneder. Anthropic svarte ikke på TechCrunchs henvendelse om oppsigelsen.

Lovforslagene ligger allerede

Connor Leahy, amerikansk direktør i KI-sikkerhetsorganisasjonen ControlAI, kaller rekursiv selvforbedring den mest sannsynlige kandidaten til punktet der kontrollen ryker. Han har rådgitt to lovforslag som nå ligger til behandling: Bernie Sanders og Greg Casar la frem Ban Artificial Superintelligence Act i Kongressen forrige uke, og Labour-representanten Alex Sobel la frem Artificial Superintelligence Security Bill i Parlamentet tirsdag. Kravet om lavere tempo er ikke nytt: OpenAIs sjefforsker ba om det samme søndag.

Coxon er ute av bransjen. Anslaget han sluttet over står fortsatt i arbeidsgiverens egen rapport.