Ingen KI-selskap meldte seg da New York spurte om katastrofeforsikring
Anthropic, OpenAI, Google og Meta møtte under ed i bystyret, og ingen ville tallfeste risikoen. Rådet vurderer ti lovforslag, blant annet uavhengig godkjenning av modeller.
Av H. S. Pettersen · 2 min lesing
Begreper i denne artikkelen
New Yorks bystyre holdt mandag en høring om KI-sikkerhet der representanter for Anthropic, OpenAI, Google og Meta svarte under ed. Da bystyrets leder Julie Menin spurte hvem som har forsikring mot katastrofale skader fra egne modeller, rakte ingen opp hånden, og Menin svarte at publikum da får regningen. Elon Musks KI-selskap var innkalt, men møtte ikke.
Selskapene ville ikke tallfeste risikoen
OpenAIs politikksjef Morgan Dwyer sa «I don't know» på spørsmålet om hvor stor risikoen for katastrofal skade er, og la til at det ikke spiller noen rolle om den er 1 eller 10 prosent. Menin kalte svaret useriøst i beste fall. På spørsmålet om en modell som feiler sikkerhetstester alltid blir stanset, fikk Menin generelle forsikringer om rutiner, og de fleste svarte unnvikende på hvem som er ansvarlig når en modell gjør skade. Googles Alice Friend var tydeligst: gjeldende lovverk gjelder allerede.
De tidligere ansatte ga tall
Jacob Coxon, som nylig sluttet i Anthropic, mener det er mer sannsynlig enn ikke at menneskeheten mister kontrollen. Alex Turner, tidligere hos Google DeepMind, anslo risikoen for at KI tar over til omtrent én av tre. Daniel Kokotajlo, tidligere i OpenAI, kalte evnen til å oppdage feiljustering, altså at en modell ikke gjør det utviklerne har ment, «ganske dårlig», og kalte dagens sikkerhetsløsninger teip som kan falle av senere. Anslagene er personlige, ikke målinger.
Bystyret kan gjøre stoppknappen til lov
Menins hovedforslag krever at modeller som markedsføres i byen godkjennes av en uavhengig tredjepart og kan stanses av mennesker, med 25 000 dollar i bot per brudd. Andre forslag gjelder varslerbeskyttelse, 24 timers varslingsplikt for byens leverandører og rett til å saksøke ved forutsigbar skade. Rådets stab har selv talt 13 offentlig rapporterte hendelser i 2026, og Kalifornias guvernør Gavin Newsom vil nå ha en avbryter han selv avviste for to år siden. Bystyret sender nå skriftlige oppfølgingsspørsmål som selskapene må svare på.
