Nadella krever en nødbrems for KI som mennesker kan trekke
Satya Nadella vil at mennesker skal kunne stanse avansert KI midt i en oppgave. Forslaget kommer fra en leverandør som selv tjener på å pakke inn flere modeller.
Av H. S. Pettersen · 1 min lesing
Begreper i denne artikkelen
Microsoft-sjef Satya Nadella mener avansert KI trenger en nødbrems som mennesker kontrollerer. I et innlegg på X lørdag 10. oktober skrev han at autoriserte personer må kunne stanse en modell midt i en oppgave, og at selskaper ikke bør stole utelukkende på at modellutviklerne holder systemene sine under kontroll.
Nadella vil at både lukkede og åpne modeller behandles som en mulig intern risiko, omtrent slik en bedrift behandler ansatte med tilgang til sensitive systemer.
- Flere ulike modeller, slik at ingen enkeltmodell tar viktige beslutninger
- Lesbare logger over hva modellene gjør
- Kontinuerlig testing av systemene
- Uavhengig kontroll og revisjon
- Avgrensning av hva modellene har tilgang til
- Åpenhet om hendelser
Han vil legge tilliten utenfor modellen
Oversatt skrev Nadella at det mest pålitelige systemet for superintelligens «ikke blir det med modellen vi stoler mest på». Modeller som ikke gir samme svar hver gang, må omgis av «sterk, deterministisk systemdesign, menneskelig kontroll og pålitelige driftsrutiner». Deterministisk betyr at samme inndata alltid gir samme resultat. Ifølge Straits Times, referert av Tbreak, ba han også om manipulasjonssikre logger og uavhengige revisjoner, og om at selskaper legger til grunn at en kraftig modell kan være kompromittert.
Forslaget kommer fra en leverandør med egne interesser
Forslaget kommer midt i en debatt om sikkerhet. Sam Altman og Dario Amodei ba nylig FN om internasjonale regler, og USA har foreslått et varslingssystem for KI-hendelser med Kina. Microsoft har samtidig en kommersiell interesse: selskapet selger avanserte modeller gjennom Azure og Copilot, og Tbreak peker på at krav om modellmangfold og kontrollag favoriserer den som pakker inn flere modeller.
Microsoft kunngjorde ikke noe produkt sammen med innlegget.
