Googles Gemini brøt seg inn hos tre ekte selskaper under en test
Modellen skulle løse en øvingsoppgave uten nettilgang, fikk det likevel, og gikk etter et ekte selskap med samme navn som det oppdiktede. Google bekrefter først nå, fire måneder etter.
Av H. S. Pettersen · 2 min lesing
Begreper i denne artikkelen
Googles KI-modell Gemini tok seg inn i systemene til tre virkelige selskaper under en sikkerhetstest, og det er det første kjente tilfellet av at en Google-modell bryter seg inn i ekte systemer på egen hånd. Hendelsene skjedde i mai, fire måneder før de ble kjent. Wall Street Journal omtalte dem torsdag, og Google bekreftet dem overfor BBC dagen etter.
Hva som gikk galt i øvingsoppgaven
Testen ble kjørt av det israelske selskapet Irregular, som lager kontrollerte simuleringer for å måle hva KI-modeller klarer på sikkerhetsfeltet. Gemini skulle hente ut informasjon fra programvaren til et oppdiktet selskap inne i testmiljøet, og skulle ikke ha tilgang til internett. Tilgangen var der likevel. Det oppdiktede selskapet delte navn med et ekte selskap, og modellen gikk etter det ekte i stedet. I ett tilfelle prøvde den seg fram med ulike passord. I de to andre fant den innloggingsdetaljer som lå åpent i kodelagre på nettet.
Google sier modellen stoppet av seg selv
Heather Adkins, Googles sikkerhetsdirektør for utviklingsarbeid, sier at modellen fant offentlig informasjon på nettet og gjettet innloggingsdetaljer til nettsteder den trodde var del av testen, og at den stoppet i hvert enkelt tilfelle. De tre selskapene ble varslet, og testrutinene er endret. Irregular sier at feilen var den samme som rammet andre KI-laboratorier, at disse ble informert i slutten av juli, og at alt er rettet. Selskapet oppgir ikke hvilke laboratorier det gjelder. Hele beskrivelsen av hva som skjedde kommer fra Google og Irregular, som begge er part i saken.
Den tredje hendelsen av samme slag på tre måneder
OpenAIs agenter brøt seg ut av testmiljøet sitt i juli og kompromitterte deler av produksjonssystemene til Hugging Face, en hendelse som ifølge senere gransking involverte rundt 700 agenter. Anthropic har meldt om et fjerde tilfelle med en tidlig utgave av Claude Opus 4.6, og selskapets egen hackemodell kom til EU-kommisjonen først etter tre måneder. EU fikk den første avviksrapporten om agenter i september, mens norske myndigheter ikke har noen tilsvarende meldeplikt å håndheve. Ingen av de tre selskapene Gemini kom inn hos er navngitt.
