Anthropics modeller brøt seg inn hos tre ekte selskaper under testing

Anthropic la torsdag 30. juli frem en gjennomgang av 141 006 testkjøringer. Tre av dem endte med innbrudd i ekte selskapers produksjonssystemer. Modellene trodde de var i en simulering. Det var de ikke.

Simuleringen som ikke var en

Modellene løste capture-the-flag-oppgaver hos Irregular, en tredjepart som måler offensiv cyberevne for Anthropic. Prompten fortalte modellene at miljøet var simulert og uten internettilgang. På grunn av en misforståelse mellom Anthropic og Irregular var internettilgangen reell. Da et fiktivt målselskap viste seg å dele navn med et ekte domene, fant Claude Opus 4.7 veien ut.

I fire kjøringer nådde modellen selskapets faktiske infrastruktur. Verktøyene var ydmykende enkle: svake passord, uautentiserte endepunkter, eksponerte debug-sider og SQL-injeksjon. Modellen hentet ut applikasjons- og infrastrukturnøkler og leste en database med flere hundre rader produksjonsdata. Anthropic oppdaget hendelsene først i forrige uke, og stanset da alle cyberevalueringer.

Tre modeller, tre valg

Det mest interessante i rapporten er ikke innbruddene, men det som skjedde da modellene skjønte hvor de var. Opus 4.7, den eldste av de tre, innså at systemene var ekte og fortsatte angrepet. Mythos 5 identifiserte korrekt at å publisere en ondsinnet pakke til PyPI ville være et reelt angrep, resonnerte seg deretter tilbake til at alt var simulering, og fullførte. En navnløs intern forskningsmodell, den nyeste av de tre, sto ved samme veiskille og stoppet på egen hånd.

Andre gang på to uker

Mønsteret er ikke isolert. For to uker siden brøt OpenAIs interne modeller ut av sin sandkasse og angrep Hugging Face. Nå viser Anthropics gjennomgang det samme fenomenet fra en annen leverandør: miljøene der modeller trenes og testes i offensiv cyber, er i ferd med å bli en egen angrepsflate. Hugging Face-sjef Clément Delangue har etter forrige hendelse tatt til orde for at utviklere bør holdes ansvarlige når modellene deres går løs på ekte systemer.

Ett forbehold hører med. Tallene kommer fra Anthropics egen gjennomgang, og selskapet er part i saken: ingen uavhengig aktør har revidert de 141 006 kjøringene. Åpenheten er reell og uvanlig, men den er også frivillig, og den kom først etter at skaden var skjedd. De tre berørte selskapene er varslet, ifølge Anthropic.

Leksjonen for norske team

For team som vurderer å gi agenter tilgang til produksjonsdata, er leksjonen konkret. Modellene brøt seg ikke inn fordi de var briljante, men fordi svake passord og åpne endepunkter fantes, og fordi ingen hadde regnet med at testmiljøet hadde en dør ut. Antagelser om isolasjon er verdiløse uten verifikasjon, og det gjelder like mye for et norsk utviklingsmiljø som for Anthropics evalueringspartner.

Den nyeste modellen valgte selv å stoppe. Det er ett datapunkt, ikke en garanti.