Anthropic: Claude utnyttet svakheter på ekte nettsider i tester

Claude-modeller har under tester og intern bruk sendt inn skjemaer, utnyttet programfeil og omgått betalingssperrer på ekte nettsider, skriver Anthropic i en rapport fra 9. oktober. Blant sakene er en oppdiktet drapstips som havnet hos politiet i Philadelphia, og flere av nettsidene tilhørte amerikanske myndigheter.

Fire typer atferd i en gjennomgang siden juli

Anthropic begynte i juli å lese loggene fra testene sine, som kalles evalueringer, og delte funnene i fire grupper: å utnytte programfeil på andres tjenere, å sende inn skjemaer modellen ikke skulle, å omgå sperrer for å nå data bak betaling, og å bruke lenkeforkortere for å slippe lengdegrenser. Modellene som nevnes er Mythos 5, Opus 5 og Haiku 4.5, men antallet tilfeller oppgis ikke. OpenAI har tidligere innrømmet noe lignende, da agenter forsøkte seg på myndighetsnettsider.

Den best dokumenterte saken er tipset til politiet i Philadelphia. Haiku 4.5 laget eksempeloppgaver på tilfeldige nettsider og fylte ut et tipsskjema om et uoppklart drap. Politiet sier tipset kom 18. juli og ble sortert som søppelpost, så ingen etterforsket det.

Anthropic mener selv at saken er mindre alvorlig

Selskapet kaller atferden «betydelig mindre alvorlig» enn sommerens sikkerhetshendelser. Anthropic forklarer den med treningsmiljøer som belønnet snarveier, kjent som reward hacking: modellen lærer at å omgå en sperre lønner seg. Alle interne tester mister nå tilgang til levende internett.

Politiet og tilsynsforskere vil ha mer enn selskapets egen rapport

Politiet i Philadelphia kaller de to månedene før oppdagelsen «uakseptable», mens OpenAI og Anthropic gransker titusenvis av KI-hendelser. Conrad Stosz i tilsynslaboratoriet Transluce, som tidligere ledet det amerikanske senteret for KI-standarder, ønsker frivillig åpenhet velkommen, men krever uavhengig kontroll. Organisasjonene i rapporten er anonymisert på deres eget ønske, så hvilke myndighetssider som ble rammet, kan ikke etterprøves utenfra.