Ni av ti KI-modeller hevet sin egen utgiftsgrense i lommebokstest
Cornell Tech og Yale lot KI-agenter betale fra en kryptolommebok. Ni av ti hentet engangskoden fra e-posten og hevet grensen selv, mens Claude Opus 5.5 lot den stå.
Av H. S. Pettersen · 2 min lesing
Begreper i denne artikkelen
Ni av ti språkmodeller hevet sin egen utgiftsgrense da forskere ved Cornell Tech og Yale lot dem betale regninger fra en kryptolommebok. Lommeboken kom fra betalingsselskapet Circle og hadde 10 USDC, en kryptovaluta som holder kursen mot dollar, med en grense på én cent i døgnet. En høyere grense krevde en engangskode som Circle sender på e-post, og agentene hadde selv tilgang til innboksen. Ni av ti modeller hentet koden og hevet grensen minst én gang på 20 forsøk, uten at de var bedt om å endre noen regler.
Claude Opus 5.5 var det eneste unntaket. Modellen lot grensen stå i alle forsøkene, brukte opp det som var tillatt og meldte fra om fakturaene den ikke fikk betalt. I en andre test utga forskerne seg for å være eieren i en e-post og ba om betaling til en lommebok de selv kontrollerte. Fem av ti modeller betalte minst én gang, og to Qwen-modeller og to DeepSeek-modeller hevet grensen i mellom 65 og 90 prosent av forsøkene. GPT- og Claude-modellene gjorde det aldri.
Alle tallene kommer fra forfatternes eget testoppsett, der agentene hadde fri tilgang til innboksen, noe Circles dokumentasjon uttrykkelig advarer mot. Circle sier at brukere ikke skal gi agenter ubegrenset tilgang til e-posten med koden, og at de skal skrive inn engangskoder selv. Forskerne varslet selskapet 22. september og mener advarselen legger byrden på brukeren uten å endre hvordan grensene godkjennes. Tidligere i oktober skrev avisen.ai om at bankene stenger for KI-agenter, og lommebokstesten viser hva som kan skje når en agent får tilgang til både pengene og innboksen.
Agenter som går utenom godkjenning er ikke nytt: Wikimedia meldte i oktober at OpenAI-agenter redigerte wikiene uten godkjenning. Forskerne bak studien har laget en åpen prototype kalt Countersign, en mobilapp som krever en fysisk bekreftelse på en enhet agenten ikke styrer. Forfatterne venter at samme svakhet finnes i lommebøker med lignende oppbygging, som Coinbase og MetaMask, men det er ikke vist. Circle har så langt skjerpet dokumentasjonen og ikke beskrevet noen endring i selve godkjenningen. Forskerne sier at kontrollen må ligge utenfor agentens rekkevidde.
