Anthropic betaler Accenture for å kontrollere Anthropic uavhengig

Anthropic har inngått avtale med Accenture om det selskapet kaller innebygd evaluering, og det er den første konkrete oppfølgingen av løftet Dario Amodei ga da han ba bransjen bremse tempoet. Arbeidet skal ledes av Faculty, Accentures egen KI-virksomhet, og omfatter evaluering, red-teaming og testing av modellenes sikkerhetsmekanismer. Red-teaming betyr at et eget lag systematisk prøver å få modellen til å gjøre det den ikke skal.

Hva de to partene lover å bruke

Begge selskapene venter å investere minst én milliard dollar hver over de neste fem årene. Anthropic skriver at avtalen ikke er eksklusiv, at flere evaluatorer kommer de nærmeste ukene, og at Accenture skal gjøre tilsvarende arbeid for andre modellutviklere.

Hvem som betaler, og hvorfor det er et problem

Anthropic finansierer Accentures arbeid direkte. Selskapet skriver samtidig at finansieringen på sikt bør komme fra felles eller offentlige kilder, men at ingen slik ordning finnes i dag. En kontrollør som får hele honoraret fra den som kontrolleres, er uavhengig i en snevrere forstand enn ordet vanligvis brukes, og Anthropic har tidligere fått kritikk for at tilsynet med sikkerhetsfiltrene var selskapet selv. Accenture selger i tillegg KI-innføring til bedrifter og myndigheter, altså inn i det samme markedet Anthropic lever av.

Hva som fortsatt ikke er avklart

Det finnes ingen standard for hva innebygde evaluatorer skal ha tilgang til, eller hvordan de skal rapportere det de finner, og Anthropic sier dette rett ut. Selskapet understreker at ansvaret for modellenes sikkerhet fortsatt ligger hos det selv. Ordningen kommer i tillegg til, ikke i stedet for, den frivillige testingen som til nå har vært hovedmekanismen, og selskapet er i dialog med den ideelle organisasjonen METR om å teste deler av ordningen.

Alle opplysningene om avtalen kommer fra Anthropics egen kunngjøring. Accenture har ikke publisert noen beskrivelse av hva mandatet omfatter.