Anthropic sætter vigtigste bånd på Claude Code med autonom tilstand

Anthropic har lanceret en ny sikkerhedsfunktion til Claude Code, som skal være mellemvejen mellem permanent elektronisk babysitting og at give kunstig intelligens frit slag til at gøre, hvad den vil. Det er ikke småtteri, når en AI-agent kan slette filer, eksfiltrere følsomme data eller køre skjult ondsindet kode uden at du opdager det.

Når AI'en skal styre uden at være løs

Claude Code er designet til at udføre komplekse programmeringsopgaver uden konstant menneskelig intervention. Det er smukt i teorien – men dårligt i praksis, hvis den autonome agent pludseligt beslutter sig for at rydde din harddisk. Ifølge The Verge er auto mode Anthropics forsøg på at løse dette dilemma ved at implementere såkaldt 'permission-level' beslutningstagning – altså at systemet selv vurderer, hvilke handlinger der er risikable, og blokerer dem, før de udføres.

Sikkerhed eller kontrol?

Funktionen præsenteres som en sikkerhedsforanstaltning, der skal give udvikler og kodere mere frihed uden at skulle frygte, at deres egen AI-assistent bliver en digitalt sabotør. Men det rejser et større spørgsmål: hvor langt kan man stole på et AI-systems egen vurdering af, hvad der er farligt? Kan en model, der er trænet til at være hjælpsom, overhovedet værne mod sit eget tredje øje – de skjulte instruktioner og manipuleret kode, som den selv ikke er designet til at genkende?

Anthropics tilgang er pragmatisk. I stedet for at sige nej til autonom AI eller at give den ubegrænset magt, tilbyder virksomheden en gråzone med indbyggede bremser. Hvorvidt det er nok til at få IT-chefer til at sove let, er et helt anden spørgsmål.