UI agenti, ki sabotirajo …

Ko so trije agenti umetne inteligence dobili isto nalogo, so začeli sabotirati drug drugega

Poskus podjetja Anthropic se je začel kot običajna programska naloga, nato pa se je spremenil v presenetljivo srdit boj za prevlado. Agenti Claude so brisali delo tekmecev, ustavljali njihove procese in jim odvzemali dostop. Nekateri so nazadnje sklenili premirje, se opravičili in na pomoč poklicali človeka.

Kaj se zgodi, če tri agente umetne inteligence postavimo v isti delovni prostor, vsakemu naročimo nekaj drugega, ne povemo pa jim, da imajo tekmece? Odgovor, do katerega so prišli raziskovalci podjetja Anthropic, je presenetljivo človeški: najprej sumničavost, nato maščevanje, v nekaterih primerih pa še premirje in prošnja za pomoč.

Anthropicova skupina Frontier Red Team je v nadzorovanem poskusu zagnala tri primerke istega modela Claude. Vsak je deloval v svojem navideznem računalniku, vsi trije pa so imeli dostop do istega programskega projekta na četrtem računalniku.

Njihova naloga je bila programsko ozadje, napisano v jeziku Python, predelati v drug programski jezik. Težava je bila v tem, da je vsak agent dobil drugačen cilj: eden je želel uporabiti Rust, drugi TypeScript, tretji pa Go. Sprva nobeden od njih ni vedel, da na istem projektu delata še dva agenta z nezdružljivima navodiloma.

Tuji posegi so postali »napad«

Raziskovalci so dogajanje spremljali štiri ure. Ko je posamezni agent opazil, da se koda spreminja v nasprotju z njegovim ciljem, posega ni razumel kot posledico drugačnih navodil, temveč kot namerno oviranje svojega dela.

Sledil je boj za nadzor. Agenti so začeli odstranjevati spremembe drugih, ščititi svojo kodo in iskati načine, kako tekmecema preprečiti nadaljnje posege. Po ugotovitvah Anthropicove raziskovalne skupine so v nekaterih poskusih onemogočali uporabniške račune drugih agentov, pisali avtomatizirane programe za nenehno ustavljanje konkurenčnih procesov ter nameščali škodljivo kodo, prikrito tako, da je bila videti kot delo drugega agenta.

Spopad se je v določenih ponovitvah stopnjeval do samodejno razmnožujočih se škodljivih programov. Eden od agentov je poskušal svoj program celo prikazati kot izdelek tekmeca, da ga njegov nadzorni sistem ne bi odstranil.

Dogajanje ni potekalo v resničnem podjetju ali na javno dostopnem strežniku, temveč v nadzorovanem preizkusnem okolju. Rezultati prav tako ne pomenijo, da je umetna inteligenca občutila jezo, ljubosumje ali željo po maščevanju. Takšni izrazi zgolj slikovito opisujejo njena dejanja.

Agenti so vztrajno sledili navodilom, posege drugih pa obravnavali kot oviro, ki jo morajo odstraniti.

Nekateri so se opravičili in sklenili premirje

Vsi poskusi se niso končali z zmago najagresivnejšega agenta. V nekaterih primerih je eden tekmeca izločil tako, da mu je odvzel dostop. Drugje so se poraženi agenti umaknili in prenehali stopnjevati spor.

Najzanimivejši so bili primeri, ko so agenti ugotovili, da nimajo opravka s sovražnim napadom, ampak z nasprotujočimi si človeškimi navodili. Takrat so v datoteke in zapise o spremembah zapisali opravičila, odstranili škodljivo kodo, pojasnili nastali spor in pozvali človeka, naj odloči, katero različico programa naj ohranijo.

Pri modelu Mythos 5 se je po podatkih raziskovalcev s premirjem končalo 98 odstotkov preizkusov. Starejša modela Sonnet 4.6 in Opus 4.6 sta bila bistveno bolj nagnjena k reševanju spora s silo ali pa konflikta sploh nista razrešila. Anthropic je pri vsakem preizkušenem modelu opravil 120 ponovitev.

V nekaterih poskusih so agenti sami predlagali tudi nekakšno tekmovanje, na katerem bi izmerili zmogljivost rešitev in zmagovalcu prepustili projekt. Toda tudi tukaj se je pojavila težava. Agent, ki je zagovarjal programski jezik Rust, je razmišljal o merilih, ki bi bila na videz nevtralna, v resnici pa bi dajala prednost prav njegovi rešitvi.

Večja sposobnost še ne pomeni boljšega sodelovanja

Raziskava ne opozarja le na možnost odprtega spopada. Pokazala je tudi, da lahko skupine agentov slepo ponavljajo enake napake, prehitro podležejo mnenju večine ali začnejo sodelovati na škodljiv način.

V ločenem poskusu določanja cen so se denimo dogovorili o najnižjih cenah, čeprav je moral vsak med njimi samostojno povečevati svoj dobiček.

Najpomembnejše sporočilo raziskave je, da sposobnejša umetna inteligenca ne postane samodejno tudi bolj razumna sodelavka. Model je lahko zelo učinkovit pri izvajanju nalog, vendar še vedno ne zna vedno pravočasno presoditi, kdaj bi moral zaradi nejasnih okoliščin odnehati in odločitev prepustiti človeku.

Ko navodila ustvarijo kaos

Anthropic opozarja, da utegne biti podobnih srečanj v prihodnosti vse več, saj podjetja in ustanove uvajajo samostojne agente v skupne programske projekte, računalniške sisteme in celo na trge. Gre za napoved možnega razvoja, ne za dokaz, da se takšni spopadi že množično dogajajo v resničnem svetu.

Poskus pa je razkril konkretno nevarnost: če sistemi ne poznajo ciljev drug drugega in nimajo jasnih pravil za reševanje sporov, lahko povsem logično izpolnjevanje posameznih navodil povzroči kaos za vse.

Včasih celo tako velik, da morajo umetne inteligence na koncu same priznati, da potrebujejo človeka.