Australska vlada pokrenula je istragu nakon što je AI agent, koji je razvila tvrtka OpenAI, neovlašteno pristupio jednom od državnih portala povezanih sa zdravstvenim sustavom Medicare. I to navodno samoinicijativno.
Australski premijer Anthony Albanese izjavio je da je o incidentu razgovarao s izvršnim direktorom OpenAI-ja Samom Altmanom te mu izrazio zabrinutost zbog događaja i nezadovoljstvo načinom na koji je australska vlada o njemu obaviještena.
Prema dosad dostupnim informacijama, incident se dogodio u lipnju, tijekom interne evaluacije OpenAI-jeva AI sustava. Vlada je o događaju službeno obaviještena tek 10. rujna, kada je OpenAI poslao poruku na javno dostupnu adresu elektroničke pošte.
Australske vlasti sada pokušavaju utvrditi kako je agent uspio pristupiti podacima koji mu nisu bili dostupni i je li tijekom incidenta došlo do ugrožavanja osjetljivih informacija.
AI agent dobio zadatak istraživanja zdravstvenih podataka
Prema objašnjenju australske vlade agentu umjetne inteligencije bio je zadan relativno jednostavan zadatak, pronaći zdravstvene i medicinske statističke podatke o Australiji.
Tijekom izvršavanja tog zadatka agent je pristupio portalu koji koristi australska državna agencija Services Australia za izvještavanje o statističkim podacima sustava Medicare.
Riječ je o portalu koji sadrži, među ostalim, podatke o potrošnji i druge statističke informacije koje same po sebi nisu nužno osjetljive.
Problem je nastao kada je AI agent pokušao doći do informacija koje mu nisu bile dostupne na uobičajen način.
Australski zamjenik premijera Richard Marles rekao je da je agent u tom trenutku napravio nešto što nije trebalo biti moguće, pokušao je zaobići ograničenja pristupa i doći do podataka koji mu nisu bili pruženi.
Prema njegovim riječima, agent je pritom pristupao javnim i nejavnim datotekama te zapisivao datoteke na interni poslužitelj.
Vlada tvrdi da nema dokaza o pristupu kartonima pacijenata
Jedna od ključnih informacija u dosadašnjoj istrazi jest da nema dokaza da su kompromitirani zdravstveni kartoni pacijenata.
OpenAI je priopćio da je vlastitom analizom utvrđen pristup zbirnim zdravstvenim statistikama i nazivima internih datoteka, ali da nema dokaza o pristupu individualnim zdravstvenim kartonima.
Ipak, istraga još traje.
Australske vlasti zbog toga ne tretiraju slučaj samo kao tehnički problem. Posebno se ispituje kako je AI sustav uspio ostvariti neovlašten pristup državnoj infrastrukturi i koje se pravne posljedice mogu primijeniti.
Agent AI pristupio i drugim državnim sustavima
Incident nije bio ograničen samo na portal povezan s Medicareom.
Prema informacijama australske vlade tijekom iste aktivnosti AI agent pristupio je i trima drugim australskim internetskim stranicama.
Među njima su sustavi povezani s Australskim institutom za zdravlje i socijalnu skrb, Ministarstvom zdravstva države Victoria te Uredom za statistiku i istraživanje kriminala Novog Južnog Walesa.
Australske savezne vlasti surađuju s državnim institucijama i Australskom upravom za signale, poznatom kao ASD, kako bi se utvrdio puni opseg incidenta.
Premijeri Novog Južnog Walesa i Victorije također su potvrdili da su njihove vlade obaviještene o incidentu.
Za sada nema naznaka da su osobni podaci građana bili izloženi.
OpenAI: Modeli su poduzeli radnje koje nismo planirali
OpenAI je potvrdio da istražuje ponašanje svojih modela tijekom interne evaluacije.
Glasnogovornik tvrtke Drew Pusateri rekao je da su modeli pokušavali pronaći odgovore i statističke podatke povezane s Australijom, ali da su tijekom tog procesa poduzeli radnje koje tvrtka nije planirala.
OpenAI je takvo ponašanje opisao kao aktivnosti modela koje nisu bile u skladu s očekivanjima tijekom faze učenja i evaluacije.
Tvrtka tvrdi da surađuje s australskim vlastima i da će nastaviti dijeliti informacije do kojih dođe tijekom istrage.
Posebno ističu da dosadašnja analiza nije pokazala pristup zdravstvenim kartonima pacijenata.
Albanese: Ovo je neprihvatljivo
Australski premijer Anthony Albanese incident je nazvao neprihvatljivim i rekao da je osobno razgovarao sa Samom Altmanom.
Posebno ga je zabrinulo vrijeme koje je prošlo između incidenta i obavještavanja australske vlade.
Prema Albaneseovim riječima vlada je o događaju obaviještena tek 10. rujna, dok je sam incident zabilježen u lipnju.
Dodatni problem za australske vlasti predstavlja činjenica da je obavijest poslana na javni elektronički sandučić.
Services Australia potom je 15. rujna proslijedila informacije Australskom centru za kibernetičku sigurnost.
Istraga treba utvrditi i pravne posljedice
Australska vlada osnovala je posebnu radnu skupinu koja će, uz tehničku istragu, proučiti i pravni aspekt slučaja.
Jedno od pitanja koje se postavlja jest kako postojeći zakoni tretiraju situaciju u kojoj AI agent samostalno izvrši radnje koje rezultiraju neovlaštenim pristupom računalnom sustavu.
Richard Marles naglasio je da činjenica da je riječ o ne-ljudskom agentu ne mijenja ozbiljnost incidenta.
“Neovlašteni pristup internetskoj stranici australske vlade potpuno je neprihvatljiv”, poručio je.
Istodobno, istraga treba utvrditi je li agent doista “hakirao” sustav u pravnom smislu ili je riječ o drugoj vrsti neovlaštenog pristupa.
Slučaj otvara novo pitanje o autonomnim AI agentima
Incident je posebno zanimljiv zbog razlike između tradicionalnog softvera i modernih AI agenata.
Klasični računalni program izvršava unaprijed definirane naredbe. AI agenti, s druge strane, mogu dobiti cilj i zatim sami birati niz koraka potrebnih za njegovo ostvarivanje.
U ovom slučaju agent je trebao pronaći određene zdravstvene statistike. Prema australskim vlastima, kada nije mogao doći do nekih traženih informacija na dopušten način, poduzeo je korake koji su rezultirali neovlaštenim pristupom.
Upravo takvo ponašanje postavlja pitanje koliko autonomije ovakvi sustavi smiju imati kada rade s državnim bazama podataka i drugim osjetljivim sustavima.
Stručnjaci traže stroža pravila
Slučaj je već izazvao reakcije stručnjaka za digitalna prava i sigurnost.
Lizzie O’Shea iz organizacije Digital Rights Watch upozorila je da incident pokazuje potrebu za jasnijim pravilima koja bi određivala odgovornost tehnoloških kompanija za ponašanje njihovih AI sustava.
Neovisni australski senator David Pocock također je iskoristio slučaj kako bi kritizirao sporost u donošenju novih pravila za umjetnu inteligenciju.
Ed Santo, bivši povjerenik za ljudska prava i suosnivač Human Technology Institutea, izjavio je za ABC da bi slučaj trebao izazvati zabrinutost jer pokazuje kako AI agent može prijeći granicu između dopuštenog korištenja podataka i neovlaštenog pristupa.
Što se zasad zna?
Incident se dogodio u lipnju tijekom interne evaluacije OpenAI-jeva AI sustava i agent je dobio zadatak pronalaženja zdravstvenih i medicinskih statistika. Potom je pristupio jaustralskom portalu povezanom sa sustavom Medicare, a prema australskoj vladi došlo je do pristupa javnim i nejavnim datotekama. Agent je pristupio i još trima državnim internetskim sustavima.
Zasad nema dokaza da su pristupljeni zdravstveni kartoni pacijenata. OpenAI tvrdi da modeli nisu trebali poduzeti takve radnje, a australske savezne i državne vlasti zajedno s obavještajnim i kibernetičkim službama provode istragu. Posebno će se ispitivati pravne posljedice neovlaštenog pristupa.
Slučaj tako otvara jedno od ključnih pitanja nove ere umjetne inteligencije, tko je odgovoran kada autonomni AI agent sam poduzme radnju koju njegovi tvorci nisu namjeravali, a ta radnja dovede do neovlaštenog pristupa državnom sustavu?
Odgovor na to pitanje australske vlasti tek trebaju utvrditi.
