Hiljade umjetno generiranih slika djece i mladih bivaju distribuirane na društvenoj mreži Instagram pod određenim hashtagovima. Brojna djeca i mladi na slikama su prikazani u oskudnom donjem rublju, kupaćim kostimima ili u seksualiziranim pozama. To pokazuje istraživanje SWR istraživačkog formata Vollbild.

Neki profili, na kojima bivaju dijeljene takve slike, su povezani sa platformama za trgovanje, grupno financiranje ili community-platformama. Tamo se ponekad distribuiraju slike eksplicitnog seksualnog zlostavljanja djece stvorene pomoću umjetne inteligencije (AI). Stručnjaci upozoravaju na opasnost od slika zlostavljanja, koje stvara umjetna inteligencija: one otežavaju istrage i mogu povećati spremnost pedofila da počine prave napade.

Trgovina slikama zlostavljanja djece generiranih umjetnom inteligencijom

Prema istraživanju Vollbild-a, među povezanim community-platformama nalazi se japanska web stranica, koja dijeli eksplicitne slike zlostavljanja djece generirane umjetnom inteligencijom. Ona je poznata i njemačkom Uredu za borbu protiv kriminala (BKA) i, prema komentarima korisnika, čini se da služi ljudima s pedofilnim poremećajem za umrežavanje.

Nekoliko korisnika odatle se povezuje na web stranicu, koja sadrži stvarne slike zlostavljanja djece. To potvrđuje i “Internet Watch Foundation”, međunarodni centar za prijavu seksualnog zlostavljanja djece sa sjedištem u Velikoj Britaniji. 

Osim toga kruže slike generirane umjetnom inteligencijom, koje su temeljene na stvarnom zlostavljanju djece. Na to ukazuju komentari korisnika ispod slika koje je generirala umjetna inteligencija, kao i zapažanja Fondacije Internet Watch.

Nedostatak sigurnosnih mehanizama

"Ljudi prodaju pristup takvim slikama ili su plaćeni da ih naprave", kaže Dan Sexton iz britanske nevladine organizacije. Organizacija je većinu slika zlostavljanja djece generiranih umjetnom inteligencijom do sada pronašla na Dark Webu. Prema Sextonovim riječima, kako se njihov broj povećava, povećava se i rizik da će sve više njih završiti na otvorenom webu. "Ovo nije nešto što bi se moglo dogoditi u budućnosti, već nešto što se već sada događa", kaže on.

Prema istraživanju Vollbild-a, ​​umjetno generirane slike dječje i mladenačke pornografije proizvedene su prvenstveno pomoću verzije AI-programa Stable Diffusion. Za razliku od dva velika konkurentska AI programa DALL-E i Midjourney, koji se koriste za izradu slika, Stable Diffusion je softver otvorenog koda i njegov je kod javno dostupan. Verzija softvera ne uključuje nikakve sigurnosne mehanizme koji sprječavaju, primjerice, stvaranje slika na kojima su obznažena djeca. To pokazuje eksperiment koji je proveo sam urednički tim Vollbilda.

Potencijalno preopterećenje za vlasti

BKA ne bilježi zasebno slučajeve pornografije generirane umjetnom inteligencijom, ali ukupni rizik za pornografiju djece i mladih kao visok ocjenjuje kao visok. U 2022. broj slučajeva porastao je za 7,4 posto za dječju pornografiju i za 32,1 posto za pornografiju za mlade. Osim toga, svakodnevne stvarne fotografije mogle bi poslužiti kao osnova za pornografiju generiranu umjetnom inteligencijom. Prema navodima BKA, slike generirane umjetnom inteligencijom teško se mogu razlikovati od stvarnih.

“Ono što smatram zabrinjavajućim jest da će se povećati broj dostupnih materijala, ali prije svega kvaliteta sadržaja”, kaže viši javni tužitelj Markus Hartmann. On je na čeku Centrale za kibernetički kriminal (ZAC) u njemačkoj saveznoj zemlji Sjeverna Rajna-Vestfalija. Prema Hartmannu, razvoj bi mogao dovesti do toga da istražna tijela netačno procijene slike generirane umjetnom inteligencijom kao novu stvarnu zloupotrebu i tako dosegnu granice i mogućnosti svog djelovanja. 

Dječja pornografija generirana AI-jem može biti okidač

No ponuda umjetno stvorene dječje pornografije također predstavlja opasnost za osobe s pedofilijskim poremećajima, kaže profesor Klaus Michael Beier, direktor Instituta za seksualne znanosti i seksualnu medicinu na Charitéu u Berlinu. On također vodi berlinsku lokaciju "Don't Become a Perpetrator", servis za podršku pedofilima.

Problem: Kao i stvarna dječja pornografija, slike generirane umjetnom inteligencijom također dovode do iskrivljenja percepcije, kaže Beier. One, kako kaže Beier, stvaraju lažnu sliku kod pedofila da je seksualni kontakt između djece i odraslih moguć i da ga djeca čak žele.

Njegovo upozorenje podupire međunarodna studija finske nevladine organizacije “Protect Children”. U njoj je sudjelovalo više od 8.000 ljudi, koji na Darknetu koriste slike zlostavljanja djece. Otprilike trećina ispitanih izjavila je da je nakon gledanja ilustracija doista tražila kontakt s djecom.

Moguća pravna rupa u Njemačkoj?

U Njemačkoj je distribucija, nabavka i posjedovanje slika dječje pornografije ili pornografije za mlade zabranjena - prema Paragrafu 184 b i c Kaznenog zakona. Ali budući da zasad jedva da postoji bilo kakva sudska praksa o dječjoj pornografiji i pornografiji mladih koju stvara umjetna inteligencija, to stvara nesigurnost, kaže ministar pravosuđa pokrajine Rhinenland-Pfalz, Herbert Mertin (FDP): "Jedan problem bi mogao biti da se takvi sadržaji jednostavno proizvode bez distribucije. Ako se to radi umjetnom inteligencijom, to može proći nekažnjeno. Ako to radite sa stvarnom djecom, onda je to kažnjivo."

Konferencija ministara pravosuđa stoga je zatražila od saveznog ministra pravosuđa Marca Buschmanna (FDP) da osnuje povjerenstvo stručnjaka koji će se baviti ovim novim razvojem događaja, kaže Mertin.

Zakon EU obvezuje pružatelje platformi

U odgovoru na zahtjev formata Vollbild, glasnogovornica Saveznog ministarstva pravde piše da se "instrumenti kaznenog prava" kontinuirano ispituju. Ona navodi da su osim stvarnih, kažnjive i "pornografske predstave djece i mladih koje se redovito generiraju pomoću umjetne inteligencije". Ako se ilegalni sadržaj distribuira putem internetskih platformi poput Instagrama ili spomenute japanske web stranice, primjenjuje se Zakon o digitalnim uslugama, navodi glasnogovornica. Zakon EU obvezuje platforme na uspostavljanje mogućnosti prijavljivanja zloupotreba, kao i poduzimanje koraka protiv nepravilnog korištenja njihovih usluga. 

Na upit Vollbild-a, ​​glasnogovornici Instagrama i japanske community-platforme jasno su se pozicionirali protiv dječje pornografije. Instagram ne poduzima samo mjere protiv eksplicitnog seksualnog sadržaja, već i protiv profila, stranica ili komentara koji dijele slike djece koje nemaju jasno seksualnu konotaciju, ako natpisi, hashtagovi ili komentari sadrže neprikladne znakove naklonosti, navodi Instagram. 

Platforme neadekvatno odgovaraju

Međutim, istraživanje Vollbild-a pokazuje da Instagram i japanska web stranica nedovoljno poštuju obavezu uklanjanja ilegalnog sadržaja. Tokom istraživanja uredništvo je izvijestilo o nekoliko desetaka profila na Instagramu čiji su vlasnici oglašavali prodaju stvarne pornografije za djecu i mlade.

Samo trećinu profila Instagram je izbrisao u roku od 48 sati. Za ostale se u početku nije moglo utvrditi kršenje smjernica mreže. Preostali profili izbrisani su tek nakon ponovljene prijave.

Glasnogovernica japanske web stranice piše da su pornografske slike djece i mladih, koje je objavio Vollbild i koje su generirane umjetnom inteligencijom, izbrisane. Ipak i nakon njihovog odgovora Vollbild navodi da su se na platformi mogle pronaći slične slike generirane umjetnom inteligencijom.

"U Njemačkoj imamo odgovarajuće zakonske propise s kojima se takvo nešto može ukloniti s mreže", kaže ministar pravosuđa pokrajine Rhineland-Pfalz Mertin.

Ministar međutim napominje da se mnogi počinitelji nalaze u inozemstvu i stoga ih je teško uhvatiti. Osim toga, kaže da je međunarodna suradnja ponekad teška. Glavna državna tužiteljica Hartmann vidi problem prije svega u činjenici da operaterima platforme nije lako prepoznati odgovarajuće slike.

tagesschau

Pratite nas i na Facebooku, preko X-a, na Youtubeu, kao i na  Instagramu