Tisuće umjetno generiranih slika djece i mladih se distribuira na društvenoj mreži Instagram, i to pod određenim hashtagovima. Brojna djeca i mladi na slikama su prikazani u oskudnom donjem rublju, kupaćim kostimima ili seksualiziranim pozama. To pokazuje istraživanje SWR-ovog istraživačkog formata Vollbild. SWR je njemački javni RTV-servis.

Neki profili na kojima se dijeli takve slike, povezani su s platformama za trgovanje, grupno financiranje ili community-platformama. Tamo se ponekad distribuira slike eksplicitnog seksualnog zlostavljanja djece stvorene pomoću umjetne inteligencije (AI). Stručnjaci upozoravaju na opasnost od slika zlostavljanja koje stvara umjetna inteligencija: one otežavaju istrage i mogu povećati spremnost pedofila da počine prave napade, tvrdi se.

Trgovina slikama zlostavljanja djece generiranih umjetnom inteligencijom

Prema istraživanju SWR-a, među povezanim community-platformama nalazi se i japanska web-stranica koja dijeli eksplicitne slike zlostavljanja djece generiranih umjetnom inteligencijom. Ona je poznata i njemačkom Uredu za borbu protiv kriminala (BKA) i, prema komentarima korisnika, čini se da služi ljudima s pedofilnim poremećajem za umrežavanje.

Nekoliko korisnika se preko te stranice povezuje na lokaciju na webu koja sadrži stvarne slike zlostavljanja djece. To potvrđuje i Internet Watch Foundation, međunarodni centar za prijavu seksualnog zlostavljanja djece sa sjedištem u Velikoj Britaniji.

Osim toga kruže slike generirane umjetnom inteligencijom temeljene na stvarnom zlostavljanju djece. Na to ukazuju komentari korisnika ispod slika koje je generirala umjetna inteligencija, kao i zapažanja zaklade Internet Watch.

Nedostatak sigurnosnih mehanizama

"Ljudi prodaju pristup takvim slikama ili su plaćeni da ih naprave", kaže Dan Sexton iz britanske nevladine organizacije. Organizacija je većinu slika zlostavljanja djece generiranih umjetnom inteligencijom do sada pronašla na Dark Webu. Prema Sextonovim riječima, kako se njihov broj povećava, povećava se i rizik da će sve više njih završiti na otvorenom webu, odnosno da će biti dostupne široj publici. "Ovo nije nešto što bi se moglo dogoditi u budućnosti, već nešto što se već sada događa", kaže on.

Prema istraživanju Vollbilda, ​​umjetno generirane slike dječje i pornografije mladih proizvedene su prvenstveno pomoću verzije AI-programa Stable Diffusion. Za razliku od dva velika konkurentska AI-programa DALL-E i Midjourney, koji se koriste za izradu slika, Stable Diffusion je softver otvorenog koda, što znači da je njegov kod javno dostupan. Verzija softvera ne uključuje nikakve sigurnosne mehanizme koji sprječavaju, primjerice, stvaranje slika na kojima su razgolićena djeca. To pokazuje eksperiment koji je proveo sam urednički tim Vollbilda.

Potencijalno veliki problem za vlasti

BKA ne bilježi zasebno slučajeve pornografije generirane umjetnom inteligencijom, ali ukupni rizik za pornografiju djece i mladih se ocjenjuje kao visok. U 2022. broj slučajeva porastao je za 7,4 posto za dječju pornografiju i za 32,1 posto za pornografiju mladih osoba. Osim toga, svakodnevne stvarne fotografije mogle bi poslužiti kao temelj za pornografiju generiranu umjetnom inteligencijom. Prema navodima BKA, slike generirane umjetnom inteligencijom teško se mogu razlikovati od stvarnih.

“Ono što smatram zabrinjavajućim je da će se povećati broj dostupnih materijala, ali prije svega kvaliteta sadržaja”, kaže viši javni tužitelj Markus Hartmann. On je na čelu Centrale za kibernetički kriminal (ZAC) u njemačkoj saveznoj zemlji Sjeverna Rajna-Vestfalija. Prema Hartmannu, razvoj bi mogao dovesti do toga da istražna tijela krivo procijene slike generirane umjetnom inteligencijom, tj. da ih tretiraju kao novu stvarnu zloupotrebu i tako dodatno opterete svoje resurse.

Generirana dječja pornografija može biti okidač…

No, ponuda umjetno stvorene dječje pornografije također predstavlja opasnost za osobe s pedofilnim poremećajima, kaže profesor Klaus Michael Beier, direktor Instituta za seksualne znanosti i seksualnu medicinu na Charitéu u Berlinu. On također vodi berlinsku lokaciju "Don't Become a Perpetrator", to je servis za pružanje stručne pomoći pedofilima.

Problem: kao i stvarna dječja pornografija, slike generirane umjetnom inteligencijom također dovode do iskrivljenja percepcije, kaže Beier. One, kako kaže Beier, stvaraju lažnu sliku kod pedofila da je seksualni kontakt između djece i odraslih moguć i da ga djeca čak žele.

Njegovo upozorenje podupire međunarodna studija finske nevladine organizacije “Protect Children”. U njoj je sudjelovalo više od 8.000 ljudi koji na darknetu koriste slike zlostavljanja djece. Otprilike trećina ispitanih izjavila je da je nakon gledanja ilustracija doista tražila kontakt s djecom.

Moguća pravna rupa u Njemačkoj?

U Njemačkoj je distribucija, nabavka i posjedovanje dječje pornografije ili pornografije mladih zabranjeno prema Paragrafu 184 b i c Kaznenog zakona. Ali budući da za sada jedva da postoji bilo kakva sudska praksa o dječjoj pornografiji i pornografiji mladih koju stvara umjetna inteligencija, to stvara pravnu nesigurnost, kaže ministar pravosuđa pokrajine Rheinland-Pfalz, Herbert Mertin (FDP): "Jedan problem bi mogao biti da se jednostavno proizvodi bez distribucija. Ako se to radi umjetnom inteligencijom, to može proći nekažnjeno. Ako to radite sa stvarnom djecom, onda je to kažnjivo."

Konferencija ministara pravosuđa iz svih njemačkih saveznih zemalja stoga je zatražila od saveznog ministra pravosuđa Marca Buschmanna (FDP) da osnuje povjerenstvo stručnjaka koji će se baviti novim razvojem događaja, kaže Mertin.

Zakon EU-a obvezuje pružatelje platformi

U odgovoru na zahtjev formata Vollbild, glasnogovornica Saveznog ministarstva pravosuđa piše da se "instrumenti kaznenog prava" kontinuirano ispituju. Ona navodi da su osim stvarnih, kažnjivi i "pornografski prikazi djece i mladih koje se redovito generiraju pomoću umjetne inteligencije". Ako se ilegalni sadržaj distribuira putem internetskih platformi poput Instagrama ili spomenute japanske web-stranice, primjenjuje se Zakon o digitalnim uslugama, navodi glasnogovornica. Zakon EU-a obvezuje platforme na uspostavljanje mogućnosti prijavljivanja zloupotreba, kao i poduzimanje koraka protiv nepravilnog korištenja njihovih usluga.

Na upit Vollbilda, ​​glasnogovornici Instagrama i japanske community-platforme jasno su se pozicionirali protiv dječje pornografije. Instagram ne poduzima samo mjere protiv eksplicitnog seksualnog sadržaja, već i protiv profila, stranica ili komentara koji dijele slike djece koje nemaju jasno seksualnu konotaciju, ako natpisi, hashtagovi ili komentari sadrže neprikladne znakove naklonosti, navodi Instagram.

Platforme neadekvatno odgovaraju

Međutim, istraživanje Vollbilda pokazuje da Instagram i japanska web-stranica nedovoljno poštuju obvezu uklanjanja ilegalnog sadržaja. Tijekom istraživanja uredništvo je izvijestilo o nekoliko desetaka profila na Instagramu čiji su vlasnici oglašavali prodaju stvarne pornografije s djecom i mladim osobama.

Samo trećinu profila Instagram je izbrisao u roku od 48 sati. Za ostale se u početku nije moglo utvrditi kršenje smjernica mreže. Preostali profili izbrisani su tek nakon ponovljene prijave.

Glasnogovernica japanske web-stranice piše da su pornografske slike djece i mladih koje je objavio Vollbild generirane umjetnom inteligencijom izbrisane. Ipak i nakon njihovog odgovora Vollbild navodi da su se na platformi mogle pronaći slične slike generirane umjetnom inteligencijom.

"U Njemačkoj imamo odgovarajuće zakonske propise s kojima se takvo nešto može ukloniti s mreže", kaže ministar pravosuđa pokrajine Rheinland-Pfalz Mertin.

On međutim dodaje da se mnogi počinitelji nalaze u inozemstvu i stoga ih je teško uhvatiti. Osim toga, kaže da je međunarodna suradnja ponekad teška. Glavna državna tužiteljica Hartmann vidi problem prije svega u činjenici da operaterima platforme nije lako prepoznati odgovarajuće ilegalne sadržaje.

Tagesschau.de/zi

Pratite nas i na Facebooku, preko X-a, na Youtubeu, kao i na Instagramu