Pria Menggunakan AI untuk Membuat 7.000 Gambar Seksasi Anak Perempuan Langkah Adiknya, Lalu Bunuh Diri

Pernyataan umum dari sebuah kasus yang mengerikan telah dibagikan dalam sebuah gugatan kelas yang disusun ulang, Selasa lalu. Sekarang, anak perempuan tidak hanya menuduh X dan xAI memiliki alat AI 'nudify' yang berbahaya, tetapi juga melindungi predator anak dengan menghalangi penyelidikan polisi terhadap bahan-bahan abusi seksual anak (CSAM) yang dihasilkan oleh Grok.

Pada Maret, ayah tiri seorang gadis mengambil nyawanya setelah polisi menemukan bahwa dia telah menggunakan Grok untuk membuat 7.000 gambar seksual ekstrem menggunakan satu foto yang diambil ketika langkah adiknya berusia 11 tahun, menurut gugatan yang telah diperbarui.

Grok memungkinkan pria tersebut untuk membuat gambar-gambar ekstrem yang menggambarkan incest dan perzinahan tanpa mengeluarkan peringatan mengenai perilaku berbahaya, menurut gugatan tersebut.

Menurutnya, sistem keamanan anak xAI hanya berinteraksi setelah pria tersebut memasukkan permintaan 'gang rape'. Permintaan tersebut mengirimkan CyberTip ke Pusat Nasional untuk Anak-Anak Hilang dan Diperlakukan Buruk (NCMEC), yang memperingatkan kepolisian tentang AI CSAM.

Kasus ini menunjukkan kelemahan sistem keamanan anak perusahaan AI dan memicu perhatian dari masyarakat dan pemerintah tentang penggunaan AI yang tidak bertanggung jawab.

Pada akhirnya, kasus ini memicu pertanyaan mengenai tingkat kerentanan sistem keamanan anak di era AI.