1 week ago
12
REPUBLIKA.CO.ID, JAKARTA -- Pakar keamanan siber sekaligus pendiri Drone Emprit, Ismail Fahmi, menyoroti maraknya dugaan penyalahgunaan fitur kecerdasan buatan (Al), termasuk Grok Al di platform X, untuk memproduksi konten asusila. Praktik ini mencakup manipulasi foto pribadi yang bersifat sensitif tanpa persetujuan pemiliknya, yang kerap menjerat perempuan sebagai korban.
Ismail menilai maraknya penyalahgunaan Al untuk membuat konten asusila terjadi bukan karena teknologi tersebut bersifat jahat, melainkan karena Al kini sangat mudah digunakan untuk tujuan berbahaya. "Dulu butuh skill tinggi untuk manipulasi foto atau video. Sekarang cukup aplikasi, klik, dan unggah foto seseorang. Hasilnya sudah sangat realistis," kata Ismail saat dihubungi Republika, Kamis (8/1/2026).
la menjelaskan, dari sisi teknologi, celah utama terletak pada kemampuan model Al yang dapat meniru wajah dan tubuh manusia dengan presisi tinggi. Selain itu, banyak alat Al tidak membedakan antara foto publik dan foto pribadi, serta hampir tidak memiliki penanda yang jelas apakah suatu konten merupakan hasil manipulasi Al atau bukan.
Menurut Ismail, kondisi tersebut sebenarnya bisa dicegah sejak tahap desain teknologi. Sejumlah langkah teknis dapat diterapkan, seperti pembatasan manipulasi wajah orang nyata, pemberian label wajib pada konten buatan Al, serta pendeteksian pola penggunaan yang mencurigakan sejak awal.
"Ini bukan masalah tidak bisa dicegah, tapi apakah pencegahan itu dijadikan prioritas atau tidak sejak awal. Dan tampaknya tidak menjadi prioritas," ujar Ismail.
Dalam konteks kekerasan berbasis gender online, Ismail menegaskan bahwa tanggung jawab tidak sepenuhnya berada di tangan pelaku. Meski pelaku tetap bertanggung jawab secara hukum, pengembang dan platform Al juga memiliki tanggung jawab moral dan sosial.
la menilai, jika pengembang dan platform mengetahui bahwa teknologinya berpotensi digunakan untuk membuat deepfake porn, mempermalukan perempuan, atau memeras korban secara seksual, serta memiliki kemampuan teknis untuk mencegah atau membatasi, maka tanggung jawab tidak bisa dihindari.
"Kalau sebuah teknologi mempermudah kekerasan, penyedianya tidak bisa cuci tangan. Tidak cukup bilang 'yang salah penggunanya'. Tanggung jawab itu berbagi. Pelaku bertanggung jawab secara hukum, platform dan pengembang bertanggung jawab pada pencegahan, pengawasan, dan penanganan korban," kata Ismail.
Ismail kemudian mengusulkan tiga langkah teknis dan kebijakan yang dinilai paling mendesak agar Al tidak memperparah kekerasan berbasis gender. Pertama, penandaan wajib pada konten buatan Al, agar publik dapat membedakan mana konten asli dan mana hasil manipulasi.
Kedua, sistem pelaporan dan penghapusan konten yang cepat serta berpihak pada korban. la menekankan bahwa korban tidak seharusnya dipaksa menghadapi proses panjang dan birokratis. "Konten harus bisa diturunkan dalam hitungan jam, bukan minggu," kata Ismail.
Lalu ketiga, perlu ada kejelasan tanggung jawab hukum bagi platform. Menurut Ismail, tanpa konsekuensi hukum yang tegas, kepentingan trafik dan engagement akan selalu mengalahkan perlindungan korban.
"Di titik ini, pemerintah harus hadir dan memastikan aturan itu benar-benar ditegakkan," ujar Ismail.
