Konten-konten gambar hasil produksi kecerdasan buatan (AI) semakin banyak beredar di internet dan menimbulkan kekhawatiran. Konten-konten ini dapat menipu pengguna internet yang tidak mengetahui kebenaran di baliknya. Di Korea Selatan, kasus pornografi deepfake AI telah menjadi masalah serius dalam beberapa waktu terakhir. Banyak warga Korsel, termasuk anak di bawah umur, menjadi korban kejahatan seks deepfake.

Kasus ini mencuat setelah chat rooms di Telegram viral dengan materi pornografi deepfake yang memicu ketakutan dan kemarahan di Korea Selatan. Menurut Badan Kepolisian Nasional Korea Selatan, ada 297 kasus kejahatan deepfake pornografi yang dilaporkan dari Januari hingga Juli. Dari 178 terdakwa, 113 di antaranya adalah remaja. Di Seoul sendiri, 10 remaja berusia 14 tahun telah ditangkap atas kejahatan ini.

Dengan maraknya konten AI yang meresahkan, Google sedang mengembangkan alat untuk mendeteksi konten buatan AI. Awal tahun ini, Google bergabung dengan komite Coalition for Content Provenance and Authenticity (C2PA) dan sedang mengembangkan teknologi untuk mendeteksi dan menandai konten AI.

Teknologi ini akan diimplementasikan pada Content Credentials, sebuah ekstensi yang membantu melacak asal konten video dan foto. Dalam beberapa bulan mendatang, Google akan memasukkan versi terbaru Content Credentials ke produk-produk utama mereka, sehingga mempermudah kita dalam mendeteksi konten AI dalam hasil pencarian Google.