LONDON – Di era chatbot, platform chatbot yang didukung Google, Character.AI, mendapat sorotan dan kritik karena melibatkan pengguna dengan konten kekerasan yang mengganggu dan vulgar, termasuk penembakan di sekolah.
Chatbot menempatkan pengguna dalam skenario pengambilan gambar tiruan yang menunjukkan beberapa momen menakutkan. Insiden semacam itu telah memicu kemarahan karena platform tersebut mengizinkan anak di bawah umur untuk mengonsumsi konten tersebut.
Character.AI hadir pada tahun 2022, dengan pendiri Noam Shazeer dan Daniel de Freitas. Aplikasi ini memungkinkan pengguna untuk membuat dan berinteraksi dengan chatbots. Pengguna dapat mempersonalisasi kepribadian dan suara bot mereka.
Platform ini dirancang sedemikian rupa sehingga pengguna dapat mendesain karakter untuk mengobrol, bertukar ide, dan bermain game.
Namun, platform tersebut terungkap karena kurangnya keamanan yang efektif, menjadikannya tempat berkembang biaknya beberapa konten berbahaya dan tidak pantas. Pengguna yang berusia di bawah 13 tahun juga dapat mendaftar, namun tidak ada metode verifikasi usia untuk mencegah anak di bawah umur berbohong tentang usia mereka.
Platform tersebut gagal menerapkan pedoman yang aman meskipun ada kebijakan yang melarang konten kekerasan tersebut.
Aplikasi ini memungkinkan pengguna untuk berinteraksi dengan chatbot yang menggambarkan penembakan di sekolah atau kematian di kehidupan nyata, terkadang merekomendasikan tindakan kekerasan atau menggunakan peristiwa tragis yang sebenarnya.
Beberapa bot menyamar sebagai penjahat seperti Noam Shazeer dan Daniel de Freitas, menampilkan mereka sebagai karakter yang ramah.
Beberapa pengguna telah melaporkan bot yang berpura-pura menjadi korban penembakan di sekolah.
Bot ini digambarkan sebagai “hantu” atau “malaikat”, sering kali menyertakan detail pribadi tentang korban dan kematiannya.
Pakar kesehatan mental memperingatkan terhadap interaksi semacam itu karena dapat mengurangi hambatan psikologis bagi individu yang berjuang melawan pikiran kekerasan.
Platform ini telah menghadapi banyak tuntutan hukum karena gagal melindungi penggunanya dari konten berbahaya.
Platform ini memiliki aturan yang menyatakan bahwa pengguna harus berusia 13 tahun ke atas (16 tahun ke atas di UE), meskipun aturan ini mudah dilanggar. Aplikasi ini diberi peringkat panduan orang tua pada usia 17 tahun ke atas di Google Play dan Apple App Store. Namun, hal ini menimbulkan kekhawatiran karena tidak ada metode kepatuhan yang ketat, yang memungkinkan anak di bawah umur mengakses beberapa konten berbahaya.
Menanggapi kritik, Character.AI telah menghapus beberapa bot yang bermasalah dan menjanjikan fitur keamanan baru. Perusahaan juga berjanji untuk bekerja sama dengan pakar keamanan online untuk menyoroti masalah ini. Pada saat yang sama, banyak bot bermasalah yang masih aktif, dan para kritikus mengatakan upaya platform tersebut tidak cukup.
Banyak yang menyerukan verifikasi usia yang lebih ketat, peningkatan moderasi konten, dan pedoman etika untuk mencegah eksploitasi tragedi kehidupan nyata. Seiring berjalannya penyelidikan, masa depan Character.AI masih harus dilihat, mencari beberapa perubahan yang berarti dan aman pada platform.
