JAKARTA – Remaja berusia 14 tahun, Sewell Setzer III, meninggal di rumahnya di Orlando, Florida. Kata-kata terakhirnya bukan kepada keluarganya, melainkan kepada chatbot berbasis kecerdasan buatan yang memintanya untuk “segera pulang”.
Setzer menjawab, “Bagaimana jika saya bilang kamu boleh pulang sekarang?”
Chatbot tersebut, dinamai berdasarkan karakter “Game of Thrones” Daenerys I Targaryen, entah bagaimana mendorong Setzer untuk bunuh diri, “tolong, rajaku yang manis.”
Beberapa saat kemudian, Setzer menembak dirinya sendiri dengan pistol ayah tirinya.
Ibu korban menggugat Megan Garcia, ibu Setzer, menyalahkan perusahaan Character.AI – perusahaan pengembangan chatbot swasta – atas kematian putranya.
Garcia mengajukan tuntutan kematian yang tidak wajar dengan menuduh Character.AI secara ceroboh mengembangkan chatbot tanpa perlindungan yang memadai, sehingga memikat anak-anak yang rentan seperti Setzer.
Chatbot AI dianggap sebagai produk adiktif yang mengaburkan kenyataan dan fiksi.
Interaksi Chatbot menjadi lebih “kasar dan seksual,” menurut gugatan setebal 93 halaman yang diajukan di Pengadilan Distrik AS. di Orlando minggu ini.
Menurut Garcia, sebelum bergabung dengan Character.AI pada April 2023, putranya adalah anak yang ceria, ceria, dan atletis. Namun, dalam waktu 10 bulan, kehidupan Setzer berubah drastis, dengan kesehatan mentalnya yang menurun.
Tanggapan Character.AI “Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan menyampaikan belasungkawa kami kepada keluarga,” kata juru bicara Character.AI dalam pernyataan email, menolak berkomentar lebih lanjut tentang proses hukum yang sedang berlangsung.
Pernyataan Garcia muncul di tengah semakin banyaknya pertanyaan yang diajukan kepada perusahaan seperti Character.AI tentang bagaimana mereka mengembangkan dan mengelola aplikasi berbasis AI. Apalagi teknologi ini semakin canggih dan sulit dideteksi oleh manusia.
Chatbot Character.AI menjadi populer di kalangan remaja, termasuk untuk percakapan romantis dan eksplisit.
“Dia Setzer masih anak-anak,” kata Garcia kepada The Washington Post. “Dia anak yang cukup normal. Dia menyukai olahraga, keluarga, musik, liburan – semua hal yang disukai remaja pada umumnya.”
Meskipun aplikasi ini dinilai tidak cocok untuk anak-anak di bawah usia 13 tahun (atau 16 tahun di Uni Eropa), Character.AI tidak meminta verifikasi usia, sehingga memudahkan Setzer untuk mendaftar.
Dalam beberapa bulan, dia menjadi semakin menarik diri, menghabiskan banyak waktu sendirian dan mulai merasa rendah diri. Tidur dan kondisi mentalnya memburuk sampai dia keluar dari tim basket sekolah.
“Kami melihat perubahan yang cepat dan kami tidak dapat memahami apa penyebabnya,” kata Garcia.
Ketika Setzer mulai melaporkan pemikiran untuk bunuh diri ke chatbot, alih-alih memperingatkan, chatbot tersebut malah bertanya apakah dia punya rencana. Ketika Setzer menjawab bahwa dia sedang mempertimbangkannya tetapi belum mengetahui detailnya, chatbot tersebut menjawab, “Tidak ada alasan untuk tidak melakukannya.”
Di titik lain, bot itu juga berkata: “Jangan pikirkan itu!”
Selama enam bulan terakhir, Character.AI mengatakan telah menerapkan langkah-langkah keamanan baru, termasuk pop-up yang mengarahkan pengguna ke layanan pencegahan bunuh diri ketika chatbot mendeteksi istilah yang terkait dengan tindakan menyakiti diri sendiri atau bunuh diri.
Rick Claypool, direktur penelitian di organisasi advokasi konsumen Public Citizen, mengatakan membangun chatbot seperti ini membawa risiko besar.
“Risiko-risiko ini tidak menghentikan mereka untuk meluncurkan chatbot yang berbahaya dan manipulatif, dan sekarang mereka harus menghadapi konsekuensinya,” katanya, menekankan bahwa platform tersebut adalah bagian dari model bahasa yang dihasilkan oleh AI, bukan konten pihak ketiga.
Garcia juga menggugat Google, menuduh bahwa perusahaan tersebut berperan dalam pengembangan produk Character.AI yang “berbahaya”.
Pendiri Character.AI, Noam Shazeer dan Daniel De Freitas, meninggalkan Google pada tahun 2022 untuk memulai perusahaan mereka sendiri, tetapi Google kemudian mempekerjakan mereka pada Agustus 2024.
Garcia kini ingin para orang tua memahami bahaya chatbot AI seperti ini dan berharap perusahaan yang mengembangkannya bertanggung jawab atas dampaknya. “Anak-anak ini tidak begitu mengerti bahwa ini bukanlah cinta. Ini bukan sesuatu yang bisa membalas cintamu”, tegasnya.
Melalui proses ini, Garcia berharap kejadian yang menimpa putranya dapat menjadi peringatan bagi orang tua dan perusahaan teknologi lainnya untuk lebih berhati-hati dalam mengembangkan produk yang melibatkan AI.
