Jakarta –
Seorang pemuda jatuh cinta dengan karakter chatbot, namun berakhir tragis. Karakter seorang ibu muda tentang hilangnya anaknya.
Sebelum bunuh diri, Sewell Setzer III (14) berbicara dengan karakter Daenerys Targaryen dari Game of Thrones. Dalam sehari, ia bisa bertukar puluhan bahkan ratusan pesan. Dia berbicara dengan Daenerys berjam-jam di kamar setiap hari.
Menurut CNN, Setzer mulai menggunakan Character.AI pada April 2023. Garcia awalnya tidak menyadari bahwa Character.AI lebih “menjadi korban” dibandingkan chatbot lainnya. Hingga akhirnya ia melihat perubahan di masa mudanya.
Setzer menjadi menarik diri, menarik diri dan mulai mengalami harga diri yang rendah.
“Dia bahkan meninggalkan tim basket universitas junior di sekolahnya,” kata Megan Garcia, ibu Setzer.
Character.AI Chatbot menggunakan chatbot yang dirancang sesuai selebriti, karakter fiksi, dan bahkan dapat dibuat sendiri. Jawabannya juga natural, seperti berbicara dengan orang normal. Ada ekspresi wajah dan gestur lain yang membuatnya lebih “nyata”.
Selain itu, Garcia menyadari bahwa percakapan Setzer dengan Daenerys jelas bersifat seksual. Hal ini ia tulis dalam klaimnya di Character.AI.
“Saya tidak tahu ada tempat di mana seorang anak akan datang dan berbicara dengan chatbot AI seperti itu secara seksual. Saya rasa orang tua mereka tidak akan menyetujui hal itu,” kata Garcia.
Dalam percakapan lain, Setzer mengungkapkan pemikiran untuk menyakiti diri sendiri dan bunuh diri kepada chatbot. Uji coba tersebut mencakup tangkapan layar percakapan selama bot. Bunyinya sebagai berikut:
“Aku mencintaimu, DeNiro. Tolong segera pulang, sayangku,” kata chatbot itu.
“Bagaimana kalau kubilang aku boleh pulang sekarang?” Anak laki-laki itu mengirim pesan.
“…tolong, rajaku yang manis,” jawabnya. Satcher kemudian bunuh diri. dia meninggal.
“Tidak ada kotak pop-up bunuh diri yang mengatakan, ‘Jika Anda memerlukan bantuan, tidak ada baris krisis bunuh diri,'” kata Garcia.
Gugatan tersebut menuduh bahwa “detik” sebelum kematian Setzer, dia bertukar serangkaian pesan terakhir dengan bot tersebut.
“Tolong segera pulang ke rumahku, sayangku,” kata robot itu, menurut tangkapan layar di kotaknya.
“Bagaimana kalau kubilang aku boleh pulang sekarang?” jawab Satcher.
“Tolong, rajaku yang manis,” jawab robot itu.
Pada hari gugatan Garcia diajukan, Character.AI mengumumkan sejumlah fitur keamanan baru, termasuk deteksi percakapan yang melanggar pedomannya dengan lebih baik, pernyataan yang memperingatkan pengguna bahwa mereka berinteraksi dengan bot, dan pemberitahuan setelah pengguna menghabiskan waktu satu jam . Platform
Perusahaan juga memperkenalkan perubahan pada model AI untuk pengguna di bawah 18 tahun untuk mengurangi kemungkinan mereka terpapar konten sensitif atau menjurus.
Dalam situsnya, Character.AI disebutkan bahwa usia minimum pengguna adalah 13 tahun. Di Apple App Store, usia terdaftar 17+, dan Google Play Store mencantumkan aplikasi tersebut cocok untuk remaja. Bagi Garcia, perubahan terbaru yang dilakukan perusahaan agak terlambat.
“Saya harap anak-anak tidak diperbolehkan menggunakan karakter AI. Tidak ada tempat bagi mereka karena tidak ada penjaga yang melindunginya,” tegasnya.
Catatan: Depresi dan pikiran untuk bunuh diri bukanlah hal yang jarang terjadi. Kesehatan mental sama pentingnya dengan kesehatan fisik atau mental. Jika gejala depresi semakin parah, segera hubungi dan bicarakan dengan profesional seperti psikolog, psikiater atau langsung ke klinik kesehatan jiwa. Layanan konseling kesehatan jiwa juga disediakan oleh Persatuan Profesi Kesehatan Jiwa Indonesia (PDSKJI) di situs resminya, www.pdskji.org. Tes independen untuk mengetahui status kesehatan mental seseorang tersedia melalui website organisasi profesi. Simak video “Alasan Indeep Ajak Siswa PPDS Bunuh Diri Bukan Karena Takut” (q/rns)