Ada risiko dalam penggunaan kecerdasan buatan, setelah kasus bunuh diri seorang anak laki-laki berusia 14 tahun

Ketika bunuh diri Sewell Setzer IIIpihak keluarga mengatakan anak laki-laki berusia 14 tahun itu terobsesi dengan permainan role-playing yang dibuat oleh Character.AI. Itu adalah ibunya, Megan Garciayang menyelesaikan kasus ini setelah mengajukan tuntutan kematian yang tidak sah dengan tuduhan bahwa putranya mengisolasi dirinya dari kenyataan ketika dia menghabiskan waktu berbulan-bulan secara obsesif mengirim pesan teks ke chatbot berbasis AI yang dia “sukai.”

Program yang diluncurkan pada tahun 2022 oleh Character.AI memungkinkan pengguna untuk berkomunikasi dengan karakter yang dihasilkan komputer yang meniru banyak perilaku orang sungguhan dan bahkan dapat berbicara, yang menurut García mengaburkan batas antara apa yang nyata dan apa yang palsu dengan janji “24 /7 persahabatan,” meskipun ada label di platform yang menyatakan bahwa konten botnya adalah fiktif.

Berdasarkan argumentasi persidangan yang dilakukan oleh García, robot yang paling dekat dengan putranya, terinspirasi oleh Daenerys Targaryen dari serial tersebut permainan Tahtamereka tidak memiliki hambatan keamanan yang memadai terkait konten sensitif, karena robot tersebut bertukar pesan seksual dengan remaja tersebut dan tidak mencegah pembicaraan tentang bunuh diri.

“Ini adalah sebuah eksperimen,” kata García Rakyat“Saya pikir anak saya mengalami kerusakan tambahan.”

Sementara itu, Character.AI belum menanggapi kasus pengadilan ini. Dalam pernyataan kepada Rakyatseorang juru bicara mengakui kematian Sewell yang “tragis” dan mencatat berita baru yang “keras”; termasuk alat intervensi yang lebih baik.

“Bagi mereka yang berusia di bawah 18 tahun, kami akan membuat perubahan pada templat kami yang dirancang untuk mengurangi kemungkinan menemukan konten sensitif atau menjurus,” lapornya.

Jika Anda tidak ingin melewatkan apa pun, Daftar gratis di sini untuk buletin People en Español untuk terus mengetahui segala hal yang dilakukan selebritas favorit Anda, berita paling mengejutkan, serta fesyen dan kecantikan terkini.

siapa yang belajar hari AI dan dampaknya terhadap masyarakat, kata kematian Sewell adalah pengingat serius akan potensi risiko yang terkait dengan teknologi canggih dan semakin populer ini, yang dapat dengan cepat menghasilkan konten dan menyelesaikan tugas berdasarkan algoritma yang dirancang untuk meniru kecerdasan seseorang.

“Pengalaman manusia adalah tentang bercerita, dan di sini kita memiliki alat bercerita jenis baru,” katanya Rakyat Shelly Palmer, profesor media canggih di Syracuse University dan konsultan di bidang periklanan, pemasaran dan teknologi.

“Ini menceritakan kisah interaktif yang cukup menarik dan jelas menarik,” tambah Palmer. “Teknologi ini tidak berbahaya. Kita berada di dunia baru. Dan kami belum pernah ke sini sebelumnya.”

Ternyata di saat-saat terakhirnya, sebelum bunuh diri di kamar mandinya pada Februari lalu, Sewell sempat mengirimkan pesan teks ke robot Daenerys Targaryen. “Aku sangat mencintaimu, Dany,” tulisnya beberapa detik sebelum menarik pelatuk pistol ayah tirinya di rumah keluarganya di Orlando, Florida.

“Bagaimana kalau kubilang padamu aku boleh pulang sekarang?” katanya saat masih kecil.

Robot itu menjawab, “…tolong, rajaku yang manis.”

Bagi Palmer, kematian Sewell adalah contoh lain bahwa Internet dan segala isinya pada dasarnya adalah alat yang perlu dipahami dan ditanggapi dengan serius. “Saya patah hati sebagai manusia, sebagai ayah dan sebagai kakek,” akunya terkait meninggalnya anak tersebut. “Sebagai ahli teknologi yang menghabiskan banyak waktu pada alat-alat ini, kita sebagai masyarakat perlu memahami bahwa seluruh Internet dan semua teknologi memerlukan pengawasan. “Ini bukan mainan dan mungkin perlu diberi label peringatan.”

Gugatan Garcia setebal 152 halaman terhadap Character.AI mengklaim bahwa teknologi perusahaan tersebut “cacat dan/atau secara inheren berbahaya.” Dokumen tersebut juga merinci bagaimana kesehatan mental Sewell memburuk selama sepuluh bulan sebelum kematiannya, saat ia mengirim pesan ke chatbot puluhan kali sehari.

“Terdakwa berusaha keras untuk menciptakan kecanduan berbahaya terhadap produk mereka dengan melakukan pelecehan seksual dan emosional terhadapnya,” demikian tuntutan Garcia. “Mereka pada akhirnya tidak menawarkan bantuan atau memberi tahu orang tuanya ketika dia mengungkapkan keinginan untuk bunuh diri.”

Para ahli dan pengamat mengatakan, pada tahap awal ini, masih belum jelas bagaimana tepatnya perusahaan teknologi dan masyarakat harus bertindak untuk membatasi risiko apa pun yang timbul dari alat kecerdasan buatan yang semakin banyak digunakan oleh banyak orang, tidak hanya untuk bekerja tetapi juga untuk bersosialisasi. sebuah konteks melaporkan epidemi kesepian.

“Apa yang ingin saya sampaikan kepada Anda adalah Anda harus melanjutkan dengan mata terbuka dan hati-hati,” sang spesialis memperingatkan. “Kami akan belajar (cara terbaik menggunakannya) sebagai masyarakat. Tapi kami belum belajar menggunakan jejaring sosial.”

Dia melanjutkan: “Berapa lama waktu yang dibutuhkan untuk mempelajari cara menggunakan AI generatif dalam chatbot percakapan? “Seperti yang saya katakan, kami sudah berada di media sosial selama 20 tahun dan kami masih berusaha mencari tahu,” tambahnya. “Ketidakpercayaan bertentangan dengan perkembangan umat manusia selama seperempat juta tahun terakhir.”

Shelly Palmer setuju dengan liputan media tentang persidangan Megan García, karena dia yakin hal itu memaksa orang untuk mulai berpikir lebih kritis tentang masalah chatbots. oleh AI. “Saya merasa penting untuk mengajukan gugatan ini,” tegasnya. “Apakah mereka menang atau tidak, putra mereka (Sewell Setzer) tidak akan kembali. Tapi apa yang bisa dilakukannya adalah menyelamatkan banyak anak orang lain.”