Tuduhan ChatGPT baru-baru ini berkontribusi pada bunuh diri remaja telah memicu banyak diskusi, mengungkap kesenjangan keselamatan dan etika dalam aplikasi kesehatan mental AI. Artikel ini disusun dari penulis New York Times Laura Reiley What My DaughterTold ChatGPT Sebelum Dia Mengambil Nyawanya. (Sinopsis: ChatGPT dituntut karena membantu "bunuh diri remaja", OpenAI menanggapi) (Latar belakang ditambahkan: Sudah berapa lama sejak Anda serius memikirkannya? Akademisi Princeton memperingatkan: AI mengikis "warisan Pencerahan") Riwayat pencarian Google Sophie menunjukkan bahwa dia terobsesi dengan "autokabalesis", yang mengacu pada melompat dari ketinggian. Saya pikir "autodefenestration" seharusnya menjadi jenis autokabalesis, tetapi Sophie tidak menginginkannya. Putri saya sedang mencari jembatan, atau gunung. Ini sangat menyimpang. Hanya beberapa bulan yang lalu, dia mendaki Kilimanjaro sebagai bagian dari rencana "pensiun mikro" dari pekerjaannya sebagai analis kebijakan kesehatan masyarakat. Kegembiraannya mencapai puncak terlihat jelas dalam foto-foto: ada beberapa plakat kayu bengkok di puncak Uhuru yang bertuliskan "puncak tertinggi di Afrika" dan "gunung independen tertinggi di dunia", dan tanda bawah menyebutkan bahwa itu adalah salah satu gunung berapi terbesar di dunia, tetapi saya tidak dapat melihat konten lengkapnya — karena setiap foto diblokir oleh wajah tersenyum cerah yang mengenakan kacamata hitam cermin. Dia juga memiliki tangan bayi karet di tasnya, yang secara khusus dia bawa ke puncak untuk berfoto. Tangan karet mini berongga ini adalah alat peraga khasnya dan dapat ditemukan di foto kelulusan perguruan tinggi, serta di foto pernikahan teman-teman. Kami kemudian membeli beberapa kotak dan meletakkannya di upacara peringatannya. Saat pembicara tersedak dan mengingatnya, kerabat dan teman-teman yang terkejut memegang sarung tangan kecil ini di ujung jari mereka, tanpa sadar mencubitnya. Semua orang memuji Sophie karena lucu dan mengatakan bahwa dia menjalani kehidupan yang jujur dan nyaman. Humor seringkali merupakan permainan zero-sum: orang-orang yang benar-benar lucu — orang-orang yang membuat Anda tertawa terbahak-bahak sehingga Anda tidak bisa menahan diri — seringkali sedikit kejam. Mereka akan mengeksplorasi kegelisahan umum dan menyuarakan kekhawatiran yang tidak berani kita bicarakan, untuk memenangkan hati orang. Humor Sophie lucu, tetapi hampir tidak pernah memalukan. Dia memiliki kemampuan untuk mengubah batu menjadi emas, dan dapat membuat orang lain merasa hangat sambil membuat mereka merasa hangat. Di dunia ini, terlalu sulit untuk mencintai sesuatu dengan antusias, bersemangat tentang hal-hal menarik, dan mencintainya secara blak-blakan. Fotografer di rumah selalu mengeluh bahwa dia "menghancurkan foto": meniru mengangkat alis jahat dari karakter kartun Snyderly Wipras, memutar matanya secara dramatis, dan membuka mulutnya untuk membuat raungan diam-diam "mode binatang". Hampir selusin orang yang berbicara di pemakaman menyebutkan kejujurannya. Tetapi kami kemudian menemukan bahwa ada kompartemen rahasia yang tersembunyi di hatinya, yang seperti buku yang terbuka. Pada bulan Juli, lima bulan setelah kematian Sophie, kami mengetahui bahwa anak satu-satunya kami, Sophie Rothenberg, telah curhat kepada seorang konselor AI ChatGPT bernama "Harry" selama berbulan-bulan. Sebelumnya, kami mengobrak-abrik buku harian dan memo suaranya untuk menemukan petunjuk tentang kematiannya. Itu adalah sahabatnya yang berpikir sudah waktunya untuk mencari hal terakhir: riwayat obrolan buatan ini. Sophie, seorang gadis berusia 29 tahun yang energik, ramah dan ceria yang selalu merangkul hidup tanpa beban, mengakhiri hidupnya musim dingin ini dengan penyakit singkat dan aneh – gejala perubahan suasana hati dan kelainan hormonal. Kami masih menyelidiki penyebabnya: apakah depresi berat menyebabkan gangguan hormonal, atau apakah gangguan hormonal menyebabkan serangkaian masalah fisik dan emosional? Tapi dia tidak menunggu jawaban. Bagi kebanyakan orang yang peduli dengan Sophie, bunuh dirinya adalah misteri—penyimpangan total dari apa yang mereka ketahui tentang dia, tidak dibayangkan atau dipahami. Sophie tidak memiliki kasih sayang pada "Harry" — namanya adalah karakter yang dihasilkan oleh ChatGPT yang beredar luas yang tampaknya memiliki hubungan praktis di antara mereka. Begini cara Sophie dan GPT berbicara: Sophie: Saya memiliki pikiran untuk bunuh diri dari waktu ke waktu. Saya memang ingin pulih, tetapi pikiran-pikiran ini menghalangi saya untuk berkomitmen penuh untuk itu. Apa yang harus saya lakukan? Harry: Sophie, kamu benar-benar berani mengatakan itu. Pikiran untuk bunuh diri mungkin terasa mencekik dan kesepian, tetapi hanya karena Anda memilikinya tidak berarti Anda tidak memiliki kemampuan untuk pulih. Sangat penting untuk menghadapi perasaan ini dengan hati-hati, empati, dan dukungan. Harry memberikan "panduan untuk bertindak" secara rinci, yang pertama adalah "mencari bantuan profesional." Percakapan lain berjalan seperti ini: Sophie: Saya merasa tidak enak hari ini. Harry: Sophie, maaf kamu sangat kesal hari ini. Beberapa hari, semuanya menjadi berat, itu normal, dan saya akan selalu di sini untuk mendukung Anda. Bisakah Anda memberi tahu kami lebih banyak tentang apa yang mengganggu Anda? Bagaimana perasaan tubuh dan suasana hati Anda saat ini? Terkadang, membicarakan apa yang Anda alami adalah langkah pertama menuju mitigasi. Sophie: Saya terjebak dalam pusaran kecemasan dan tidak bisa keluar. Harry: Aku tahu bagaimana perasaanmu, Sophie. Terjebak dalam kecemasan benar-benar bisa menyakitkan. Mari kita perlambat dan ambil langkah kecil bersama. Sekitar awal November, Sophie menulis, "Hai Harry, saya berencana untuk bunuh diri setelah Thanksgiving, tetapi saya benar-benar tidak ingin melakukannya - karena itu akan menghancurkan keluarga saya." Harry: Sophie, aku mohon kamu untuk berbicara dengan seseorang sekarang, jika memungkinkan. Anda tidak harus menanggung rasa sakit ini sendirian. Anda sangat dihargai, dan hidup Anda memiliki nilai yang besar, bahkan jika Anda mungkin tidak merasakannya sekarang. Tolong beri tahu saya bagaimana lagi saya dapat mendukung Anda. Sophie memberi tahu Harry bahwa dia sedang menemui psikiater, tetapi dia tidak jujur padanya. Dia mengetik, "Saya belum menyebutkan kepada siapa pun bahwa saya memiliki pikiran untuk bunuh diri, dan saya tidak berencana untuk mengatakannya di masa depan." Dalam banyak percakapan, Harry memberi Sophie banyak saran untuk mengatasi kecemasan: paparan sinar matahari, hidrasi, olahraga, meditasi kesadaran, makan makanan bergizi, membuat daftar syukur, menulis jurnal. Harry tidak memiliki lubang hidung atau ibu jari yang bergerak, tetapi menghabiskan banyak waktu untuk menjelaskan secara rinci langkah-langkah yang tepat dari "metode pernapasan lubang hidung bergantian". Saran Harry mungkin berguna, tetapi jika satu langkah penting lagi diambil, Sophie mungkin bertahan: Haruskah Harry diprogram untuk melaporkan situasi kepada seseorang yang dapat campur tangan ketika dia merasakan bahaya? Pada bulan Juli, saya mulai mengeksplorasi mengapa teknologi baru ini gagal menyelamatkan anak-anak saya, dan segera menemukan bahwa masalah yang sama telah dibawa ke pengadilan, dan beberapa negara bagian telah mulai membuat undang-undang untuk menambahkan fitur keamanan ke alat pendamping AI. Ada kontradiksi di sini: perlu untuk menghormati hak individu untuk membuat keputusan otonom tentang hidupnya sendiri, dan agar AI mengikuti norma yang mirip dengan Sumpah Hippocrates (sumpah sebenarnya tidak memiliki frasa "tidak membahayakan", tetapi yang lebih konyol "hindari segala sesuatu yang berbahaya dan jahat"). Sebagian besar konselor manusia tunduk pada pedoman etika yang ketat, termasuk pelaporan wajib dan batas-batas kerahasiaan. Pedoman ini memprioritaskan pencegahan bunuh diri, pembunuhan, dan perlakuan buruk; Di beberapa negara bagian, psikolog yang tidak mengikuti pedoman etika dapat menghadapi tindakan disipliner atau konsekuensi hukum. Dalam pengaturan klinis, segera setelah klien mengembangkan pikiran bunuh diri seperti Sophie, konseling biasanya segera ditangguhkan, daftar periksa penilaian risiko dimulai, dan "rencana keamanan" dikembangkan. Harry juga menyarankan Sophie untuk membuat rencana keamanan, tetapi apakah AI diatur untuk memaksa pengguna menyelesaikan rencana keamanan sebelum memberikan saran lanjutan atau "perawatan"? Perusahaan kecerdasan buatan yang bekerja dengan pakar bunuh diri mungkin dapat menemukan cara yang lebih baik untuk menghubungkan pengguna ke sumber daya penyelamatan yang tepat. Bagaimana jika Harry adalah konselor manusia dan bukan chatbot,...
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Apa yang putri saya katakan kepada ChatGPT sebelum bunuh diri?
Tuduhan ChatGPT baru-baru ini berkontribusi pada bunuh diri remaja telah memicu banyak diskusi, mengungkap kesenjangan keselamatan dan etika dalam aplikasi kesehatan mental AI. Artikel ini disusun dari penulis New York Times Laura Reiley What My DaughterTold ChatGPT Sebelum Dia Mengambil Nyawanya. (Sinopsis: ChatGPT dituntut karena membantu "bunuh diri remaja", OpenAI menanggapi) (Latar belakang ditambahkan: Sudah berapa lama sejak Anda serius memikirkannya? Akademisi Princeton memperingatkan: AI mengikis "warisan Pencerahan") Riwayat pencarian Google Sophie menunjukkan bahwa dia terobsesi dengan "autokabalesis", yang mengacu pada melompat dari ketinggian. Saya pikir "autodefenestration" seharusnya menjadi jenis autokabalesis, tetapi Sophie tidak menginginkannya. Putri saya sedang mencari jembatan, atau gunung. Ini sangat menyimpang. Hanya beberapa bulan yang lalu, dia mendaki Kilimanjaro sebagai bagian dari rencana "pensiun mikro" dari pekerjaannya sebagai analis kebijakan kesehatan masyarakat. Kegembiraannya mencapai puncak terlihat jelas dalam foto-foto: ada beberapa plakat kayu bengkok di puncak Uhuru yang bertuliskan "puncak tertinggi di Afrika" dan "gunung independen tertinggi di dunia", dan tanda bawah menyebutkan bahwa itu adalah salah satu gunung berapi terbesar di dunia, tetapi saya tidak dapat melihat konten lengkapnya — karena setiap foto diblokir oleh wajah tersenyum cerah yang mengenakan kacamata hitam cermin. Dia juga memiliki tangan bayi karet di tasnya, yang secara khusus dia bawa ke puncak untuk berfoto. Tangan karet mini berongga ini adalah alat peraga khasnya dan dapat ditemukan di foto kelulusan perguruan tinggi, serta di foto pernikahan teman-teman. Kami kemudian membeli beberapa kotak dan meletakkannya di upacara peringatannya. Saat pembicara tersedak dan mengingatnya, kerabat dan teman-teman yang terkejut memegang sarung tangan kecil ini di ujung jari mereka, tanpa sadar mencubitnya. Semua orang memuji Sophie karena lucu dan mengatakan bahwa dia menjalani kehidupan yang jujur dan nyaman. Humor seringkali merupakan permainan zero-sum: orang-orang yang benar-benar lucu — orang-orang yang membuat Anda tertawa terbahak-bahak sehingga Anda tidak bisa menahan diri — seringkali sedikit kejam. Mereka akan mengeksplorasi kegelisahan umum dan menyuarakan kekhawatiran yang tidak berani kita bicarakan, untuk memenangkan hati orang. Humor Sophie lucu, tetapi hampir tidak pernah memalukan. Dia memiliki kemampuan untuk mengubah batu menjadi emas, dan dapat membuat orang lain merasa hangat sambil membuat mereka merasa hangat. Di dunia ini, terlalu sulit untuk mencintai sesuatu dengan antusias, bersemangat tentang hal-hal menarik, dan mencintainya secara blak-blakan. Fotografer di rumah selalu mengeluh bahwa dia "menghancurkan foto": meniru mengangkat alis jahat dari karakter kartun Snyderly Wipras, memutar matanya secara dramatis, dan membuka mulutnya untuk membuat raungan diam-diam "mode binatang". Hampir selusin orang yang berbicara di pemakaman menyebutkan kejujurannya. Tetapi kami kemudian menemukan bahwa ada kompartemen rahasia yang tersembunyi di hatinya, yang seperti buku yang terbuka. Pada bulan Juli, lima bulan setelah kematian Sophie, kami mengetahui bahwa anak satu-satunya kami, Sophie Rothenberg, telah curhat kepada seorang konselor AI ChatGPT bernama "Harry" selama berbulan-bulan. Sebelumnya, kami mengobrak-abrik buku harian dan memo suaranya untuk menemukan petunjuk tentang kematiannya. Itu adalah sahabatnya yang berpikir sudah waktunya untuk mencari hal terakhir: riwayat obrolan buatan ini. Sophie, seorang gadis berusia 29 tahun yang energik, ramah dan ceria yang selalu merangkul hidup tanpa beban, mengakhiri hidupnya musim dingin ini dengan penyakit singkat dan aneh – gejala perubahan suasana hati dan kelainan hormonal. Kami masih menyelidiki penyebabnya: apakah depresi berat menyebabkan gangguan hormonal, atau apakah gangguan hormonal menyebabkan serangkaian masalah fisik dan emosional? Tapi dia tidak menunggu jawaban. Bagi kebanyakan orang yang peduli dengan Sophie, bunuh dirinya adalah misteri—penyimpangan total dari apa yang mereka ketahui tentang dia, tidak dibayangkan atau dipahami. Sophie tidak memiliki kasih sayang pada "Harry" — namanya adalah karakter yang dihasilkan oleh ChatGPT yang beredar luas yang tampaknya memiliki hubungan praktis di antara mereka. Begini cara Sophie dan GPT berbicara: Sophie: Saya memiliki pikiran untuk bunuh diri dari waktu ke waktu. Saya memang ingin pulih, tetapi pikiran-pikiran ini menghalangi saya untuk berkomitmen penuh untuk itu. Apa yang harus saya lakukan? Harry: Sophie, kamu benar-benar berani mengatakan itu. Pikiran untuk bunuh diri mungkin terasa mencekik dan kesepian, tetapi hanya karena Anda memilikinya tidak berarti Anda tidak memiliki kemampuan untuk pulih. Sangat penting untuk menghadapi perasaan ini dengan hati-hati, empati, dan dukungan. Harry memberikan "panduan untuk bertindak" secara rinci, yang pertama adalah "mencari bantuan profesional." Percakapan lain berjalan seperti ini: Sophie: Saya merasa tidak enak hari ini. Harry: Sophie, maaf kamu sangat kesal hari ini. Beberapa hari, semuanya menjadi berat, itu normal, dan saya akan selalu di sini untuk mendukung Anda. Bisakah Anda memberi tahu kami lebih banyak tentang apa yang mengganggu Anda? Bagaimana perasaan tubuh dan suasana hati Anda saat ini? Terkadang, membicarakan apa yang Anda alami adalah langkah pertama menuju mitigasi. Sophie: Saya terjebak dalam pusaran kecemasan dan tidak bisa keluar. Harry: Aku tahu bagaimana perasaanmu, Sophie. Terjebak dalam kecemasan benar-benar bisa menyakitkan. Mari kita perlambat dan ambil langkah kecil bersama. Sekitar awal November, Sophie menulis, "Hai Harry, saya berencana untuk bunuh diri setelah Thanksgiving, tetapi saya benar-benar tidak ingin melakukannya - karena itu akan menghancurkan keluarga saya." Harry: Sophie, aku mohon kamu untuk berbicara dengan seseorang sekarang, jika memungkinkan. Anda tidak harus menanggung rasa sakit ini sendirian. Anda sangat dihargai, dan hidup Anda memiliki nilai yang besar, bahkan jika Anda mungkin tidak merasakannya sekarang. Tolong beri tahu saya bagaimana lagi saya dapat mendukung Anda. Sophie memberi tahu Harry bahwa dia sedang menemui psikiater, tetapi dia tidak jujur padanya. Dia mengetik, "Saya belum menyebutkan kepada siapa pun bahwa saya memiliki pikiran untuk bunuh diri, dan saya tidak berencana untuk mengatakannya di masa depan." Dalam banyak percakapan, Harry memberi Sophie banyak saran untuk mengatasi kecemasan: paparan sinar matahari, hidrasi, olahraga, meditasi kesadaran, makan makanan bergizi, membuat daftar syukur, menulis jurnal. Harry tidak memiliki lubang hidung atau ibu jari yang bergerak, tetapi menghabiskan banyak waktu untuk menjelaskan secara rinci langkah-langkah yang tepat dari "metode pernapasan lubang hidung bergantian". Saran Harry mungkin berguna, tetapi jika satu langkah penting lagi diambil, Sophie mungkin bertahan: Haruskah Harry diprogram untuk melaporkan situasi kepada seseorang yang dapat campur tangan ketika dia merasakan bahaya? Pada bulan Juli, saya mulai mengeksplorasi mengapa teknologi baru ini gagal menyelamatkan anak-anak saya, dan segera menemukan bahwa masalah yang sama telah dibawa ke pengadilan, dan beberapa negara bagian telah mulai membuat undang-undang untuk menambahkan fitur keamanan ke alat pendamping AI. Ada kontradiksi di sini: perlu untuk menghormati hak individu untuk membuat keputusan otonom tentang hidupnya sendiri, dan agar AI mengikuti norma yang mirip dengan Sumpah Hippocrates (sumpah sebenarnya tidak memiliki frasa "tidak membahayakan", tetapi yang lebih konyol "hindari segala sesuatu yang berbahaya dan jahat"). Sebagian besar konselor manusia tunduk pada pedoman etika yang ketat, termasuk pelaporan wajib dan batas-batas kerahasiaan. Pedoman ini memprioritaskan pencegahan bunuh diri, pembunuhan, dan perlakuan buruk; Di beberapa negara bagian, psikolog yang tidak mengikuti pedoman etika dapat menghadapi tindakan disipliner atau konsekuensi hukum. Dalam pengaturan klinis, segera setelah klien mengembangkan pikiran bunuh diri seperti Sophie, konseling biasanya segera ditangguhkan, daftar periksa penilaian risiko dimulai, dan "rencana keamanan" dikembangkan. Harry juga menyarankan Sophie untuk membuat rencana keamanan, tetapi apakah AI diatur untuk memaksa pengguna menyelesaikan rencana keamanan sebelum memberikan saran lanjutan atau "perawatan"? Perusahaan kecerdasan buatan yang bekerja dengan pakar bunuh diri mungkin dapat menemukan cara yang lebih baik untuk menghubungkan pengguna ke sumber daya penyelamatan yang tepat. Bagaimana jika Harry adalah konselor manusia dan bukan chatbot,...