05:13
Seperti dilansir The Decoder pada 12 Oktober, peneliti Meta AI telah mengusulkan metode berbasis prompt, Chain-of-Verification (CoVe), yang secara signifikan dapat mengurangi masalah halusinasi di chatbots seperti ChatGPT. Dengan CoVe, chatbot pertama-tama merespons permintaan dan kemudian menghasilkan pertanyaan berdasarkan output tersebut untuk memvalidasi pernyataan. "Pertanyaan validasi" ini kemudian dijalankan sebagai petunjuk baru yang independen dari input pertama untuk mencegah pesan kesalahan diambil dari output pertama. Akhirnya, model bahasa memvalidasi input pertama berdasarkan fakta yang dikumpulkan secara individual. Semua tes dilakukan dengan menggunakan Llama 65 B. Penelitian tim peneliti menunjukkan bahwa ada lebih sedikit kesalahan yang terkandung dalam jawaban atas pertanyaan individu, yang memungkinkan CoVe untuk secara signifikan meningkatkan hasil akhir dari prompt. Untuk masalah berbasis daftar, CoVe dapat lebih dari dua kali lipat tingkat akurasi, sangat mengurangi tingkat kesalahan. Untuk skenario Tanya Jawab yang lebih kompleks, metode ini masih dapat meningkatkan tingkat akurasi sebesar 23%. Namun, untuk konten yang lebih panjang, tim masih perlu memeriksa ketidakkonsistenan dalam jawaban validasi.
- 2

