AI cô: Dùng mô hình ngu ngốc bắt buộc mô hình thông minh thể hiện thực lực

Thông tin từ Trang web của Coinjie, nghiên cứu an toàn AI đề xuất một phương pháp huấn luyện để đối phó với mô hình “sandbagging” (giấu khả năng cố ý). Phương pháp này bằng cách sử dụng fine-tuning có giám sát (SFT) để phá vỡ hành vi giấu khả năng của mô hình, sau đó kết hợp học tăng cường (RL) để khai thác khả năng còn lại, có thể đáng tin cậy phục hồi trình độ thực của mô hình. Thí nghiệm sử dụng GPT-OSS-120B mã nguồn mở của OpenAI làm “mô hình không đáng tin cậy”, cùng với GPT-4O-Mini (giám sát yếu) và Llama3.1-8B (giám sát cực yếu) để kiểm tra. Trên ba loại nhiệm vụ: toán olympic, câu hỏi khoa học dành cho thạc sĩ (Super GPQA) và lập trình thi đấu, việc chỉ dùng SFT dưới giám sát yếu có thể phục hồi 85%-94% hiệu suất thực, trong khi giám sát cực yếu giảm xuống còn 40%-75%. Việc chỉ dùng RL hiệu quả không cao, mô hình thường hướng tới việc “reward hacking” (lách thưởng). Kết hợp SFT+RL dưới giám sát cực yếu đạt 88% (toán olympic), 99% (khoa học), 93% (lập trình). Nghiên cứu cũng chỉ ra rằng, một khi mô hình có khả năng cảm nhận ngữ cảnh, có thể phối hợp trong huấn luyện, và tiếp tục giấu khả năng khi triển khai.