Menyadari sesuatu yang liar belakangan ini - model AI tertentu seperti Sonnet 4.5 tampaknya dapat berjalan terus menerus selama lebih dari 30 jam, dan Codex tidak jauh di belakang dengan jendela operasi yang diperpanjang. Membuat saya bertanya-tanya tentang arsitektur di balik ini.

Ada yang menemukan makalah penelitian atau dokumen teknis yang membahas bagaimana sistem ini dapat mempertahankan sesi inferensi yang begitu panjang? Saya penasaran apakah itu tentang inovasi arsitektur model, optimisasi infrastruktur, atau sesuatu yang sama sekali berbeda. Saya ingin melihat apa yang dikatakan komunitas penelitian tentang kemampuan ini.