semua orang sedang membicarakan @karpathy autoresearch dan kebanyakan dari kalian tidak tahu apa sebenarnya yang dilakukannya.

ada skrip pelatihan (train(dot)py) yang melatih model bahasa kecil, pada dasarnya GPT kecil. dan ada file instruksi (program(dot)md) yang memberi tahu agen AI apa yang harus dilakukan.
kalian tekan mulai. agen menyesuaikan skrip pelatihan, melatih selama 5 menit, memeriksa skor. lebih baik? simpan. lebih buruk? kembalikan. ulangi 100 kali semalam saat kalian tidur.
itu benar-benar saja.
apa yang sebenarnya dioptimalkan: ARSITEKTUR MODEL. bukan prediksi. bukan perdagangan. bukan portofolio kalian.
hal-hal seperti:
→ 4 lapis atau 8?
→ tingkat pembelajaran terbaik?
→ AdamW atau optimizer Muon?
→ berapa ukuran batch yang paling cocok untuk GPU INI?
arsitektur optimal tergantung pada perangkat keras kalian. H100 menginginkan model yang sama sekali berbeda dari MacBook kalian. autoresearch menemukan konfigurasi terbaik untuk mesin kalian secara otomatis.
apa yang BISA kalian lakukan dengannya:
> bangun LLM kecil yang menulis kode, autoresearch menemukan arsitektur terbaik, kalian latih di dataset kalian
> buat chatbot ringan yang berjalan offline di ponsel kalian
> latih model berdasarkan tulisan kalian sendiri agar terdengar seperti kalian
> uji "apakah RoPE mengalahkan ALiBi untuk model kecil?" 100 variasi dalam satu malam daripada 3 minggu kerja PhD
> optimalkan model untuk Raspberry Pi atau perangkat edge
apa yang TIDAK BISA kalian lakukan:
> prediksi harga saham
> cari keunggulan trading
> analisis spreadsheet
> prediksi hasil olahraga
autoresearch adalah alat untuk orang yang ingin MEMBANGUN model bahasa, bukan MENGGUNAKANNYA. Karpathy membangun loop otonom di mana AI meningkatkan AI. benar-benar brilian. tetapi ini menyelesaikan masalah yang sangat spesifik.
dan masalah itu mungkin bukan milikmu. yang penting, berhenti pura-pura itu sesuatu yang bukan.