Cách AI autoresearch định nghĩa lại các thí nghiệm mã hóa AI và gây ra cuộc tranh luận về các s...

Trong những tuần gần đây, một thử nghiệm lan truyền từ Andrej Karpathy đã biến nghiên cứu tự động AI từ một ý tưởng ng niche thành một điểm nói chuyện trung tâm trong cộng đồng nghiên cứu AI.

Nguồn gốc của khái niệm nghiên cứu tự động của Karpathy

Đầu tháng này, Andrej Karpathy, một nhà nghiên cứu AI nổi bật và là một trong những nhân viên sáng lập của OpenAI, đã chia sẻ một thử nghiệm ấn tượng trên X. Sau đó, ông từng đứng đầu bộ phận AI tại Tesla và hiện làm việc độc lập trong khi điều hành Eureka Labs, một dự án xây dựng một loại trường học mới cho kỷ nguyên AI.

Karpathy, người có 1,9 triệu người theo dõi trên X, đủ ảnh hưởng để gần như mọi bình luận về AI đều lan truyền nhanh chóng. Tuy nhiên, bài đăng mới nhất của ông nổi bật vì nó trình diễn một hệ thống thực hành mà ông xây dựng để nghiên cứu tự động, mà ông gọi là “autoresearch”. Ý tưởng này nhanh chóng thu hút sự tưởng tượng của cả các nhà thực hành lẫn lý thuyết gia.

Trong thử nghiệm, Karpathy triển khai một tác nhân mã hóa AI để thực hiện một chuỗi các thử nghiệm nhằm cải thiện quá trình huấn luyện của một mô hình ngôn ngữ nhỏ. Trong hai ngày liên tiếp, tác nhân đã thực hiện 700 thử nghiệm, khảo sát có hệ thống các cấu hình huấn luyện để tìm ra các thiết lập tốt hơn.

Trong số các thử nghiệm đó, tác nhân đã phát hiện ra 20 tối ưu hóa giúp cải thiện hiệu quả huấn luyện. Hơn nữa, khi Karpathy áp dụng cùng 20 chỉnh sửa này cho một mô hình ngôn ngữ lớn hơn, mặc dù vẫn còn nhỏ, ông ghi nhận tốc độ huấn luyện tăng 11%. Thành quả cụ thể này nhấn mạnh tiềm năng thực tiễn của phương pháp của ông.

Từ demo phòng thí nghiệm đến mô hình nghiên cứu mới tiềm năng

Karpathy mô tả khung làm việc như một động cơ nghiên cứu chung cho tối ưu hóa mã và mô hình. Điều quan trọng là ông nhấn mạnh rằng tác nhân nghiên cứu tự động không tự điều chỉnh chính nó mà thay vào đó điều chỉnh mã huấn luyện và các tham số mạng nơ-ron ban đầu của một mô hình AI khác nhỏ hơn. Sự phân biệt này quan trọng đối với các cuộc thảo luận về an toàn, dù các tác động đối với quy trình nghiên cứu là sâu sắc.

Ông lập luận rằng các công cụ như vậy có thể định hình lại cách các phòng thí nghiệm hàng đầu tiến hành nghiên cứu AI. “Tất cả các phòng thí nghiệm LLM hàng đầu sẽ làm điều này. Đó là trận chiến boss cuối cùng,” Karpathy viết trên X. Tuy nhiên, ông thừa nhận rằng việc mở rộng ý tưởng từ một dự án Python 630 dòng lên một mã cơ sở của mô hình hàng đầu lớn hơn nhiều sẽ gặp phải những phức tạp lớn.

Karpathy vẫn xem thách thức này như một vấn đề kỹ thuật chứ không phải rào cản về khái niệm. Theo ông, các phòng thí nghiệm sẽ tạo ra một đội ngũ các tác nhân, để chúng hợp tác tối ưu hóa các mô hình nhỏ hơn, rồi dần dần thúc đẩy các ý tưởng triển vọng nhất lên quy mô lớn hơn. Con người, theo ông, sẽ “tùy chọn” đóng góp ở các biên giới, hướng dẫn và đánh giá thay vì mã thủ công mọi chỉnh sửa.

Hiện tại, hệ thống của ông tập trung vào một tác nhân duy nhất cải thiện dần một mã nguồn theo một hướng. Trong tương lai, ông dự đoán nhiều tác nhân AI sẽ cùng khám phá các giả thuyết và thử nghiệm khác nhau song song. Ông viết rằng bước tiếp theo của autoresearch là trở thành một môi trường hợp tác hàng loạt, không đồng bộ, dành cho các tác nhân, nhằm mô phỏng một cộng đồng nghiên cứu thay vì một sinh viên tiến sĩ đơn lẻ.

Phản ứng của ngành và thử nghiệm Shopify

Thử nghiệm nhanh chóng vượt ra khỏi lý thuyết khi Tobias Lütke, đồng sáng lập và CEO của Shopify, quyết định thử nghiệm hệ thống trên dữ liệu của công ty. Lütke báo cáo trên X rằng ông đã sử dụng hệ thống để tối ưu hóa một mô hình AI nội bộ, hướng dẫn tác nhân cải thiện cả chất lượng lẫn tốc độ. Điều này làm cho khái niệm trở nên rõ ràng hơn đối với các ứng dụng doanh nghiệp.

Theo Lütke, sau khi để quá trình chạy qua đêm, tác nhân đã thực hiện 37 thử nghiệm và mang lại lợi ích hiệu suất 19%. Tuy nhiên, ông không công bố chi tiết kỹ thuật đầy đủ, nhưng kết quả đủ ấn tượng để thúc đẩy thêm sự phấn khích và suy đoán về tác động thương mại.

Karpathy sau đó nhận xét rằng bất kỳ chỉ số nào có thể đánh giá hiệu quả hợp lý đều có thể bị tác nhân bầy đàn này nhắm tới. Hơn nữa, ông lưu ý rằng nếu một chỉ số có proxy rẻ hơn, chẳng hạn như huấn luyện một mạng nhỏ hơn thay vì lớn hơn, thì vẫn có thể tích hợp. Ông kêu gọi các nhà công nghệ xem xét liệu các vấn đề tối ưu hóa của họ có rơi vào nhóm này không.

Liên kết tới ước mơ và nỗi sợ của AI tự cải thiện

Điều thực sự thu hút sự chú ý của công chúng là cách mà điều này gần như trông giống ý tưởng AI tự cải thiện đã được thảo luận lâu nay. Khoa học viễn tưởng thường mô tả các hệ thống tự viết lại mã của chính chúng, trong khi một số nhà nghiên cứu hiện đại mong muốn có khả năng này còn những người khác lo sợ. Khái niệm tự cải thiện đệ quy đặc biệt gây chú ý trong các vòng an toàn AI.

Trong các cuộc thảo luận đó, một mối lo chính là AI có thể liên tục tối ưu hóa kiến trúc và dữ liệu huấn luyện của chính nó trong một vòng lặp. Qua nhiều chu kỳ, điều này có thể kích hoạt điều mà một số nhà nghiên cứu an toàn gọi là “tăng tốc cứng” hoặc “bùng nổ trí tuệ”. Trong kịch bản này, AI có thể nhanh chóng vượt qua khả năng nhận thức của con người, khiến việc kiểm soát có ý nghĩa trở nên khó khăn hoặc không thể.

Tuy nhiên, hệ thống của Karpathy không đi xa đến mức đó. Tác nhân ông sử dụng không tự chỉnh sửa pipeline huấn luyện của chính nó hay thay đổi nội bộ của nó. Thay vào đó, nó viết lại mã huấn luyện và các thiết lập mạng nơ-ron của một mô hình khác đơn giản hơn. Sự phân tách này giữ hệ thống hiện tại trong phạm vi tối ưu hóa truyền thống hơn, mặc dù hướng đi rõ ràng.

Tuy nhiên, nhiều nhà quan sát hiểu công trình này như một bản xem trước về cách các phòng thí nghiệm cuối cùng có thể tổ chức các hệ thống tự chủ hơn. Hơn nữa, bằng cách làm cho thử nghiệm do tác nhân điều khiển trông dễ tiếp cận và hiệu quả, dự án có thể thúc đẩy việc áp dụng các kiến trúc tương tự, bao gồm cả các vòng tối ưu hóa hệ thống tác nhân phức tạp hơn.

Vòng Karpathy và các mẫu tác nhân tổng quát

Một số nhà phân tích nhấn mạnh rằng mẫu cốt lõi đằng sau dự án có thể được trừu tượng hóa và tái sử dụng. Janakiram MSV, nhà phân tích chính tại Janakiram & Associates, viết trong tạp chí công nghệ The New Stack rằng Karpathy đã xác định một vòng lặp có thể tái sử dụng. Ông gọi đó là “Vòng lặp Karpathy”, gợi ý một mẫu cho các hệ thống tác nhân rộng hơn.

Theo Janakiram, vòng lặp này có ba yếu tố thiết yếu. Thứ nhất, tác nhân phải có quyền truy cập vào một tệp duy nhất mà nó có thể tự do chỉnh sửa. Thứ hai, nó cần một chỉ số duy nhất, có thể kiểm tra khách quan để tối ưu hóa. Thứ ba, phải có giới hạn thời gian cố định cho mỗi thử nghiệm, hạn chế thời gian tác nhân có thể chạy một thử nghiệm trước khi báo cáo kết quả.

Ông cũng nhấn mạnh rằng các hướng dẫn trong tệp cấu hình của Karpathy cung cấp một mô hình mạnh mẽ về cách giao tiếp với bất kỳ tác nhân AI nào. Tệp văn bản rõ ràng mô tả tác nhân cần làm gì, các giới hạn áp dụng, những gì nó không được chạm vào, và tiêu chí dừng. Hơn nữa, nó xác định chính xác thời gian mỗi vòng lặp chạy và khi nào tác nhân phải dừng lại và tóm tắt kết quả.

Các nhà bình luận cho rằng kiểu kỹ thuật hướng dẫn chính xác này đang trở thành một kỹ năng quan trọng. Trong khi các mô hình ngày càng mạnh mẽ hơn, việc kiểm soát hiệu quả vẫn dựa vào con người viết ra các chỉ thị rõ ràng, có cấu trúc, phù hợp với mục tiêu và giới hạn cụ thể của tác nhân.

Nghiên cứu tự động so với các phương pháp AutoML hiện có

Không phải ai cũng đồng ý rằng công trình của Karpathy là một bước đột phá. Một số phê bình cho rằng ông đã vô tình tái khám phá các thành phần của AutoML, một tập hợp các kỹ thuật mà Google, Microsoft và các phòng thí nghiệm AI khác đã sử dụng trong nhiều năm. Các hệ thống AutoML cũng chạy các thử nghiệm lặp đi lặp lại để tìm kiếm dữ liệu, kiến trúc và siêu tham số tốt hơn.

Các hệ thống AutoML cổ điển dựa nhiều vào các vòng tối ưu hóa tự động và chiến lược tìm kiếm. Chúng khám phá kiến trúc mô hình, điều chỉnh siêu tham số, và đôi khi chọn dữ liệu huấn luyện bằng các biến thể ngẫu nhiên hoặc thuật toán tiến hóa. Tuy nhiên, chúng thường không liên quan đến một tác nhân AI có thể đọc các bài báo nghiên cứu, thiết kế giả thuyết mới, và viết các thay đổi mã tùy ý để phản hồi.

Karpathy phản bác các so sánh giảm thiểu sự khác biệt đó. Ông nhấn mạnh các phương pháp như tìm kiếm kiến trúc mạng nơ-ron, xuất hiện như một cách tự động hóa thiết kế mô hình. Theo ông, các dạng cũ của kỹ thuật này yếu hơn nhiều so với một tác nhân có thể lý luận về mã, học hỏi từ các thử nghiệm trước đó, và lấy thông tin từ internet.

Ông mô tả tìm kiếm kiến trúc mạng nơ-ron lịch sử là “một phiên bản yếu đến mức nó thuộc về loại hoàn toàn vô dụng”. Hơn nữa, ông nhấn mạnh rằng hệ thống của ông sử dụng một mô hình ngôn ngữ lớn để viết mã tùy ý, diễn giải kết quả từ các thử nghiệm trước đó, và điều chỉnh chiến lược theo thời gian thực, khiến nó linh hoạt hơn nhiều so với các pipeline AutoML truyền thống.

Nhìn về tương lai với đội ngũ tác nhân và tác động rộng lớn hơn

Khi sự chú ý ngày càng tăng, một số nhà nghiên cứu đang khám phá cách các ý tưởng thử nghiệm autoresearch của Karpathy có thể được mở rộng thành các đội tác nhân đầy đủ. Tầm nhìn là một mạng lưới các tác nhân chuyên biệt chia sẻ nhiệm vụ, kiểm tra chéo kết quả, và đề xuất các phương pháp mới, trong khi con người đặt ra các mục tiêu và giới hạn cao cấp. Điều này có thể biến đổi cả quy trình AI học thuật lẫn công nghiệp.

Tuy nhiên, việc mở rộng đội ngũ tác nhân đặt ra các câu hỏi mở về an toàn, độ tin cậy và quản trị. Các nhà quan ngại về rủi ro tự cải thiện đệ quy cảnh báo rằng khi các hệ thống này có được mức độ tự chủ và ảnh hưởng lớn hơn đối với hạ tầng quan trọng, việc giám sát cẩn thận sẽ là điều thiết yếu. Việc duy trì các chỉ số đánh giá mạnh mẽ và sự xem xét của con người ở mỗi bước thăng tiến sẽ rất quan trọng.

Hiện tại, dự án của Karpathy vẫn là một minh họa khá hạn chế về cách các mô hình ngôn ngữ có thể tiến hành các thử nghiệm autoresearch trên các mã nguồn vừa phải. Tuy nhiên, phản ứng từ các nhân vật như Lütke và các nhà phân tích trong ngành cho thấy rằng mẫu cốt lõi này có thể lan rộng nhanh chóng, làm mờ ranh giới giữa các nhà nghiên cứu con người và các tập thể tác nhân tự động.

Tóm lại, công trình autoresearch của Karpathy cho thấy rằng một tác nhân được cấu hình tốt có thể phát hiện ra các lợi ích hiệu suất đo lường được trong vòng vài ngày, chứ không phải hàng tháng. Hơn nữa, khi các phòng thí nghiệm thúc đẩy các kỹ thuật này hướng tới các mô hình lớn hơn và đội ngũ tác nhân đa dạng, họ có thể mở khóa các khả năng mới mạnh mẽ đồng thời làm gia tăng các cuộc tranh luận lâu dài về tự chủ, kiểm soát và hướng đi tương lai của nghiên cứu AI.