Cách hiểu: trong các mô hình AI lớn, tiền token bạn trả, thực chất chính là phí thuê sức tính toán của GPU?

Nói đơn giản, token chính là 'đơn vị cấp phát tối thiểu' của mô hình AI lớn.

Giống như khi chúng ta học chữ thời nhỏ, trước tiên học từng chữ riêng lẻ, sau đó ghi nhớ trực tiếp các cụm từ thông dụng sẽ hiệu quả hơn.

AI thực ra không nhận biết chữ Hán hay tiếng Anh, nó chỉ nhận biết con số. Khi bạn nhập một câu, nó sẽ được cắt thành từng token riêng lẻ, mỗi token tương ứng với một mã số, AI thực sự xử lý chính là chuỗi số này. Khi xuất kết quả cũng ngược lại: trước tiên tạo ra mã số, sau đó dịch ngược lại thành chữ cho bạn xem.

🔹Vậy AI làm sao biết từ tiếp theo có xác suất cao là gì?

Dựa vào đào tạo trên các văn bản khổng lồ, ghi nhớ xác suất cao nhất là cái gì sẽ theo sau mỗi token, tất cả những xác suất này được lưu trữ trong hàng trăm tỷ tham số, giống như 'sách hướng dẫn kiến thức' của mô hình lớn.

Khi tạo ra câu trả lời, AI thực ra là 'bật ra từng token một', mỗi lần bật ra, phải lật đi lật lại toàn bộ sách hướng dẫn, cho tất cả các từ tiếp theo có thể có trong từ điển chấm điểm, chọn cái có điểm cao nhất để xuất ra.

🔹Nên việc này đặc biệt tiêu tốn lượng tính toán, tầm quan trọng của GPU

CPU giống như một giáo sư thông minh nhưng chỉ xử lý một luồng, lật sách nhanh cũng có giới hạn, GPU giống như hàng ngàn học sinh tiểu học cùng làm việc, chia sách hướng dẫn thành hàng ngàn phần, mọi người tính toán song song, chốc chốc đã quét hết hàng trăm tỷ tham số.

Nên GPU có hai yếu tố chủ chốt: lõi càng nhiều, khả năng tính toán song song càng mạnh. Bây giờ toàn cầu đang tiêu thụ token như điên, bản chất chính là hàng ngàn GPU trong nền tảng đang lật sách hướng dẫn như điên, chấm điểm👇

Vậy nên, tiền token bạn trả, thực chất chính là phí thuê sức tính toán của GPU.

Và GPU chạy cần điện, cần lưu trữ, nên ngành có một câu tóm tắt:

AI thiếu sức tính toán trong ngắn hạn, thiếu năng lượng trong dài hạn, mãi mãi thiếu bộ nhớ.