Bắt đầu khám phá hạ tầng agentic chỉ hai tuần trước với kiến thức nền tảng bằng 0—và thành thật mà nói, đó là một trải nghiệm tuyệt vời. Tôi đã xây dựng hệ thống bộ nhớ cục bộ của riêng mình bằng cách sử dụng một mô hình ngôn ngữ nhỏ chạy cục bộ, được cấu trúc dựa trên thiết kế hai kênh thực sự hoạt động.

Kênh 1 tập trung vào hạt giống hybrid với tìm kiếm ngữ nghĩa được hỗ trợ bởi nhúng. Phương pháp này cho phép bạn lập chỉ mục và truy xuất thông tin ngữ cảnh một cách hiệu quả mà không dựa vào API bên ngoài. Hệ thống trọng số lấy các tín hiệu dữ liệu khác nhau dựa trên điểm số liên quan, giúp giữ cho quá trình suy luận sạch sẽ và phản hồi nhanh.

Điều khiến tôi ngạc nhiên nhất? Là bạn có thể tạo mẫu nhanh chóng hệ thống này với phần cứng tiêu chuẩn người tiêu dùng. LLM cục bộ xử lý việc tạo nhúng theo thời gian thực, và thiết lập hai kênh phân phối truy vấn một cách thông minh giữa dữ liệu có cấu trúc và phù hợp ngữ nghĩa. Nó không phải là hạ tầng đột phá, nhưng đối với các agent AI cá nhân cần lưu trữ bộ nhớ lâu dài, hệ thống này mở rộng khá ấn tượng.

Đường cong học tập còn dốc hơn tôi mong đợi, nhưng khi phân tích nhỏ ra—nhúng, tìm kiếm vector, các pipeline suy luận cục bộ—mỗi phần đều trở nên rõ ràng khi bạn ngừng quá suy nghĩ quá nhiều. Nếu bạn đang khám phá các hệ thống agentic, bắt đầu từ cục bộ chắc chắn là lựa chọn đúng đắn.