Почав занурюватися в агентську інфраструктуру всього два тижні тому без будь-якої бази — і чесно кажучи, це було неймовірно цікаво. Створив свою власну локальну систему пам’яті, використовуючи невелику мовну модель, яка працює локально, структуровану навколо двоканального дизайну, що дійсно працює.

Канал 1 зосереджений на гібридних насіннєвих моделях із семантичним пошуком, підтримуваним ембедінгами. Підхід дозволяє ефективно індексувати та отримувати контекстну інформацію без залежності від зовнішніх API. Система ваг дозволяє витягувати різні сигнали даних на основі релевантності, що зберігає інференцію чистою і швидкою.

Що мене найбільше здивувало? Як швидко можна прототипувати цей стек із споживчого обладнання. Локальна LLM обробляє генерацію ембедінгів у реальному часі, а двоканальна система розподіляє запити розумно між структурованими даними та семантичним пошуком. Це не революційна інфраструктура, але для особистих AI-агентів, які потребують збереження пам’яті, це досить добре масштабується.

Крива навчання була крутішою, ніж очікувалося, але розбивши її на частини — ембедінги, векторний пошук, локальні пайплайни інференції — кожен елемент став зрозумілим, коли перестав надто заморочуватися. Якщо ви досліджуєте агентські системи, починати з локального — це точно правильний крок.