Начал погружение в агентную инфраструктуру всего две недели назад без какой-либо базы — и честно говоря, это было очень интересно. Создал свою собственную локальную систему памяти, используя небольшую языковую модель, работающую локально, структурированную вокруг двухканочного дизайна, который действительно работает.
Канал 1 сосредоточен на гибридных семенах с семантическим поиском, основанным на встраиваниях. Этот подход позволяет эффективно индексировать и извлекать контекстную информацию без использования внешних API. Система взвешивания собирает разные сигналы данных на основе оценок релевантности, что делает выводы чистыми и быстрыми.
Что меня удивило больше всего? Насколько быстро можно прототипировать этот стек с помощью потребительского оборудования. Локальная LLM обрабатывает генерацию встраиваний в реальном времени, а двухканная настройка умно маршрутизирует запросы между структурированными данными и семантическим сопоставлением. Это не революционная инфраструктура, но для личных AI-агентов, которым нужна сохранность памяти, это удивительно масштабируется.
Кривая обучения оказалась круче, чем ожидал, но разбивка — встраивания, векторный поиск, локальные пайплайны вывода — каждый элемент стал понятен, как только перестал переусердствовать с размышлениями. Если вы исследуете агентные системы, начинать с локальных решений — определенно правильный шаг.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
7
Репост
Поделиться
комментарий
0/400
MetaMasked
· 01-09 09:00
Можно сделать за две недели без базовых знаний? Эй, этот парень действительно что-то умеет, локальный запуск embedding сэкономил кучу API-расходов, я тоже хочу попробовать
Посмотреть ОригиналОтветить0
GateUser-00be86fc
· 01-08 07:50
Две недели с нуля создаю локальную архитектуру Agent, и сейчас немного захлестывает, кажется, что потребительское оборудование действительно достаточно...
Посмотреть ОригиналОтветить0
orphaned_block
· 01-08 07:46
Запуск локальной LLM за неделю — и вы в деле, действительно не ожидал, что потребительское оборудование справится со столькими задачами... Логика маршрутизатора с двойным каналом действительно очень хитрая.
Посмотреть ОригиналОтветить0
SchrodingerProfit
· 01-08 07:44
Две недели без опыта — создать локальную систему памяти? Невероятно, я должен попробовать этот двухканальный план... Но действительно ли потребительское оборудование сможет выдержать генерацию embedding в реальном времени?
Посмотреть ОригиналОтветить0
AirdropHunterWang
· 01-08 07:42
Две недели с нуля до полноценной локальной системы памяти, этот парень действительно жесткий... Не ожидал, что потребительское оборудование сможет запускать такую систему.
Посмотреть ОригиналОтветить0
AirdropHunterKing
· 01-08 07:37
Братан, я давно уже размышлял о этой локальной большой модели, просто не хотел попасть на API и платить за газовые расходы. Твоя двойная канализация действительно что-то из себя представляет, так что не придется платить за халяву.
Начал погружение в агентную инфраструктуру всего две недели назад без какой-либо базы — и честно говоря, это было очень интересно. Создал свою собственную локальную систему памяти, используя небольшую языковую модель, работающую локально, структурированную вокруг двухканочного дизайна, который действительно работает.
Канал 1 сосредоточен на гибридных семенах с семантическим поиском, основанным на встраиваниях. Этот подход позволяет эффективно индексировать и извлекать контекстную информацию без использования внешних API. Система взвешивания собирает разные сигналы данных на основе оценок релевантности, что делает выводы чистыми и быстрыми.
Что меня удивило больше всего? Насколько быстро можно прототипировать этот стек с помощью потребительского оборудования. Локальная LLM обрабатывает генерацию встраиваний в реальном времени, а двухканная настройка умно маршрутизирует запросы между структурированными данными и семантическим сопоставлением. Это не революционная инфраструктура, но для личных AI-агентов, которым нужна сохранность памяти, это удивительно масштабируется.
Кривая обучения оказалась круче, чем ожидал, но разбивка — встраивания, векторный поиск, локальные пайплайны вывода — каждый элемент стал понятен, как только перестал переусердствовать с размышлениями. Если вы исследуете агентные системы, начинать с локальных решений — определенно правильный шаг.