Комментарии 6
У вас просто qa rag бот или умеет тулы вызывать и работать в агентском цикле?
Не просто QA-RAG. Базовый режим — поиск по документации, но основное — агентский цикл. ИИ планирует, вызывает инструменты, смотрит на результат и решает следующий шаг. Мы реализовали самые свежие подходы, близкие к RLM и CodeAct
Интересны технические детали для маленькой модели. Если агент сам подтягивает контекст, то он может несколькими тул коллами забить себе контекст. Если делать compaction, то контекст в рамках одного хода рвётся. Как решали это?
Мы эту проблему в основном обходим: контекст собирает не модель, а код, до вызова (раздел про предзагрузку). Простые вопросы закрываются за один проход по заранее подготовленному материалу, многоходовый режим включается только для сложных. Результаты инструментов в окно целиком не льются, идет только прошедшее порог и урезанное до нужного. Если контекст шага не влезает, это ошибка сборки, режем на этапе курации
Очень полезная информация, как формировать хороший контекст при запросах в LLM.
Контекстная инженерия для слабой локальной модели: как мы делаем среднюю модель надёжной