Аналитика и нагрузки
В стандартный шаблон MA_Router входит модуль, который отвечает за контроль нагрузки, лимитов и доступности моделей LLM.
Основные проверки
- Суточный лимит диалогов:
LLMDialogCounter.canStartNewDialog(limit=25)— ограничивает количество диалогов на пользователя. - Текущая нагрузка:
LLMTracer.getActiveSessionsCount(5)— если слишком много активных сессий, диалог откладывается. - Активность ИИ:
bot.getBoolAttr("ai_is_active")— если ИИ выключен, переводит на резервный сценарий.
Логика работы
- Перед стартом диалога — проверяются лимиты и нагрузка.
- Если лимит превышен — пользователю отправляется уведомление, диалог переносится.
- Если нагрузка высокая — диалог откладывается на несколько секунд.
- При старте диалога — увеличивается счётчик, открывается сессия в LLMTracer.
- При завершении — сессия закрывается.
Метрики и отчёты
/aistatsдля получения аналитики по текущему состоянию системы- Пример отчёта:
📊 Статистика LLM Tracer
🕒 За последние 7 дней:
• Токены входящие: 2 533 129
• Токены исходящие: 313 036
• Всего токенов: 2 846 165
• Уникальных лидов: 3
• Уникальных сессий: 29
• Среднее вопросов на пользователя: 9.7
• Превышений 20 запросов в сутки: 1
📈 За всё время:
• Токены входящие: 3 861 082
• Токены исходящие: 351 484
• Всего токенов: 4 212 566
• Уникальных лидов: 3
• Уникальных сессий: 38
• Среднее вопросов на пользователя: 12.7
• Превышений 20 запросов в сутки: 1
Обновлено: 2025-10-06 18:53:52
Таймауты
Для каждого запроса к LLM настраиваются таймауты в конфигурации. При превышении времени ожидания:
- Фиксация проблемы — информация об ошибке отправляется через Notifier
- Fallback — сценарий не блокируется, автоматически запускается Fallback-скрипт
- Продолжение работы — пользователь получает альтернативный ответ без прерывания диалога
Таймауты защищают систему от зависаний при проблемах на стороне LLM-провайдера.
Быстрые ответы на вопросы
- Как узнать текущую нагрузку? — Вызвать
LLMTracer.getActiveSessionsCount(5). - Как фиксируются ошибки? — Через Notifier и запись в LLMTracer.