Практическое использование LiteLLM Proxy - Пошаговое руководство

LiteLLM Proxy - это прокси-сервер между вашими приложениями (n8n) и OpenAI API. Он НЕ создает новые ключи OpenAI, но позволяет эффективно управлять уже существующими ключами.

• ✅ Управление множественными OpenAI ключами через веб-интерфейс
• ✅ Автоматическая балансировка запросов между ключами
• ✅ Переключение на резервные ключи при превышении лимитов
• ✅ Детальная аналитика и мониторинг использования
• ✅ Установка бюджетов и лимитов расходов
• ✅ Кеширование ответов для экономии средств

• ❌ Создавать новые OpenAI API ключи
• ❌ Пополнять баланс OpenAI аккаунта
• ❌ Управлять биллингом OpenAI напрямую

1. Перейдите на https://platform.openai.com/api-keys
2. Нажмите "Create new secret key"
3. Дайте ключу понятное имя (например "Main-Key-1")
4. Скопируйте ключ и сохраните в надежном месте
5. Повторите для создания 2-3 ключей

<WRAP center round tip 60%> Совет: Создайте минимум 2-3 ключа для обеспечения отказоустойчивости. Дайте им понятные имена: «Main-Key-1», «Main-Key-2», «Project-A-Key» и т.д. </WRAP>

1. В OpenAI перейдите в Settings → Billing
2. Add payment method (добавьте карту)
3. Add credits (добавьте кредиты, минимум $10)
4. Установите usage limits для контроля расходов

URL: https://api.digitizepro.tech/ui
Логин: admin
Пароль: UI_Admin_7mK2qF9xR5tG8nP1wS4vY3bC6eZ0hL9jM

1. Перейдите в Models → Add Model
2. Заполните форму:

1. Нажмите Save

Повторите процесс для всех ваших ключей:

Модель 1: gpt-3.5-turbo-main-1 (первый ключ)
Модель 2: gpt-3.5-turbo-main-2 (второй ключ)  
Модель 3: gpt-4-main-1 (первый ключ для GPT-4)
Модель 4: gpt-3.5-turbo-project-a (отдельный ключ для проекта)

1. Перейдите в Models → Model Groups
2. Нажмите Create Group
3. Заполните:

Создайте отдельные группы:

Группа: "main-gpt4" 
├── gpt-4-main-1
└── gpt-4-main-2

Группа: "project-a"
├── gpt-3.5-turbo-project-a
└── gpt-4-project-a

Группа: "client-work"
├── gpt-3.5-turbo-client
└── gpt-4-client

1. В n8n: Settings → Credentials → Add Credential
2. Выберите «OpenAI»
3. Заполните:

Credential Name: LiteLLM Main - digitizepro.tech
API Key: sk-litellm-E4j8mK9nP2qR5sT7vX0yZ3bC6eG9hL1oM4rU8wA5dF2gJ7k
Base URL: https://api.digitizepro.tech/v1
Organization: [оставьте пустым]

1. Test Connection → Save

Создайте отдельные креденшлы для разных проектов:

Креденшл 1: "LiteLLM Main"
├── Base URL: https://api.digitizepro.tech/v1
└── Для основных задач

Креденшл 2: "LiteLLM AI Tasks"  
├── Base URL: https://ai.digitizepro.tech/v1
└── Для AI-специфичных задач

Креденшл 3: "LiteLLM Client Work"
├── Base URL: https://openai.digitizepro.tech/v1
└── Для клиентских проектов

1. Добавьте OpenAI Chat Model ноду
2. Настройте:

Webhook Trigger 
    ↓
OpenAI Chat Model (креденшл: LiteLLM Main)
├── Model: main-gpt35
├── Prompt: "{{ $json.user_message }}"
└── Max Tokens: 500
    ↓
Response Node

В веб-интерфейсе LiteLLM:

1. Dashboard → общая статистика использования
2. Logs → детальный журнал всех запросов
3. Analytics → графики использования по времени

1. Budgets → Create Budget
2. Настройте:

Для разграничения доступа:

1. Users → Add User
2. API Keys → Create Key для каждого пользователя
3. Назначьте лимиты и доступные модели

Ситуация: Один из OpenAI ключей достиг лимита RPM

Что происходит:

1. n8n отправляет запрос → LiteLLM
2. LiteLLM пытается использовать gpt-3.5-turbo-main-1
3. OpenAI возвращает ошибку "Rate limit exceeded"
4. LiteLLM автоматически переключается на gpt-3.5-turbo-main-2
5. Запрос успешно выполняется
6. n8n получает ответ без ошибок

Преимущество: n8n работает без прерываний, вы видите переключения в логах LiteLLM

Настройка:

Проект A: использует группу "project-a"
Проект B: использует группу "main-gpt35" 
Клиентская работа: использует группу "client-work"

Мониторинг:

1. В Analytics видите расходы по каждой группе
2. Устанавливаете бюджеты для каждого проекта
3. Получаете уведомления при превышении лимитов

Включение кеширования:

1. Settings → Caching → Enable Redis Cache
2. TTL: 3600 секунд (1 час)

Как работает:

1. Первый запрос: "Переведи 'Hello' на французский"
   ├── LiteLLM → OpenAI API
   ├── Ответ: "Bonjour"
   └── Сохраняется в Redis

2. Повторный запрос: "Переведи 'Hello' на французский"
   ├── LiteLLM находит в кеше
   ├── Возвращает "Bonjour"
   └── OpenAI API НЕ вызывается (экономия)

Причины и решения:

Проблема: Ошибка аутентификации
├── Проверьте правильность Master Key в n8n
├── Убедитесь что OpenAI ключи валидны
└── Проверьте баланс OpenAI аккаунта

Диагностика:

1. В LiteLLM Logs найдите конкретную ошибку
2. Проверьте статус ключей в Models

Решение:

1. Добавьте больше OpenAI ключей для той же модели
2. Увеличьте лимиты в OpenAI аккаунте
3. Используйте кеширование для снижения количества запросов

Контроль расходов:

1. Установите бюджеты в LiteLLM
2. Включите кеширование
3. Оптимизируйте prompts в n8n
4. Используйте более дешевые модели для простых задач

Рекомендуемая структура:
├── Main Pool (2-3 ключа для основной работы)
├── Project Pools (отдельные ключи для крупных проектов)  
├── Development Pool (дешевые ключи для разработки)
└── Emergency Pool (резервные ключи)

Ежедневно проверяйте:

1. Dashboard для общей статистики
2. Logs для ошибок
3. Budgets для контроля расходов

Еженедельно анализируйте:

1. Analytics для трендов использования
2. Cost analysis для оптимизации

✅ Используйте отдельные ключи для разных проектов
✅ Устанавливайте бюджетные лимиты
✅ Регулярно ротируйте ключи
✅ Мониторьте логи на подозрительную активность
❌ Не используйте один ключ для всех задач
❌ Не игнорируйте уведомления о превышении лимитов

LiteLLM Proxy предоставляет мощный инструмент для управления множественными OpenAI ключами. Основные преимущества:

• Отказоустойчивость - автоматическое переключение между ключами
• Мониторинг - полная видимость использования и расходов
• Масштабируемость - легкое добавление новых ключей и проектов
• Экономия - кеширование и оптимизация запросов

Следуя этому руководству, вы сможете эффективно использовать систему для любых задач - от простых чат-ботов до сложных AI workflow в n8n.