Огляд ServBay AI Gateway
ServBay AI Gateway — це локальний єдиний шлюз для AI-постачальників, вбудований у ServBay. На вашому комп'ютері він створює проксі-ендпоінт, який об'єднує всі запити до різних постачальників великих мовних моделей (зокрема OpenAI, Anthropic, DeepSeek, Tongyi Qianwen та ще близько 20 інших) через один вхід. Це дозволяє централізовано керувати ключами, відстежувати використання та витрати, а також миттєво підключати Claude Code, Codex, Gemini CLI та інші AI-інструменти розробки до локального шлюзу.
У цьому документі описано, що таке AI Gateway, які проблеми він вирішує та його архітектуру. За деталями налаштування дивіться:
- Управління каналами — додавання та налаштування постачальників
- Віртуальні ключі — створення, обмеження доступу, ротація та скасування ключів
- Миттєве підключення AI-інструментів — спрямування CLI-інструментів (Claude Code тощо) на шлюз
- Статистика й моніторинг — використання, витрати, бюджет
- Ендпоінти та змінні середовища — використання шлюзу у власному коді
Огляд
У щоденній AI-розробці ви можете використовувати кілька API-ключів різних постачальників, розкиданих у конфігураціях різних проєктів та інструментів. Це ускладнює контроль витрат і централізоване управління. ServBay AI Gateway вирішує ці проблеми:
- Один вхід, багато постачальників — Налаштувавши канали, всі запити перенаправляються через локальну адресу
http://127.0.0.1:11580. Ваш додаток працює лише з однією адресою. - Віртуальні ключі замість реальних — Шлюз генерує "віртуальні ключі" для додатків та інструментів, тоді як справжні ключі зберігаються лише у шлюзі. Віртуальні ключі можна обмежувати, оновлювати чи деактивувати у будь-який момент.
- Єдина аналітика використання і витрат — Усі запити проходять через шлюз, який збирає дані про кількість запитів, використані токени, витрати, затримки, а також мультимодальні дані, з підтримкою керування бюджетом.
- Автоматичне підключення популярних AI-інструментів розробки — Без ручного редагування конфігурацій шлюз за один клік перенаправляє Claude Code, Codex, Gemini CLI, Qwen Code, Kimi CLI, CodeBuddy, opencode, Crush тощо на локальний шлюз.
Архітектура і порти
AI Gateway складається з двох локальних сервісів, які прослуховують лише локальну адресу (127.0.0.1):
| Порт | Призначення | Опис |
|---|---|---|
11580 | Проксі-порт | Основний вхід для додатків. Ваш код і підключені AI-інструменти надсилають запити сюди, а шлюз маршрутизує їх до потрібного постачальника згідно з правами віртуального ключа. |
11581 | Порт керування | Використовується для внутрішнього керування каналами, ключами, статистикою. Зазвичай прямий доступ не потрібен. |
Проксі-порт підтримує ендпоінти з різною сумісністю (OpenAI, Anthropic, Gemini тощо). Докладніше — у Ендпоінти та змінні середовища.
Підтримувані постачальники
AI Gateway має майже 20 вбудованих постачальників, згрупованих за категоріями, для швидкого додавання каналів:
- Основні: OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
- Китай: DeepSeek, Tongyi Qianwen, Zhipu GLM, Kimi (Moonshot), Doubao·Volcano, Wenxin Yiyan, Hunyuan, MiniMax, ZeroOne, Step Star. Tongyi Qianwen, Zhipu GLM, Kimi, Doubao·Volcano, Hunyuan, MiniMax, Step Star підтримують перемикання між локальними та глобальними ендпоінтами.
- Локальні: Ollama (
127.0.0.1:11434за замовчуванням), LM Studio (127.0.0.1:1234за замовчуванням). - Користувацькі: OpenAI Compatible (будь-який сумісний сервіс), Custom (повністю індивідуальний канал).
Деталі додавання та налаштування каналів дивіться у Управління каналами.
Вимоги
- Встановлений та запущений ServBay на macOS або Windows.
- AI Gateway — це преміальна функція ServBay; перед додаванням каналів і ключів потрібно увійти в обліковий запис ServBay. Якщо не авторизовано, інтерфейс запропонує пройти автентифікацію.
TIP
Функціональні можливості AI Gateway однакові для версій ServBay на macOS і Windows. Проксі-порт (11580), порт керування (11581) та шляхи до конфігурацій підключених інструментів ідентичні. Особливості різних платформ відзначені окремо у документації.
Обліковий запис і підписки
Деякі можливості AI Gateway залежать від вашої підписки ServBay:
- Максимальна кількість каналів/ключів — Безкоштовний і платний тарифні плани дозволяють створити обмежену кількість каналів і віртуальних ключів. У разі досягнення ліміту система запропонує перейти на розширену підписку.
- Облік та бюджетування — Обмеження за токенами/запитами/витратами та бюджетна аналітика доступні для VIP/платних користувачів. За відсутності підписки ці функції заблоковані й супроводжуються підказками щодо переходу на інший тариф.
Детальні умови — у розділах ServBay Pro та ServBay Team.
Зберігання даних
- Дані каналів, віртуальних ключів, статистики використання зберігаються локально на вашому комп’ютері бекенд-сервісом шлюзу.
- Відкрите значення віртуального ключа відображається лише один раз під час створення (або ротації). Надалі шлюз зберігає лише префікс для ідентифікації, тому скопіюйте ключ відразу після створення.
- При автоматичному підключенні інструментів шлюз створює резервну копію оригінального файлу конфігурації з суфіксом
.bak, після чого оновлює конфігурацію для роботи з локальним шлюзом. Це дозволяє легко відновити початкові налаштування.
Типовий сценарій використання
- Увійдіть в обліковий запис ServBay та відкрийте AI Gateway.
- На сторінці Канали додайте щонайменше одного постачальника (наприклад, OpenAI або DeepSeek), введіть справжній API-ключ і протестуйте підключення.
- На сторінці Віртуальні ключі створіть віртуальний ключ, за потреби обмежте доступ до моделей/каналів або встановіть ліміти швидкості.
- На сторінці Ендпоінти додайте віртуальний ключ у ваш додаток, або на тій же сторінці використайте Автоматичне підключення для основних AI-інструментів розробника.
- На сторінці Статистика й моніторинг відстежуйте використання, витрати, затримки, а також встановлюйте бюджет.
Висновок
ServBay AI Gateway трансформує фрагментований процес AI-розробки з багатьма постачальниками, ключами й інструментами у єдиний локальний шлюз, набір віртуальних ключів і централізовану аналітику використання. Він дозволяє безпечно управляти AI-ресурсами і витратами на локальному комп’ютері, а також підключати різні AI-інструменти через один шлюз із мінімальними зусиллями — це одна з основних функцій ServBay для сучасних AI-орієнтованих розробників.
