Огляд ServBay AI Gateway (AI-шлюз)
ServBay AI Gateway — це вбудований у ServBay локальний уніфікований шлюз до постачальників ШІ. Він запускає на вашій машині проксі-ендпоінт, який об’єднує запити до різних постачальників великих моделей (OpenAI, Anthropic, DeepSeek, Qwen тощо — близько 20) в єдиний вхід, допомагає централізовано керувати ключами, вести статистику використання й витрат, а також одним кліком спрямовує Claude Code, Codex та інші інструменти ШІ-програмування на локальний шлюз.
У цьому документі описано, що таке AI Gateway, які проблеми він вирішує та як він загалом побудований. Конкретні дії дивіться тут:
- Керування каналами — додавання й налаштування постачальників
- Віртуальні ключі — створення, обмеження прав, ротація й відкликання ключів
- Підключення інструментів ШІ-програмування одним кліком — спрямування Claude Code та інших CLI на шлюз
- Статистика й моніторинг — використання, витрати та бюджет
- Ендпоінти та змінні середовища — виклик шлюзу з власного коду
Огляд
У повсякденній розробці зі ШІ ви можете одночасно мати API-ключі кількох постачальників, розкидані по різних проєктах і конфігураційних файлах інструментів; це ускладнює облік витрат і централізоване перемикання. ServBay AI Gateway збирає ці проблеми в одному місці:
- Один вхід, багато постачальників — після налаштування каналів усі запити передаються через локальний
http://127.0.0.1:11580, і вашому застосунку достатньо звертатися до однієї адреси. - Віртуальні ключі замість справжніх — шлюз видає застосункам та інструментам «віртуальні ключі», а справжні API-ключі постачальників зберігаються лише на боці шлюзу й більше не розпорошуються. Віртуальні ключі можна будь-коли обмежити за правами, замінити чи відкликати.
- Єдиний огляд використання та витрат — усі запити, що проходять через шлюз, записуються; шлюз надає статистику кількості запитів, використання токенів, витрат, затримок, мультимодального використання та підтримує керування бюджетом.
- Підключення провідних інструментів ШІ-програмування одним кліком — не потрібно вручну редагувати конфігураційні файли: шлюз одним кліком спрямовує Claude Code, Codex, Qwen Code, Kimi CLI, CodeBuddy, opencode, Crush та інші інструменти на локальний шлюз.
- Облікові записи за підпискою та відстеження квот — підтримується прив’язка облікових записів постачальників за підпискою (наприклад, авторизація OAuth для Claude Pro / Max); у шлюзі можна візуально переглядати інформацію про тариф, доступні ендпоінти, обмеження довжини виводу та відстежувати квоти за кількома вікнами в реальному часі (використано / залишок у відсотках, стан вичерпання квоти, час скидання), щоб ви завжди контролювали залишок підписки.
- Визначення можливостей каналів та інтелектуальна маршрутизація — під час додавання каналу шлюз автоматично визначає можливості постачальника (тип з авторизацією OAuth / тип із тарифом для програмування / тип із рівнями моделей) і після підтвердження автоматично записує три рівні зіставлення шлюзу, тож не потрібно вручну вгадувати сумісність моделей.
Архітектура та порти
AI Gateway складається з двох локальних сервісів, які слухають лише loopback-адресу (127.0.0.1):
| Порт | Призначення | Опис |
|---|---|---|
11580 | Проксі-порт | Єдиний вхід для застосунків. Ваш код і підключені інструменти ШІ надсилають запити сюди, а шлюз маршрутизує їх до відповідного каналу постачальника згідно з правами віртуального ключа. |
11581 | Порт керування | Використовується застосунком ServBay для внутрішнього керування каналами, ключами та статистикою; зазвичай не потребує прямого доступу. |
Проксі-порт також надає ендпоінти з кількома сумісними форматами (сумісні з OpenAI, Anthropic, Gemini); докладніше див. Ендпоінти та змінні середовища.
Підтримувані канали постачальників
AI Gateway містить близько 20 попередньо налаштованих постачальників, згрупованих за категоріями; під час додавання каналу їх можна вибрати одразу:
- Провідні (Mainstream): OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
- Китайські (China): DeepSeek, Qwen, Zhipu GLM, Kimi (Moonshot AI), Doubao · Volcano, ERNIE Bot, Hunyuan, MiniMax, 01.AI, StepFun. Серед них Qwen, Zhipu GLM, Kimi, Doubao · Volcano, Hunyuan, MiniMax, StepFun та інші підтримують перемикання між китайським / глобальним ендпоінтами.
- Локальні (Local): Ollama (типово
127.0.0.1:11434), LM Studio (типово127.0.0.1:1234). - Власні (Custom): OpenAI Compatible (будь-який OpenAI-сумісний сервіс), Custom (повністю налаштовуваний).
Повний процес додавання й налаштування див. у Керування каналами.
Передумови
- На macOS або Windows установлено й запущено ServBay.
- AI Gateway — це додаткова функція ServBay; перед додаванням каналів / ключів потрібно увійти в обліковий запис ServBay. Якщо ви не ввійшли, інтерфейс проведе вас через вхід.
TIP
AI Gateway має однаковий функціонал у ServBay для macOS і ServBay для Windows: проксі-порт (11580), порт керування (11581) і шляхи до конфігураційних файлів підключених інструментів збігаються. Якщо в документації є відмінності між платформами, їх буде зазначено окремо.
Обліковий запис і тарифи
Деякі можливості AI Gateway пов’язані з тарифом облікового запису ServBay:
- Ліміти кількості каналів / ключів — для безкоштовних і платних тарифів кількість каналів і віртуальних ключів, які можна створити, відрізняється. Після досягнення ліміту інтерфейс запропонує оновити тариф.
- Керування квотами та бюджетом — обмеження за квотами (токени / кількість запитів / сума) і панель бюджету належать до можливостей VIP / платних тарифів; без підписки відповідні розділи буде заблоковано з пропозицією оновити тариф.
Щодо деталей тарифів див. ServBay Pro і ServBay Team.
Облікові записи за підпискою та відстеження квот
AI Gateway підтримує прив’язку облікових записів постачальників за підпискою (наприклад, Claude Pro / Max, підключених через авторизацію OAuth), що дає змогу переглядати й керувати цими підписними ресурсами безпосередньо в локальному шлюзі, не заходячи до вебконсолі кожного постачальника.
Що можна робити з обліковим записом за підпискою
- Інформація про тариф зрозуміла з першого погляду — відображаються назва тарифу, структура оплати та термін дії.
- Доступні ендпоінти й обмеження виводу — перегляд списку ендпоінтів, доступних для цього облікового запису за підпискою, та максимальної довжини виводу для кожної моделі.
- Відстеження квот за кількома вікнами — візуальне відображення відсотка використаної / залишкової квоти, поточного стану вичерпання та часу скидання квоти, що допомагає раціонально розподіляти ресурси підписки.
- Видимість недійсних облікових даних — коли авторизаційні дані облікового запису за підпискою прострочуються або стають недійсними, в інтерфейсі з’являється чітке позначення з пропозицією повторно авторизуватися.
Експериментальна функція
Підключення облікових записів за підпискою через авторизацію OAuth наразі є експериментальною функцією; список підтримуваних постачальників поступово розширюватиметься. Під час авторизації потрібно завершити OAuth-процес постачальника у браузері; токен авторизації зберігається лише локально.
Зберігання даних
- Конфігурація каналів, віртуальні ключі, статистика використання та інші дані зберігаються локально бекенд-сервісом шлюзу.
- Відкритий текст віртуального ключа показується лише один раз під час створення (або ротації); після цього шлюз зберігає лише префікс для ідентифікації. Обов’язково скопіюйте й збережіть ключ одразу після створення.
- Під час підключення інструментів одним кліком шлюз спершу створює резервну копію оригінального конфігураційного файлу цільового інструмента з розширенням
.bak, а потім записує конфігурацію, що вказує на локальний шлюз, щоб її можна було будь-коли відновити.
Типовий робочий процес
- Увійдіть в обліковий запис ServBay і перейдіть до AI Gateway.
- На сторінці Канали додайте щонайменше один канал постачальника (наприклад, OpenAI або DeepSeek), введіть справжній API-ключ і перевірте з’єднання.
- На сторінці Віртуальні ключі створіть віртуальний ключ і за потреби обмежте доступні моделі / канали та швидкість.
- На сторінці Ендпоінти вставте віртуальний ключ у свій застосунок або на тій самій сторінці підключіть одним кліком звичні інструменти ШІ-програмування.
- На сторінці Статистика й моніторинг відстежуйте використання, витрати й затримки; за потреби налаштуйте бюджет.
Підсумок
ServBay AI Gateway перетворює фрагментовану картину розробки зі ШІ — «багато постачальників, багато ключів, багато інструментів» — на «один локальний вхід, один набір віртуальних ключів, один огляд використання». Він дає змогу локально безпечно централізовано керувати можливостями ШІ, точно контролювати витрати та з мінімальними зусиллями підключати різні інструменти ШІ-програмування до єдиного шлюзу. Це одна з ключових можливостей ServBay для розробки, орієнтованої на ШІ (AI-native).
