Управління каналами в AI шлюзі

«Канал» у AI шлюзі — це конфігурація точки підключення певного постачальника. Він зберігає адресу постачальника, дійсний API ключ, доступні моделі, тарифи, ліміти та іншу інформацію. Саме за каналами шлюз маршрутизує запити від застосунків до відповідних постачальників. У цій статті описано, як додавати, налаштовувати, тестувати та керувати каналами.

Передумови

• Встановлено та запущено ServBay, а також виконано вхід до акаунту ServBay (для додавання каналу необхідна авторизація).
• Підготовлено дійсний API ключ постачальника (для локальних постачальників, таких як Ollama / LM Studio, можна не заповнювати).
• Якщо ви не знайомі зі структурою AI шлюзу, рекомендуємо спочатку прочитати Огляд AI шлюзу.

Додавання каналу

Перейдіть у AI Шлюз → Канали (Channels) та натисніть Додати (Add) для запуску майстра. Майстер має три кроки.

Крок 1: Вибір постачальника

Постачальники згруповані за категоріями. Оберіть потрібного, клікнувши по картці:

• Популярні (Mainstream): OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
• Китай (China): DeepSeek, Tongyi Qianwen, Zhipu GLM, Kimi, Doubao·Huushan, Wenxin Yiyan, Hunyuan, MiniMax, ZeroOne, StepStar.
• Локальні (Local): Ollama, LM Studio.
• Кастомні (Custom): OpenAI Compatible, Custom.

Після вибору постачальника, шлюз автоматично підставить типовий Base URL.

Перемикання зони

Деякі китайські постачальники, такі як Tongyi Qianwen, Zhipu GLM, Kimi, Doubao·Huushan, Hunyuan, MiniMax, StepStar, пропонують дві лінії ендпоінтів: для материкового Китаю та глобальні. При виборі такого постачальника з'явиться селектор «Регіон» (🇨🇳 Материк / 🌐 Світ), після перемикання Base URL автоматично зміниться на адресу відповідної зони.

Крок 2: Заповнення налаштувань

• Назва каналу (обов’язково) — Може бути довільною, використовується для ідентифікації у списку каналів.
• Base URL (обов’язково) — API адреса постачальника. Для більшості заповнюється автоматично; для Azure OpenAI і Custom потрібно вказати вручну.
• API Key (необов’язково) — Реальний ключ постачальника. Якщо залишити порожнім, можна протестувати лише підключення до ендпоінта, але не справжню валідність ключа; локальні постачальники (Ollama / LM Studio), як правило, не вимагають ключ.
• Моделі — Два способи (оберіть один):
  • Автоматичне виявлення: Натиснувши «Виявити», шлюз отримає перелік моделей від постачальника, і ви зможете обрати потрібні у вигляді чипів.
  • Ввести вручну: Вказати назви моделей вручну. Для Azure необхідно вказати deployment name (ім’я деплойменту), а не модель.
• Пріоритет / Вага — Коли кілька каналів підтримують одну модель, шлюз використовує цей параметр для маршрутизації та балансування навантаження.

Особливості Azure OpenAI

У полі «Моделі» для Azure потрібно вказати назву деплойменту, створеного у порталі Azure, а не базову модель. Також вручну заповніть Base URL вашого ресурсу Azure.

Крок 3: Підтвердження та збереження

Перевірте підсумок налаштувань і натисніть для збереження. Новий канал з'явиться у списку з актуальним статусом підключення.

Тестування підключення

У списку каналів ви можете протестувати окремий канал. Тестування відбувається за двома критеріями:

• Доступність ендпоінта (reachable) — Чи можна з’єднатися з Base URL (правильність мережі та адреси).
• Валідність ключа (authenticated) — Справжній виклик до API постачальника для перевірки ключа. Виконується лише якщо ключ вказано.

У результатах тестування показуються час затримки (мс), індикатор статусу та детальна інформація про помилки.

TIP

У майстрі додавання, якщо ендпоінт недоступний, перейти до наступного кроку не можна; якщо ендпоінт доступний, але ключ недійсний — отримуєте лише попередження, але можете продовжити (наприклад, якщо плануєте ввести ключ пізніше).

Розширені налаштування

При додаванні або редагуванні каналу відкрийте розширені налаштування для управління витратами та лімітами:

• Коефіцієнт тарифікації (Rate Multiplier) — Множник, який застосовується до офіційних тарифів постачальника для розрахунку реальної/перепродажної вартості. За замовчуванням — 1.0.
• Структура тарифікації — Як тарифікується канал: pay as you go (похвилинна), підписка, пакет.
• Баланс — Джерело балансу: фіксоване значення, OSS білінг, або ручне керування; при виборі OSS можна вибрати тип білінгу. Баланс та час оновлення відображаються тільки для читання.
• Час завершення підписки — Для підписних/пакетних каналів зберігає дату завершення.
• Ліміт (VIP) — Можна задати обмеження по токенах, кількості запитів або сумі на день/тиждень/місяць/кастомний період, а також дозволити «дрифтування» для певного надлишку. Ліміти доступні в платних версіях.

Редагування та видалення каналів

• Редагувати — Відкрийте потрібний канал і редагуйте назву, Base URL, API ключ, моделі чи розширені налаштування.
• Видалити — Після видалення каналу всі віртуальні ключі, які його використовують, більше не зможуть маршрутизувати запити через нього — дійте обережно.

Статус здоров’я

У списку каналів та на оглядовій сторінці у реальному часі відображається статус здоров’я кожного каналу (норма / деградація / недоступний), щоб ви могли миттєво реагувати на проблеми з налаштуванням постачальників.

Поширені запитання (FAQ)

• П: Чому при додаванні каналу вимагається авторизація?
  • В: AI шлюз є розширеною функцією в ServBay, тому для додавання каналу/ключа спочатку увійдіть у свій акаунт, дотримуючись інструкцій на екрані.
• П: Досягнуто ліміту на кількість каналів?
  • В: Максимальна кількість каналів залежить від тарифного плану акаунта; для додавання нових видаліть непотрібні або оновіть підписку.
• П: Не вдається отримати перелік моделей автоматично?
  • В: Перевірте правильність Base URL і валідність API ключа (скористайтесь «валідністю ключа» у тесті підключення). Деякі постачальники повертають список моделей лише за наявності дійсного ключа. Також можна задати моделі вручну.
• П: Для інтеграції локальних Ollama / LM Studio ключ потрібен?
  • В: Зазвичай ні. Переконайтеся, що локальний сервіс запущений і слухає стандартний порт (Ollama 11434, LM Studio 1234).

Висновок

Канали — основа маршрутизації запитів у AI шлюзі. За допомогою трьохкрокового майстра можна швидко підключити майже 20 різних постачальників, налаштовуючи регіон, автоматичне виявлення моделей та тестування зв’язку у двох вимірах. Додаткові інструменти, такі як управління тарифами та лімітами, дозволяють ефективно керувати витратами. Після налаштування каналів можна створити віртуальні ключі для використання у додатках і сервісах.