Метаданные модели и проверка резервного варианта
Запишите полученное значение модели для каждой рабочей нагрузки и определите резервное поведение до того, как трафик, ориентированный на клиента, вырастет.
Product / Модельная политика
Задокументируйте точные идентификаторы моделей, поставленных для вашей посылки.
Держите идентификаторы доставленных моделей, резервные планы, настройки конечных точек по умолчанию и предположения о пакетах на видном месте до того, как трафик вырастет.
Плоскость управления
Модельная политика
Сопоставление моделиXHigh или Sol по упаковке
Область действия правилаЗа конечную точку
Лимит пакета4 одновременно
Бюджетная политика
Планируйте запросы с меньшим риском, исходя из точных моделей, возвращаемых для приобретенного пакета, вместо того, чтобы предполагать, что общедоступное отображаемое имя можно вызвать.
Контроль на уровне конечной точки
Подготовьте параметры политики чата, встраивания и изображений по умолчанию отдельно, вместо того, чтобы применять одно правило для каждой функции.
Запросить видимость
Проверяйте модель, задержку, статус и предполагаемую стоимость в журналах запросов, чтобы выбор политики оставался измеримым.
Рабочий процесс
От настройки до подготовки к запуску.
Каждый модуль предназначен для того, чтобы предоставить разработчикам возможность быстрой интеграции, а также предоставить операторам необходимые элементы управления перед масштабированием трафика.
1
Выберите рабочую нагрузку
Начните с формы запроса, которую ваш продукт использует чаще всего: завершения чата, встраивания или изображения.
2
Определить модельную политику
Запишите точное значение модели из электронного письма о настройке и аутентификацию GET /v1/models, запасной план и укажите, должна ли политика оптимизировать качество, скорость или стоимость.
3
Подключайте трафик намеренно
Вызовите доставленную OpenAI-совместимую базу URL с явным значением модели, затем просмотрите использование токена, нагрузку с 4 соединениями и поведение ограничения скорости.
4
Просмотрите и скорректируйте
Используйте журналы запросов и отчеты об использовании, чтобы корректировать метаданные политики до того, как объем трафика увеличится.
Запрос с явным значением модели
# Replace DELIVERED_MODEL_ID using the setup email and authenticated GET /v1/models.
POST /v1/chat/completions
Authorization: Bearer $UCX_API_KEY
Content-Type: application/json
{
"model": "DELIVERED_MODEL_ID",
"messages": [
{ "role": "user", "content": "Summarize this support ticket." }
]
}Почему это важно
Продукты искусственного интеллекта быстро меняются. Электронная почта для настройки и проверенные GET /v1/models сохраняют видимыми точные значения модели, чтобы разработчики могли проверять планы использования, задержки и резервного варианта до того, как доступ станет зависимостью.
FAQ
Вопросы, которые команды задают перед внедрением.
Могу ли я использовать конкретную модель из моих установочных файлов?
Да. Отправьте точный идентификатор доставленной модели из электронного письма о настройке и пройдите проверку подлинности GET /v1/models.. Параметры политики по умолчанию, запасные планы и предпочтения по стоимости остаются видимыми в записи установки пакета.
Влияет ли выбор модели на отчеты об использовании?
Нет. Запросы по-прежнему отображаются в журналах использования и запросов с указанием запрошенной модели, статуса, задержки, количества токенов и ориентировочной стоимости.
Могут ли параметры политики по умолчанию различаться в зависимости от конечной точки?
Да. Чат, встраивания и изображения могут документировать различные настройки по умолчанию, резервные планы и предпочтения в отношении затрат.
Готовы строить?