Metadatos del modelo y revisión alternativa
Registre el valor del modelo entregado para cada carga de trabajo y defina el comportamiento alternativo antes de que aumente el tráfico de cara al cliente.
Product / Política modelo
Documente las identificaciones exactas del modelo entregado para su paquete.
Mantenga visibles los ID de los modelos entregados, los planes alternativos, los valores predeterminados de los terminales y las suposiciones de los paquetes antes de que aumente el tráfico.
Plano de control
Política modelo
Mapeo de modelosXHigh o Sol por paquete
Alcance de la reglaPor punto final
Límite de paquete4 concurrentes
Políticas conscientes del presupuesto
Planifique solicitudes de menor riesgo en torno a los modelos exactos devueltos para el paquete comprado en lugar de asumir que se puede llamar a un nombre para mostrar públicamente.
Control a nivel de punto final
Prepare los valores predeterminados de las políticas de chat, incrustación e imágenes por separado en lugar de imponer una regla para cada función.
Solicitar visibilidad
Inspeccione el modelo, la latencia, el estado y el costo estimado en los registros de solicitudes para que las opciones de políticas sigan siendo mensurables.
Flujo de trabajo
Desde la configuración hasta la preparación del lanzamiento.
Cada módulo está diseñado para brindar a los desarrolladores rutas de integración rápidas y, al mismo tiempo, brindar a los operadores los controles que necesitan antes de que el tráfico aumente.
1
Elige la carga de trabajo
Comience con la forma de solicitud que más utiliza su producto: finalización de chat, incrustaciones o imágenes.
2
Definir la política modelo.
Registre el valor exacto del modelo del correo electrónico de configuración y el GET /v1/models autenticado, el plan alternativo y si la política debe optimizar la calidad, la velocidad o el costo.
3
Conectar el tráfico intencionalmente
Llame a la base compatible con OpenAI entregada URL con un valor de modelo explícito, luego revise el uso del token, la presión de 4 conexiones y el comportamiento del límite de velocidad.
4
Revisar y ajustar
Utilice registros de solicitudes e informes de uso para ajustar los metadatos de las políticas antes de que aumente el volumen de tráfico.
Solicitud con un valor de modelo explícito
# Replace DELIVERED_MODEL_ID using the setup email and authenticated GET /v1/models.
POST /v1/chat/completions
Authorization: Bearer $UCX_API_KEY
Content-Type: application/json
{
"model": "DELIVERED_MODEL_ID",
"messages": [
{ "role": "user", "content": "Summarize this support ticket." }
]
}Por qué es importante
Los productos de IA cambian rápidamente. El correo electrónico de configuración y el GET /v1/models autenticado mantienen visibles los valores exactos del modelo para que los desarrolladores puedan revisar el uso, la latencia y los planes alternativos antes de que el acceso se convierta en una dependencia.
FAQ
Preguntas que hacen los equipos antes del lanzamiento.
¿Puedo usar un modelo específico de mis archivos de configuración?
Sí. Envíe el ID exacto del modelo entregado desde el correo electrónico de configuración y los GET /v1/models. autenticados Los valores predeterminados de la política, los planes alternativos y las preferencias de costos permanecen visibles en el registro de configuración del paquete.
¿Las opciones de modelo afectan los informes de uso?
No. Las solicitudes aún aparecen en los registros de uso y solicitudes con el modelo, el estado, la latencia, el recuento de tokens y el costo estimado solicitados.
¿Pueden los valores predeterminados de las políticas variar según el punto final?
Sí. El chat, las incrustaciones y las imágenes pueden documentar diferentes valores predeterminados, planes alternativos y preferencias de costos.
¿Listo para construir?