Model meta verileri ve geri dönüş incelemesi
Her iş yükü için teslim edilen model değerini kaydedin ve müşteriye yönelik trafik artmadan önce geri dönüş davranışını tanımlayın.
Teslim edilen model kimliklerini, yedek planları, uç nokta varsayılanlarını ve paket varsayımlarını trafik artmadan önce görünür tutun.
Kontrol düzlemi
Her iş yükü için teslim edilen model değerini kaydedin ve müşteriye yönelik trafik artmadan önce geri dönüş davranışını tanımlayın.
Herkese açık bir görünen adın aranabilir olduğunu varsaymak yerine, satın alınan paket için iade edilen modellerin aynısını temel alarak daha düşük riskli istekleri planlayın.
Her özellik için tek bir kural uygulamak yerine sohbet, yerleştirme ve resim politikası varsayılanlarını ayrı ayrı hazırlayın.
Politika seçimlerinin ölçülebilir kalmasını sağlamak için istek günlüklerindeki modeli, gecikmeyi, durumu ve tahmini maliyeti inceleyin.
Çalışma örneği
Her modül, geliştiricilere hızlı entegrasyon yolları sunarken, operatörlere trafik ölçeklenmeden önce ihtiyaç duydukları kontrolleri sağlayacak şekilde tasarlanmıştır.
Ürününüzün en çok kullandığı istek şekliyle başlayın: sohbet tamamlamalar, yerleştirmeler veya resimler.
Kurulum e-postasındaki tam model değerini ve kimliği doğrulanmış GET /v1/models, geri dönüş planını ve politikanın kalite, hız veya maliyet açısından optimize edilmesi gerekip gerekmediğini kaydedin.
Teslim edilen OpenAI uyumlu tabanı URL açık bir model değeriyle çağırın, ardından jeton kullanımını, 4 bağlantı basıncını ve hız sınırı davranışını inceleyin.
Trafik hacmi artmadan önce politika meta verilerini ayarlamak için istek günlüklerini ve kullanım raporlamasını kullanın.
Açık bir model değeri içeren istek
# Replace DELIVERED_MODEL_ID using the setup email and authenticated GET /v1/models.
POST /v1/chat/completions
Authorization: Bearer $UCX_API_KEY
Content-Type: application/json
{
"model": "DELIVERED_MODEL_ID",
"messages": [
{ "role": "user", "content": "Summarize this support ticket." }
]
}Yapay zeka ürünleri hızla değişiyor. Kurulum e-postası ve kimliği doğrulanmış GET /v1/models tam model değerlerini görünür tutar, böylece geliştiriciler erişim bir bağımlılık haline gelmeden önce kullanım, gecikme ve geri dönüş planlarını inceleyebilir.
Sık sorulan sorular
Evet. Teslim edilen model kimliğini kurulum e-postasından tam olarak gönderin ve kimlik doğrulaması yapın GET /v1/models. Politika varsayılanları, geri dönüş planları ve maliyet tercihleri paket kurulum kaydında görünür kalır.
Hayır. İstekler, istenen model, durum, gecikme, jeton sayısı ve tahmini maliyetle birlikte kullanım ve istek günlüklerinde görünmeye devam eder.
Evet. Sohbet, yerleştirmeler ve görsellerin her biri farklı varsayılanları, yedek planları ve maliyet tercihlerini belgeleyebilir.
İnşa etmeye hazır mısınız?