Routing
Ustal, która oferta obsłuży żądanie, i poznaj zasady fallbacku.
Otwórz Routing, wybierz strategię i ograniczenia, a następnie Save routing. Routing najpierw filtruje oferty dla dokładnie wskazanego modelu, a potem ustala kolejność pasujących ofert. Nie zastępuje modelu innym.
Wybierz strategię
| Strategia | Pierwszy wybór |
|---|---|
| Cheapest only | Najniższy szacowany koszt wejścia wraz z żądanym budżetem wyjścia. |
| Fastest | Najkrótszy ostatnio mierzony czas do pierwszego tokenu (TTFT); przy remisie decyduje cena. |
| Balanced | Najtańsza oferta mieszcząca się w 1,5× najkrótszego szacowanego TTFT. |
Porównanie cen uwzględnia szacowaną liczbę tokenów wejściowych bez cache i żądaną liczbę tokenów wyjściowych. Duży budżet wyjścia może zmienić wybór oferty, nawet jeśli oczekujesz krótkiej odpowiedzi. Końcowa opłata wynika z rzeczywistego zużycia.
Przykład obliczenia
Załóżmy, że żądanie ma szacowane 1 000 tokenów wejściowych i dopuszcza 500 wyjściowych. Przykładowe oferty mają jednakowe stawki wejścia i wyjścia:
| Oferta | Wejście / 1M | Wyjście / 1M | Szacowany koszt żądania | TTFT |
|---|---|---|---|---|
| A | $1 | $1 | $0.0015 | 1 000 ms |
| B | $2 | $2 | $0.0030 | 600 ms |
| C | $3 | $3 | $0.0045 | 500 ms |
Cheapest only wybiera A. Fastest wybiera C. Balanced ustala próg 750 ms (500 × 1.5) i wybiera B — tańszą z ofert B i C. To wartości przykładowe, a nie aktualne ceny w Marketplace.
Jak działa TTFT
TTFT mierzy czas do wygenerowania tokenu tekstu, tokenu rozumowania lub rozpoczęcia wywołania narzędzia. Nagłówki, sygnały podtrzymujące połączenie i puste bloki nie są liczone. Tylko żądania strumieniowe dostarczają pomiarów TTFT do routingu. Całkowity czas odpowiedzi jest osobną miarą.
Szacunek oferty łączy 80% poprzedniej wartości z 20% nowego pomiaru. Wygasa po 24 godzinach bez próbki. Oferta bez pomiaru przyjmuje medianę zmierzonych TTFT. Jeśli nie zmierzono żadnej oferty, wszystkie mają tę samą zakładaną szybkość i decyduje cena.
Ustaw limit ceny i listy modeli
Price cap dotyczy osobno stawek wejścia i wyjścia w USD za milion tokenów. Limit $2 odrzuci więc ofertę z wejściem za $1 i wyjściem za $3. Puste pole oznacza brak limitu. Oferta ze stawką równą limitowi spełnia warunek.
Blacklist wyklucza zaznaczone modele. Whitelist dopuszcza tylko zaznaczone. Ograniczenie Selected models dla klucza również obowiązuje: model musi przejść oba warunki. Ograniczenie modelu daje 403; wykluczenie ofert przez cenę może skończyć się 503.
O kwalifikacji decydują też limity kontekstu i wyjścia, dostępne zasoby, aktywny status oraz stan oferty. Własne oferty sprzedawcy nie obsługują jego żądań jako kupującego.
Fallback i błędy
Fallback oznacza przejście do następnej oferty, gdy próba zakończy się błędem, zanim dotrą do Ciebie bajty odpowiedzi. Brama wybiera najwyżej trzy oferty w kolejności wynikającej ze strategii. Błędy dostawcy dopuszczające ponowienie i konkurencja o dostępne zasoby mogą skierować żądanie do kolejnej oferty.
Dwa uwzględniane błędy dostawcy w ciągu minuty wyłączają ofertę na 60 sekund. Błędy uwierzytelnienia mogą ją wstrzymać. Te reguły nie gwarantują, że istnieje kolejna pasująca oferta.
Po wysłaniu bajtów odpowiedzi brama nie ponawia żądania u innego sprzedawcy. Późniejszy błąd trafia do strumienia, jeśli stan połączenia na to pozwala. Rozłączony klient nie może odebrać takiego zdarzenia. Sprawdzaj zdarzenia strumienia, nie tylko początkowy status HTTP.
Wyjaśnij zaobserwowany wybór
- Zapisz
x-request-idix-unused-listingz odpowiedzi. - Sprawdź model, status, koszt i całkowity czas w Analytics → Requests.
- Porównaj oferty modelu i TTFT w Marketplace.
- Sprawdź ograniczenia w Routing i ustawieniach klucza.
- W Analytics → Audit Log → Routing znajdź zmiany ustawień.
Strona Requests nie pokazuje historii poszczególnych prób fallbacku ani TTFT oferty. Aktualne wartości w Marketplace mogą różnić się od wartości z chwili żądania. Jeśli widoczne dane nie wyjaśniają wyboru, podaj w zgłoszeniu oba identyfikatory z odpowiedzi.