Dolphin Rozwiązywanie problemów AI: Najczęstsze błędy integracji API

Zakładając, że 'uncensored' oznacza 'brak filtrów'

Niecenzurowane nie oznacza, że model nie ma żadnych limitów. Oznacza konkretnie, że model nie będzie odrzucał prawnych treści dla dorosłych, kontrowersyjnych lub kreatywnych, które standardowe modele mogłyby zablokować. Nasz LLM uncensored akceptuje dowolny prompt bez moralizowania, ale nadal egzekuuje ścisły limit treści dotyczący nieletnich.

Na przykład, jeśli poprosisz o treść seksualną z udziałem nieletnich, API zwróci odmowę niezależnie od ustawienia uncensored. Jest to sztywne reguła stosowana na warstwie wnioskowania. Cała inna prawna treść dla dorosłych, w tym ekspliczna fikcja lub zniuansowana debata, przechodzi bez miękkich filtrów.

Pomylenie okna kontekstowego z maksymalną liczbą tokenów wyjściowych

Okno kontekstowe wynosi 100 000 tokenów, ale maksymalna długość odpowiedzi na żądanie to 16 000 tokenów. To rozróżnienie jest kluczowe dla generowania długich dokumentów. Jeśli wyślesz prompt o długości 90k tokenów i poprosisz o 30k tokenów, żądanie może się nie powieść lub zostać ucięte w nieoczekiwany sposób.

• Maks. kontekst: 100,000 tokenów (wejście + wyjście łącznie).
• Maksymalna długość wyjściowa: 16 000 tokenów na żądanie.
• Domyślne wyjście: 2 048 tokenów, jeśli max_tokens nie jest ustawione.

Zawsze ustawiaj max_tokens jawnie w wywołaniach API. Zapobiega to niekontrolowanemu zużyciu tokenów i zapewnia przewidywalne rozliczenia. Błędy przekraczające te limity nie zużywają kredytu, ale psują logikę parsowania.

Ignorowanie odpowiedzi strumieniowych w środowiskach asynchronicznych

Nasz API obsługuje strumieniowanie przez Server-Sent Events (SSE). Jeśli użyjesz klienta synchronicznego do długiej generacji, natrafisz na limity timeout. Środowiska asynchroniczne oczekują strumienia częściowych fragmentów, a nie pojedynczej ogromnej ładunku.

Każdy chunk zawiera dane o zużyciu tokenów w ostatecznym ładunku. Pozwala to na śledzenie kosztów w czasie rzeczywistym. Bez strumieniowania interfejs użytkownika może się zawiesić przez kilka sekund podczas intensywnego generowania. Użyj

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

blokuje, aby zobaczyć poprawną obsługę po stronie klienta.

Ustawienie niewłaściwego ID modelu w ciele żądania

Wielu programistów domyślnie wybiera „gpt-3.5-turbo” lub „gpt-4”. Nasze API wymaga, aby identyfikator modelu był dokładnie „uncensored”. Wysłanie dowolnego innego ID powoduje błąd 404 lub model nie znaleziony. Nie jest to model specyficzny dla dostawcy taki jak GPT czy Claude.

Jest to model o otwartych wagach działający na naszej infrastrukturze. Upewnij się, że konfiguracja Twojego SDK wskazuje na HTTPS://api.dolphinmodelai.com/v1 i używa "uncensored" jako nazwy modelu. To jedyny model, który oferujemy.

Pominięcie Obsługi Formatów tool_choice i Wywoływania Funkcji

Wywoływanie funkcji jest obsługiwane, ale format musi odpowiadać standardom OpenAI. Musisz jawnie określić tool_choice, jeśli chcesz wymuszone użycie narzędzi. API akceptuje tools, tool_choice oraz standardowe formaty wiadomości.

Niepoprawnie sformatowane definicje narzędzi prowadzą do błędów parsowania po stronie klienta. Upewnij się, że Twoje schematy JSON są poprawne. Model zwraca strukturę JSON, którą Twój kod musi przeanalizować. Użyj

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

blok dla przykładu definicji narzędzia."

Nieporoznienie Różnicy Między Kosztami Wejścia A Wyjścia

Tokeny wejściowe kosztują $0.15 za 1M tokenów. Tokeny wyjściowe kosztują $0.50 za 1M tokenów. Wyjście jest cztery razy droższe niż wejście. Ten stosunek jest standardowy dla większości API LLM, ale znacząco wpływa na Twój budżet.

Kredyt prepaid jest naliczany na podstawie rzeczywistego zużycia tokenów. Błędy i odrzucenia są darmowe. Jeśli wyślesz prompt o długości 10k tokenów i otrzymasz odpowiedź o długości 10k tokenów, zapłacisz za oba. Wymagane jest doładowanie kryptowalutą. Możesz doładować środki za pomocą USDT na TRC20 lub USDC na Base. Minimalna kwota doładowania to $20. Bonusy naliczane są przy kwotach $50 (+5%), $100 (+10%) i $200 (+15%).

Nie sprawdzanie formatu odpowiedzi pod kątem błędów trybu JSON

Tryb JSON wymaga ustawienia response_format na {"type": "json_object"}. Bez tego model może zwrócić markdown lub tekst, który zepsuje Twój parser. To częste źródło niepowodzeń integracji.

Upewnij się, że Twój schemat jest ścisły. Model nie gwarantuje idealnego JSON, jeśli schemat jest niejednoznaczny. Użyj

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

blokuje, aby zobaczyć, jak wymusić output w formacie JSON. Zmniejsza to nakład pracy po stronie przetwarzania.

Zakładając, że wszystkie parametry OpenAI SDK działają identycznie

Parametry takie jak temperatura, top_p, stop, seed, presence_penalty i frequency_penalty działają podobnie jak w OpenAI. Jednak nie wszystkie parametry skrajne są obsługiwane. Obsługujemy podstawowy zestaw wymagany dla większości przypadków użycia.

Strumieniowanie, wywoływanie funkcji i tryb JSON są w pełni obsługiwane. Sprawdź

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

blok dla podstawowego żądania. Unikaj zakładania, że nieobsługiwane parametry zostaną zignorowane w sposób niepowodujący błędów. Mogą one spowodować błędy.

Pominięcie limitu 8MB dla treści żądania

Maksymalny rozmiar ciała żądania to 8 MB. Jeśli wyślesz duże pliki lub rozległy kontekst, możesz przekroczyć ten limit. Jest to sztywne ograniczenie bramy API. Żądania przekraczające ten rozmiar są odrzucane natychmiast.

Upewnij się, że Twój ładunek jest skompresowany lub ucięty. Użyj

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

przykład, aby zobaczyć, jak efektywnie obsługiwać duże konteksty. Ten limit dotyczy całego żądania, w tym nagłówków i ciała.