Dolphin Yapay Zeka Sorun Giderme: Yaygın API Entegrasyon Hataları

Varsayılan olarak 'sınır tanımayan' ifadesi 'hiçbir filtre yok' anlamına gelir

Sansürsüz modelin hiçbir sınırı olmadığı anlamına gelmez. Özellikle, standart modellerin engelleyebileceği yasal yetişkin, tartışmalı veya yaratıcı konularda reddetmeyeceği anlamına gelir. Sansürsüz LLM'miz herhangi bir prompt'u ahlak yargılamadan kabul eder, ancak yine de küçüklerle ilgili katı bir içerik sınırını uygular.

Örneğin, reşit olmayanlarla ilgili cinsel içerik isterseniz, API filtresiz ayarına rağmen bir reddetme döndürür. Bu, çıkarım katmanında uygulanan katı bir kuraldır. Diğer tüm yasal yetişkin içeriği, açık kurgu veya nüanslı tartışmalar dahil, yumuşak filtreler olmadan geçer.

Bağlam penceresini maksimum çıktı tokenlarıyla karıştırmak

Bağlam penceresi 100.000 token'dır ancak her istek için maksimum çıktı 16.000 token'dır. Bu ayrım uzun belge üretimi için kritiktir. 90k token'lık bir prompt gönderip 30k token isterseniz istek başarısız olur veya beklenmedik şekilde kırpılır.

• Maksimum bağlam: 100.000 token (giriş + çıktı birleşik).
• Maksimum çıktı: İstek başına 16,000 token.
• Varsayılan çıktı: max_tokens ayarlanmamışsa 2,048 token.

API çağrılarınızda her zaman max_tokens'i açıkça ayarlayın. Bu, kaçan token kullanımını ve öngörülebilir faturalandırmayı sağlar. Bu sınırları aşan hatalar krediyi tüketmez ancak ayrıştırma mantığınızı bozar.

Asenkron ortamlarda akış yanıtlarının göz ardı edilmesi

API'miz Server-Sent Events (SSE) aracılığıyla akış desteği sunar. Uzun bir üretim için senkron bir istemci kullanırsanız, zaman aşımı limitlerine takılırsınız. Asenkron ortamlar tek bir büyük yük yerine kısmi parçaların bir akışını bekler.

Her bir parça, son yükte token kullanım verisi içerir. Bu, gerçek zamanlı maliyetleri izlemenizi sağlar. Akış olmadan, yoğun üretim sırasında kullanıcı arayüzünüz birkaç saniye boyunca donabilir. Kullanın

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

doğru istemci tarafı işlemini görmek için bloklar.

İstek gövdesinde yanlış model ID'sinin ayarlanması

Birçok geliştirici varsayılan olarak "gpt-3.5-turbo" veya "gpt-4" kullanır. API'miz model kimliğinin tam olarak "uncensored" olmasını gerektirir. Başka herhangi bir kimlik göndermek 404 veya model-bulunamadı hatasına neden olur. Bu, GPT veya Claude gibi bir satıcıya özgü model değildir.

Altyapımızda çalışan açık ağırlıklı bir modeldir. SDK yapılandırmanızın HTTPS://api.dolphinmodelai.com/v1 adresine işaret ettiğinden ve model adı olarak "uncensored" kullandığından emin olun. Bu, sunduğumuz tek modeldir.

tool_choice ve fonksiyon çağırma formatlarını işlemeyi unutmak

Fonksiyon çağırma desteklenir, ancak format OpenAI standartlarına uymalıdır. Zorunlu araç kullanımını istiyorsanız tool_choice'u açıkça belirtmelisiniz. API, tools, tool_choice ve standart mesaj formatlarını kabul eder.

Yanlış biçimlendirilmiş araç tanımları istemci tarafında ayrıştırma hatalarına neden olur. JSON şemalarınızın geçerli olduğundan emin olun. Model, kodunuzun ayrıştırması gereken yapılandırılmış JSON döndürür.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

bir araç tanımı örneği için blok.

Giriş ve çıktı fiyatlandırması arasındaki farkı yanlış anlama

Giriş tokenları 1M token başına $0.15'dir. Çıktı tokenları 1M token başına $0.50'dir. Çıktı, girişden dört kat daha pahalıdır. Bu oran, çoğu LLM API'sinde standarttır ancak bütçenizi önemli ölçüde etkiler.

Ön ödemeli kredi, gerçek token kullanımına göre yüklenir. Hatalar ve reddetmeler ücretsizdir. 10k tokenlik bir istek gönderir ve 10k tokenlik bir yanıt alırsanız, her ikisi için de ödeme yaparsınız. Kripto ile bakiye yükleme zorunludur. TRC20 üzerinde USDT veya Base üzerinde USDC ile bakiye yükleyebilirsiniz. Minimum bakiye yükleme $20'dir. Bonuslar $50'de (+%5), $100'de (+%10) ve $200'de (+%15) uygulanır.

JSON modu hataları için yanıt formatını kontrol etmemek

JSON modu response_format'ı {"type": "json_object"} olarak ayarlamanızı gerektirir. Bu olmadan model ayrıştırıcınızı bozabilecek markdown veya metin döndürebilir. Bu, entegrasyon hatalarının yaygın bir kaynağıdır.

Şemanızın sıkı olduğundan emin olun. Model, şema belirsizse mükemmel JSON garantisi vermez. Kullanın

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

JSON çıktısını nasıl uygulayacağınızı görmek için blok. Bu, işleme sonrası yükü azaltır.

Tüm OpenAI SDK parametrelerinin aynı şekilde çalıştığını varsaymak

Sıcaklık, top_p, durdurma, seed, presence_penalty ve frequency_penalty OpenAI'ye benzer şekilde çalışır. Ancak tüm kenar durum parametreleri desteklenmez. Çoğu kullanım durumu için gereken temel seti destekliyoruz.

Akış, işlev çağırma ve JSON modu tam olarak desteklenir. Şuna bakın

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

temel bir istek için blok. Desteklenmeyen parametrelerin zarif bir şekilde yok sayılacağını varsaymayın. Hatalara neden olabilirler.

8MB istek gövdesi sınırını göz ardı etme

Maksimum istek gövdesi boyutu 8 MB'tır. Büyük dosyalar veya kapsamlı bağlam gönderirseniz bu limiti aşabilirsiniz. Bu, API ağ geçidinde katı bir kısıtlamadır. Bu boyutu aşan istekler hemen reddedilir.

Yükünüzün sıkıştırılmış veya kısaltılmış olduğundan emin olun.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

örnek, büyük bağlamların verimli şekilde nasıl yönetileceğini görmek için. Bu limit, başlıklar ve gövde dahil olmak üzere tüm isteğe uygulanır.