Dolphin ai ट्राबलशूटिंग: सामान्य API एकीकरण त्रुटियां

मानते हुए 'अनसेंसर्ड' का अर्थ 'बिल्कुल कोई फिल्टर नहीं' है

अनकैप्ड का मतलब यह नहीं है कि मॉडल की कोई सीमा नहीं है। इसका विशेष रूप से मतलब है कि मॉडल उन कानूनी वयस्क, विवादास्पद या रचनात्मक विषयों को अस्वीकार नहीं करेगा जिन्हें मानक मॉडल ब्लॉक कर सकते हैं। हमारा अनकैप्ड LLM बिना नैतिकता के किसी भी प्रॉम्प्ट को स्वीकार करता है, लेकिन यह किशोरों के संबंध में एक कठोर सामग्री सीमा को लागू करता है।

उदाहरण के लिए, यदि आप किशोरों से संबंधित यौन सामग्री का अनुरोध करते हैं, तो API अनसेंसर्ड सेटिंग के बावजूद एक इनकार लौटाएगा। यह एक कड़ा नियम है जो इन्फरेंस परत पर लागू होता है। अन्य सभी कानूनी वयस्क सामग्री, जिसमें स्पष्ट कथा या सूक्ष्म बहस शामिल है, बिना नरम फिल्टर के गुजरती है।

कॉन्टेक्स्ट विंडो को मैक्स आउटपुट टोकन से भ्रमित करना

संदर्भ विंडो 100,000 टोकन की है, लेकिन प्रति अनुरोध अधिकतम आउटपुट 16,000 टोकन है। लंबे दस्तावेज़ जनरेशन के लिए यह अंतर महत्वपूर्ण है। यदि आप 90k टोकन प्रॉम्प्ट भेजते हैं और 30k टोकन अनुरोध करते हैं, तो अनुरोध विफल हो जाता है या अप्रत्याशित रूप से ट्रंक हो जाता है।

• अधिकतम संदर्भ: 100,000 टोकन (इनपुट + आउटपुट संयुक्त).
• अधिकतम आउटपुट: 16,000 टोकन प्रति अनुरोध।
• डिफ़ॉल्ट आउटपुट: 2,048 टोकन यदि max_tokens सेट नहीं है।

हमेशा अपने API कॉल में max_tokens स्पष्ट रूप से सेट करें। यह रनअवे टोकन उपयोग को रोकता है और भविष्यवाणी योग्य बिलिंग सुनिश्चित करता है। इन सीमाओं से अधिक त्रुटियां क्रेडिट खपत नहीं करती हैं, लेकिन वे आपकी पार्सिंग लॉजिक को तोड़ देती हैं।

async वातावरण में स्ट्रीमिंग रिस्पॉन्स को अनदेखा करना

हमारा API Server-Sent Events (SSE) के माध्यम से स्ट्रीमिंग का समर्थन करता है। यदि आप लंबी जनरेशन के लिए एक सिंक्रोनस क्लाइंट का उपयोग करते हैं, तो आप टाइमआउट सीमाओं से टकरा जाएंगे। एसिंक वातावरण आंशिक चंक के प्रवाह की उम्मीद करते हैं, न कि एकल विशाल पेलोड की।

प्रत्येक चंक अंतिम पेलोड में टोकन उपयोग डेटा शामिल करता है। इससे आप रियल-टाइम लागत की निगरानी कर सकते हैं। स्ट्रीमिंग के बिना, भारी जनरेशन के दौरान आपकी UI कई सेकंड तक फ्रीज हो सकती है। उपयोग करें

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

सही क्लाइंट-साइड हैंडलिंग देखने के लिए ब्लॉक।

अनुरोध बॉडी में गलत मॉडल ID सेट करना

अक्सर डेवलपर्स डिफ़ॉल्ट रूप से "gpt-3.5-turbo" या "gpt-4" का उपयोग करते हैं। हमारे एपी को मॉडल आईडी को बिल्कुल "uncensored" होना चाहिए। कोई भी अन्य आईडी भेजने से 404 या मॉडल-नॉट-फाउंड त्रुटि आती है। यह GPT या Claude जैसा एक वेंडर-विशिष्ट मॉडल नहीं है।

यह हमारी इंफ्रस्ट्रक्चर पर चलने वाला एक ओपन-वेट मॉडल है। सुनिश्चित करें कि आपका एसडीके कॉन्फ़िगरेशन HTTPS://api.dolphinmodelai.com/v1 की ओर इशारा करता है और मॉडल नाम के रूप में "uncensored" का उपयोग करता है। यह एकमात्र मॉडल है जो हम सर्व करते हैं।

tool_choice और फंक्शन कॉलिंग फॉर्मेट्स को हैंडल न करना

फंक्शन कॉलिंग समर्थित है, लेकिन फॉर्मेट को OpenAI मानकों से मेल खाना चाहिए। यदि आप फोर्स्ड टूल उपयोग चाहते हैं, तो आपको tool_choice को स्पष्ट रूप से निर्दिष्ट करना होगा। API tools, tool_choice, और मानक संदेश फॉर्मेट्स स्वीकार करती है।

गलत रूप से प्रारूपित टूल परिभाषाएं क्लाइंट साइड पर पार्सिंग त्रुटियों का कारण बनती हैं। सुनिश्चित करें कि आपके JSON स्कीमा मान्य हैं। मॉडल संरचित JSON लौटाता है जिसे आपके कोड को पार्स करना चाहिए। उपयोग करें

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

उदाहरण के लिए टूल परिभाषा के लिए ब्लॉक।

इनपुट और आउटपुट मूल्य निर्धारण के बीच अंतर को गलत समझना

इनपुट टोकन की कीमत $0.15 प्रति 1M टोकन है। आउटपुट टोकन की कीमत $0.50 प्रति 1M टोकन है। आउटपुट इनपुट से चार गुना अधिक महंगा है। यह अनुपाद अधिकांश LLM APIs के लिए मानक है, लेकिन यह आपके बजट को महत्वपूर्ण रूप से प्रभावित करता है।

प्रीपेड क्रेडिट वास्तविक टोकन उपयोग के आधार पर चार्ज किया जाता है। त्रुटियां और अस्वीकृतियां मुफ्त हैं। यदि आप एक 10k टोकन प्रॉम्प्ट भेजते हैं और 10k टोकन प्रतिक्रिया प्राप्त करते हैं, तो आप दोनों के लिए भुगतान करते हैं। क्रिप्टो टॉप-अप आवश्यक हैं। आप TRC20 पर USDT या Base पर USDC के साथ टॉप-अप कर सकते हैं। न्यूनतम टॉप-अप $20 है। $50 (+5%), $100 (+10%), और $200 (+15%) पर बोनस लागू होते हैं।

JSON मोड त्रुटियों के लिए प्रतिक्रिया प्रारूप की जांच नहीं करना

JSON मोड आपको response_format को {"type": "json_object"} सेट करने की आवश्यकता है। इसके बिना, मॉडल मार्कडाउन या टेक्स्ट लौटा सकता है जो आपके पार्सर को तोड़ देता है। यह इंटीग्रेशन विफलताओं का एक सामान्य स्रोत है।

सुनिश्चित करें कि आपका स्कीमा कठोर है। मॉडल यह गारंटी नहीं देता कि JSON पूर्ण होगा यदि स्कीमा अस्पष्ट है। का उपयोग करें

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

JSON आउटपुट लागू करने के तरीके देखने के लिए ब्लॉक। इससे पोस्ट-प्रोसेसिंग ओवरहेड कम होता है।

मानते हुए कि सभी OpenAI SDK पैरामीटर समान रूप से काम करते हैं

तापमान, top_p, स्टॉप, seed, presence_penalty और frequency_penalty OpenAI के समान ही काम करते हैं। हालांकि, सभी एज-केस पैरामीटर समर्थित नहीं हैं। हम अधिकांश उपयोग मामलों के लिए आवश्यक कोर सेट का समर्थन करते हैं।

स्ट्रीमिंग, फंक्शन कॉलिंग, और JSON मोड पूरी तरह से सपोर्टेड हैं। देखें

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

एक मूलभूत अनुरोध के लिए ब्लॉक। यह मानते हुए कि असमर्थित पैरामीटर को शांति से अनदेखा किया जाएगा। वे त्रुटियां पैदा कर सकते हैं।

8MB रिक्वेस्ट बॉडी लिमिट को नजरअंदाज करना

अधिकतम अनुरोध बॉडी आकार 8 MB है। यदि आप बड़े फ़ाइलें या विस्तृत संदर्भ भेजते हैं, तो आप इस सीमा को पार कर सकते हैं। यह API गेटवे पर एक कठोर बाधा है। इस आकार से अधिक अनुरोध तुरत अस्वीकार कर दिए जाते हैं।

सुनिश्चित करें कि आपका पेलोड कंप्रेस्ड या ट्रंकेटेड है।

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

उदाहरण देखें कि बड़े संदर्भों को कुशलता से कैसे हैंडल किया जाए। यह सीमा पूरे अनुरोध पर लागू होती है, जिसमें हेडर और बॉडी शामिल हैं।