Dolphin ai การแก้ปัญหา: ข้อผิดพลาดทั่วไปในการผสานรวม API

สมมติว่า 'uncensored' หมายถึง 'ไม่มีตัวกรองเลย'

คำว่าไร้การเซ็นเซอร์ไม่ได้หมายถึงโมเดลไม่มีขีดจำกัด มันหมายถึงโมเดลจะไม่ปฏิเสธหัวข้อผู้ใหญ่ที่ถูกต้องตามกฎหมาย อ่อนไหว หรือสร้างสรรค์ที่โมเดลมาตรฐานอาจบล็อก LLM แบบไร้การเซ็นเซอร์ของเรายอมรับ prompt ใดๆ โดยไม่มีการตัดสินทางศีลธรรม แต่ยังคงบังคับใช้ขีดจำกัดเนื้อหาแข็งที่เกี่ยวข้องกับเด็ก

ตัวอย่างเช่น หากคุณร้องขอเนื้อหาทางเพศที่เกี่ยวข้องกับเด็ก API จะส่งการปฏิเสธไม่ว่าการตั้งค่าแบบไร้การเซ็นเซอร์จะเป็นอย่างไร นี่คือกฎแข็งที่บังคับใช้ที่ชั้น inference เนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมายอื่นๆ รวมถึงนวนิยายเชิงชัดเจนหรือการถกเถียงที่มีรายละเอียด จะผ่านไปได้โดยไม่มีการกรองแบบอ่อน

ความสับสนระหว่างหน้าต่างบริบทกับจำนวนโทเค็นเอาต์พุตสูงสุด

หน้าต่างบริบทมีขนาด 100,000 tokens แต่ output สูงสุดต่อหนึ่งการเรียกใช้คือ 16,000 tokens ความแตกต่างนี้สำคัญมากสำหรับการสร้างเอกสารขนาดยาว หากคุณส่ง prompt ขนาด 90k tokens และขอ output 30k tokens การเรียกใช้นั้นจะล้มเหลวหรือมีการตัดทอน output โดยไม่คาดคิด

• บริบทสูงสุด: 100,000 โทเค็น (อินพุต + เอาต์พุตรวมกัน)
• จำนวนโทเค็นสูงสุด: 16,000 โทเค็นต่อคำขอ
• ผลลัพธ์ค่าเริ่มต้น: 2,048 tokens หากไม่ได้ตั้งค่า max_tokens

ควรตั้งค่า max_tokens อย่างชัดเจนในการเรียกใช้ API ของคุณ เพื่อป้องกันการใช้งานโทเค็นที่เกินขอบเขตและเพื่อให้แน่ใจว่าการเรียกเก็บเงินที่คาดการณ์ได้ ข้อผิดพลาดที่เกินขีดจำกัดเหล่านี้จะไม่ใช้เครดิต แต่จะทำให้ตรรกะการวิเคราะห์ของคุณเสียไป

การละเลยการตอบสนองแบบ streaming ในสภาพแวดล้อม async

API ของเรารองรับการสตรีมผ่าน Server-Sent Events (SSE) หากคุณใช้ไคลเอนต์แบบซิงโครนัสสำหรับการสร้างข้อความยาว คุณจะชนกับขีดจำกัดเวลาหมดอายุ (timeout) สภาพแวดล้อมแบบอะซิงโครนัสคาดหวังสตรีมของชิ้นย่อย ไม่ใช่โหลดข้อมูลขนาดใหญ่ชิ้นเดียว

แต่ละ chunk มีข้อมูลการใช้งาน token ใน payload สุดท้าย สิ่งนี้ช่วยให้คุณติดตามต้นทุนแบบเรียลไทม์ หากไม่ใช้สตรีม UI ของคุณอาจค้างเป็นเวลาหลายวินาทีระหว่างการสร้างข้อมูลหนัก ใช้

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

บล็อกเพื่อดูการจัดการฝั่งไคลเอนต์ที่ถูกต้อง

การตั้งค่า model ID ที่ไม่ถูกต้องใน request body

นักพัฒนาจำนวนมากตั้งค่าเริ่มต้นเป็น "gpt-3.5-turbo" หรือ "gpt-4" API ของเราต้องการ ID โมเดลเป็น "uncensored" พอดี การส่ง ID อื่นๆ จะทำให้เกิดข้อผิดพลาด 404 หรือโมเดลไม่พบ นี่ไม่ใช่โมเดลเฉพาะผู้ผลิตเช่น GPT หรือ Claude

เป็นโมเดลแบบ open-weight ที่รันบนโครงสร้างพื้นฐานของเรา ตรวจสอบให้แน่ใจว่าการตั้งค่า SDK ของคุณชี้ไปที่ HTTPS://api.dolphinmodelai.com/v1 และใช้ "uncensored" เป็นชื่อโมเดล นี่คือโมเดลเดียวที่เราให้บริการ

การลืมที่จะจัดการรูปแบบ tool_choice และการเรียกใช้ฟังก์ชัน

รองรับ Function Calling แต่รูปแบบต้องตรงกับมาตรฐานของ OpenAI คุณต้องระบุ tool_choice อย่างชัดเจนหากคุณต้องการการใช้งานเครื่องมือแบบบังคับ API ยอมรับ tools, tool_choice และรูปแบบข้อความมาตรฐาน

คำจำกัดความเครื่องมือที่จัดรูปแบบไม่ถูกต้องนำไปสู่ข้อผิดพลาดการแยกวิเคราะห์ทางไคลเอนต์ ตรวจสอบให้แน่ใจว่าสคีมา JSON ของคุณถูกต้อง โมเดลส่ง JSON ที่มีโครงสร้างที่โค้ดของคุณต้องแยกวิเคราะห์ ใช้

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

บล็อกสำหรับตัวอย่างการกำหนดค่าเครื่องมือ.

ความเข้าใจผิดเกี่ยวกับความแตกต่างระหว่างราคาอินพุตและเอาต์พุต

โทเค็นอินพุตมีราคา $0.15 ต่อ 1M โทเค็น โทเค็นเอาต์พุตมีราคา $0.50 ต่อ 1M เอาต์พุตมีราคาแพงกว่าอินพุตเป็นสี่เท่า อัตราส่วนนี้เป็นมาตรฐานสำหรับ API LLM ส่วนใหญ่ แต่ส่งผลกระทบต่องบประมาณของคุณอย่างมีนัยสำคัญ

เครดิตแบบเติมเงินคิดตามการใช้งานโทke็นจริง ข้อผิดพลาดและการปฏิเสธการตอบกลับไม่เสียเงิน หากคุณส่งพรอมต์ขนาด 10k โทke็นและได้รับคำตอบขนาด 10k โทke็น คุณต้องจ่ายสำหรับทั้งสองส่วน การเติมเงินด้วยคริปโตเป็นข้อกำหนด คุณสามารถเติมเงินด้วย USDT บน TRC20 หรือ USDC บน Base ยอดเติมขั้นต่ำคือ $20 โบนัสใช้ที่ $50 (+5%), $100 (+10%), และ $200 (+15%)

ไม่ตรวจสอบรูปแบบการตอบสนองสำหรับข้อผิดพลาดของโหมด JSON

โหมด JSON ต้องการให้คุณตั้งค่า response_format เป็น {"type": "json_object"} หากไม่ตั้งค่า โมเดลอาจส่งคืน markdown หรือข้อความที่ทำให้ตัวแยกวิเคราะห์ของคุณทำงานผิดพลาด ซึ่งเป็นสาเหตุทั่วไปของความล้มเหลวในการผสานรวม

ตรวจสอบให้แน่ใจว่าสคีมาของคุณเข้มงวด โมเดลไม่รับประกัน JSON ที่สมบูรณ์แบบหากสคีมาไม่ชัดเจน ใช้

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

บล็อกเพื่อดูวิธีบังคับใช้ JSON output ซึ่งช่วยลดภาระการประมวลผลหลังการส่งข้อมูล

สมมติว่าพารามิเตอร์ SDK ของ OpenAI ทำงานเหมือนกัน

พารามิเตอร์เช่น temperature, top_p, stop, seed, presence_penalty และ frequency_penalty ทำงานคล้ายกับ OpenAI อย่างไรก็ตาม ไม่รองรับพารามิเตอร์ขอบเขตทั้งหมด เรารองรับชุดพารามิเตอร์หลักที่จำเป็นสำหรับกรณีการใช้งานส่วนใหญ่

การสตรีม การเรียกใช้ฟังก์ชัน และโหมด JSON รองรับการทำงาน ตรวจสอบ

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

บล็อกสำหรับคำขอพื้นฐาน หลีกเลี่ยงการสมมติว่าพารามิเตอร์ที่ไม่รองรับจะถูกเพิกเฉยอย่างสุภาพ พวกมันอาจทำให้เกิดข้อผิดพลาด

การละเลยขีดจำกัดขนาด body ของคำขอที่ 8MB

ขนาดร่างกายคำขอสูงสุดคือ 8 MB หากคุณส่งไฟล์ขนาดใหญ่หรือบริบทที่กว้าง คุณอาจเกินจำกัดนี้ นี่คือข้อจำกัดที่แข็งบนเกตเวย์ API คำขอที่เกินขนาดนี้จะถูกปฏิเสธทันที

ตรวจสอบให้แน่ใจว่า payload ของคุณถูกบีบอัดหรือตัดออก ใช้

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ตัวอย่างเพื่อดูวิธีการจัดการบริบทขนาดใหญ่อย่างมีประสิทธิภาพ ขีดจำกัดนี้ใช้กับคำขอทั้งหมด รวมถึง headers และ body