Dolphin Penyelesaian Masalah AI: Kesilapan Integrasi API Biasa

Mengandaikan 'uncensored' bermaksud 'tiada penapis langsung'

Tanpa sensor tidak bermaksud model tidak mempunyai had. Ia secara khusus bermaksud model tidak akan menolak topik dewasa, kontroversi, atau kreatif yang sah yang mungkin disekat oleh model standard. LLM tanpa sensor kami menerima sebarang arahan tanpa moralisasi, tetapi ia masih memaksakan had kandungan keras mengenai kanak-kanak.

Sebagai contoh, jika anda meminta kandungan seksual melibatkan kanak-kanak, API akan mengembalikan penolakan tanpa mengira tetapan tanpa sensor. Ini ialah peraturan keras yang diterapkan pada lapisan inferens. Semua kandungan dewasa lain yang sah, termasuk fiksyen eksplisit atau perdebatan bernuansa, akan melalui tanpa penapis lembut.

Membingungkan tetingkap konteks dengan token output maksimum

Tingkap konteks adalah 100,000 token, tetapi output maksimum setiap permintaan ialah 16,000 token. Perbezaan ini penting untuk penjanaan dokumen panjang. Jika anda menghantar prompt 90k token dan meminta 30k token, permintaan akan gagal atau dipotong secara tidak dijangka.

• Konteks maks: 100,000 token (input + output digabungkan).
• Output maksimum: 16,000 token setiap permintaan.
• Output lalai: 2,048 token jika max_tokens tidak ditetapkan.

Sentiasa tetapkan max_tokens secara eksplisit dalam panggilan API anda. Ini mencegah penggunaan token yang tidak terkawal dan memastikan pengebilan yang boleh diramal. Ralat yang melebihi had ini tidak menggunakan kredit, tetapi ia memecahkan logik penghuraian anda.

Mengabaikan respons aliran dalam persekitaran async

API kami menyokong penstriman melalui Acara Dihantar Pelayan (SSE). Jika anda menggunakan klien segerak untuk penjanaan jangka panjang, anda akan menghadapi had masa tamat. Persekitaran asinkron menjangkakan aliran chunk separa, bukan payload tunggal yang besar.

Setiap chunk termasuk data penggunaan token dalam payload akhir. Ini membolehkan anda menjejaki kos secara masa nyata. Tanpa aliran data, UI anda mungkin membeku selama beberapa saat semasa penjanaan berat. Gunakan

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

blok untuk melihat pengendalian sebelah klien yang betul.

Menetapkan ID model yang salah dalam badan permintaan

Ramai pembangun lalai kepada "gpt-3.5-turbo" atau "gpt-4". API kami memerlukan ID model tepat "uncensored". Menghantar mana-mana ID lain akan menghasilkan ralat 404 atau model tidak dijumpai. Ini bukan model khusus vendor seperti GPT atau Claude.

Ia adalah model berberat terbuka yang berjalan pada infrastruktur kami. Pastikan konfigurasi SDK anda menunjuk ke HTTPS://api.dolphinmodelai.com/v1 dan menggunakan "uncensored" sebagai nama model. Ini adalah satu-satunya model yang kami perkhidmatkan.

Melupakan untuk mengendalikan format tool_choice dan pemanggilan fungsi

Pemanggilan fungsi disokong, tetapi format mesti sepadan dengan piawaian OpenAI. Anda mesti menentukan tool_choice secara eksplisit jika anda mahu penggunaan alat yang dipaksa. API menerima tools, tool_choice, dan format mesej standard.

Takrifan alat yang diformatkan dengan salah menyebabkan ralat pengekodan di sisi klien. Pastikan skema JSON anda sah. Model mengembalikan JSON terstruktur yang kod anda mesti uraikan. Gunakan

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

blok untuk contoh definisi alat.

Memahami Salah Perbezaan antara harga input dan output

Token input berharga $0.15 setiap 1M token. Token output berharga $0.50 setiap 1M token. Output adalah empat kali lebih mahal daripada input. Nisbah ini adalah piawai untuk kebanyakan API LLM tetapi memberi kesan besar kepada bajet anda.

Kredit prabayar ditaksir berdasarkan penggunaan token sebenar. Ralat dan penolakan adalah percuma. Jika anda menghantar prompt 10k token dan mendapat respons 10k token, anda membayar untuk kedua-duanya. Tambah baki kripto diperlukan. Anda boleh menambah baki dengan USDT pada TRC20 atau USDC pada Base. Minimum tambah baki ialah $20. Bonus terpakai pada $50 (+5%), $100 (+10%), dan $200 (+15%).

Tidak memeriksa format respons untuk ralat mod JSON

Mod JSON memerlukan anda menetapkan response_format kepada {"type": "json_object"}. Tanpa ini, model mungkin mengembalikan markdown atau teks yang merosakkan parser anda. Ini adalah sumber kegagalan integrasi yang biasa.

Pastikan skema anda ketat. Model tidak menjamin JSON sempurna jika skema adalah kabur. Gunakan

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

blok untuk melihat cara memaksakan output JSON. Ini mengurangkan beban pemprosesan selepas.

Mengandaikan semua parameter SDK OpenAI berfungsi sama

Parameter seperti suhu, top_p, stop, seed, kehadiran_hukuman, dan frekuensi_hukuman berfungsi serupa dengan OpenAI. Walau bagaimanapun, tidak semua parameter kes sempadan disokong. Kami menyokong set teras yang diperlukan untuk kebanyakan kes penggunaan.

Penstriman, panggilan fungsi, dan mod JSON disokong sepenuhnya. Semak

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

blok untuk permintaan asas. Elakkan andaian bahawa parameter yang tidak disokong akan diabaikan dengan baik. Mereka mungkin menyebabkan ralat.

Melangkau had badan permintaan 8MB

Saiz badan permintaan maksimum ialah 8 MB. Jika anda menghantar fail besar atau konteks meluas, anda mungkin melebihi had ini. Ini adalah kekangan keras pada gerbang API. Permintaan yang melebihi saiz ini akan ditolak serta-merta.

Pastu payload anda dimampatkan atau dipendekkan. Gunakan

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

contoh untuk melihat cara mengendalikan konteks besar dengan cekap. Had ini terpakai untuk keseluruhan permintaan, termasuk header dan badan.