Dolphin Tekoälyn vianmääritys: Yleisiä API-integraatiovirheitä

Olettaen, että 'rajoittamaton' tarkoittaa 'täysin suodatonta'

Sensuroimaton ei tarkoita, että mallilla ei ole rajoja. Se tarkoittaa nimenomaan, että malli ei kieltäydy laillisista aikuisille sopivista, kiistanalaisista tai luovista aiheista, jotka standardimallit voivat estää. Sensuroimaton LLMimme hyväksyy minkä tahansa kehotuksen moralisointa, mutta se valvoo silti tiukkaa sisältörajoitusta alaikäisiä kohtaan.

Esimerkiksi jos pyydät seksuaalista sisältöä, joka liittyy alaikäisiin, API palauttaa kieltäytymisen riippumatta censoringittomasta asetuksesta. Tämä on tiukka sääntö, joka päätetään päättelykerroksessa. Kaikki muu laillinen aikuisille suunnattu sisältö, mukaan lukien eksplisiittinen fikti tai hienovarainen debatti, kulkee ilman pehmeitä suodattimia.

Confusing context window with max output tokens

Kontekstiikkoni on 100 000 tokenia, mutta maksimi vastaus pyyntöä kohden on 16 000 tokenia. Tämä ero on kriittinen pitkien asiakirjojen tuottamisessa. Jos lähetät 90k tokenin promptin ja pyydät 30k tokenia, pyyntö epäonnistuu tai katkeaa odottamattomasti.

• Max context: 100 000 tokenia (input + output combined).
• Maksimiteho: 16 000 tokenia pyyntöä kohden.
• Oletustulos: 2 048 tokeniä, jos max_tokens on asettamatta.

Aseta max_tokens eksplisiittisesti API-kutsuissa. Tämä estää token-käytön hallitsemattoman kasvun ja varmistaa ennustettavan laskutuksen. Virheet, jotka ylittävät nämä rajat, eivät kuluta krediittia, mutta ne rikkovat jäsentelylogiikkasi.

Streaming-vastausten huomioimattomuus async-ympäristöissä

API-tukemme tukee streamausta Server-Sent Events (SSE) -tekniikalla. Jos käytät synkronista asiakasta pitkään generointiin, kohtaat aikakatkaisurajoitukset. Async-ympäristöt odottavat osittaisten palikoiden virtaa, ei yhtä suurta datapakettia.

Jokainen palikka sisältää token-käyttötiedot viimeisessä kuormassa. Tämä mahdollistaa reaaliaikaisten kustannusten seurannan. Ilman streamausta käyttöliittymäsi voi jäätyä muutamaksi sekunniksi raskaan generoinnin aikana. Käytä

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

estää nähdäksesi oikean asiakassivun käsittelyn.

Väärän mallitunnisteen (model ID) asettaminen pyynnön runkoon

Monet kehittäjät käyttävät oletuksena "gpt-3.5-turbo":ta tai "gpt-4":ää. API:n vaatii mallin tunnisteen olevan tarkalleen "uncensored". Minkä tahansa muun ID:n lähettäminen johtaa 404-virheeseen tai mallia ei löydy -virheeseen. Tämä ei ole valmistajakohtainen malli kuten GPT tai Claude.

Se on avoimen painotuksen malli, jota ajetaan infrastruktuurissamme. Varmista, että SDK-määrityksesi osoittaa URL:iin HTTPS://api.dolphinmodelai.com/v1 ja käytä mallinimessä "uncensored". Tämä on ainoa malli, jota tarjoamme.

tool_choice- ja function-kutsumuotojen unohtaminen

Function calling tuetaan, mutta muodon on vastattava OpenAI-standardia. Sinun on määritettävä tool_choice eksplisiittisesti, jos haluat pakottaa työkalujen käytön. API hyväksyy tools-, tool_choice- ja vakioviestimuodot.

Virheellisesti muotoillut työkalumääritelmät aiheuttavat jäsennysvirheitä asiakaspäässä. Varmista, että JSON-skeemasi ovat kelvollisia. Malli palauttaa rakenteisen JSON-tiedon, joka koodisi on jäsennettävä. Käytä

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

lohko esimerkki työkalumäärittelystä.

Sisääntulo- ja ulostulohinnoittelun eron väärinymmärtäminen

Syötetekstitokenit maksavat $0.15 per 1M tokenia. Tulostetekstitokenit maksavat $0.50 per 1M tokenia. Tulostus on neljä kertaa kalliimpaa kuin syöte. Tämä suhde on yleinen useimmissa LLM-API:issa, mutta se vaikuttaa budjettiisi merkittävästi.

Esilukukrediitti laskutetaan todellisen token-käytön perusteella. Virheet ja hylkäykset ovat ilmaisia. Jos lähetät 10k tokenin syötteen ja saat 10k tokenin vastauksen, maksat molemmista. Kryptotäydennykset ovat pakollisia. Voit täydentää saldon USDT:llä verkossa TRC20 tai USDC:llä verkossa Base. Vähimmäistäydennys on $20. Bonukset koskevat summia $50 (+5 %), $100 (+10 %) ja $200 (+15 %).

Ei tarkisteta vastausmuotoa JSON-tilan virheiden varalta

JSON-tila vaatii sinua asettamaan response_format-arvon muotoon {"type": "json_object"}. Ilman tätä malli voi palauttaa markdownia tai tekstiä, joka rikkoo jäsentimesi. Tämä on yleinen integraation epäonnistumisen lähde.

Varmista, että skeemasi on tiukka. Malli ei takaa täydellistä JSON-muotoa, jos skeema on epäselvä. Käytä

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

estää nähdäksesi, miten JSON-tulosteen pakottaminen toimii. Tämä vähentää jälkikäsittelyn kuormitusta.

Olettaen, että kaikki OpenAI SDK -parametrit toimivat identtisesti

Parametrit kuten temperature, top_p, stop, seed, presence_penalty ja frequency_penalty toimivat samalla tavalla kuin OpenAI:n. Kaikkia reunatapauksia varten tarkoitettuja parametreja ei kuitenkaan tueta. Tukemme ydinpakettia, joka riittää useimpiin käyttötarkoituksiin.

Streamaus, funktion kutsut ja JSON-tila tuetaan täysin. Tarkista

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

lohko peruspäätettä varten. Älä oleta, että tukemattomat parametrit jätetään huomiotta. Ne voivat aiheuttaa virheitä.

8 Mt:n pyyntökehon rajan huomioimatta jättäminen

Pyynnön rungon maksimikoko on 8 Mt. Jos lähetät suuria tiedostoja tai laajaa kontekstia, voit ylittää tämän rajan. Tämä on tiukka ehto API-portilla. Tämän koon ylittävät pyynnät hylätään välittömästi.

Varmista, että payloadisi on puristettu tai katkaistu. Käytä

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

esimerkki nähdäksesi, miten suuria konteksteja käsitellään tehokkaasti. Tämä raja koskee koko pyyntöä, mukaan lukien otsakkeet ja runko.