Dolphin Налагодження AI: Поширені помилки інтеграції API

Припускаючи, що 'uncensored' означає 'жодних фільтрів взагалі'

Нецензурний контент не означає, що у моделі немає обмежень. Він конкретно означає, що модель не відмовлятиматиметься від законних дорослих, суперечливих або творчих тем, які стандартні моделі можуть заблокувати. Наша нецензурна LLM приймає будь-який запит без моралізації, але вона все одно дотримується жорсткого обмеження контенту щодо неповнолітніх.

Наприклад, якщо ви запитуєте сексуальний контент із залученням неповнолітніх, API поверне відмову незалежно від налаштування без цензури. Це тверде правило, яке застосовується на рівні висновку. Весь інший законний дорослий контент, включаючи експліцитну художню літературу або нюансовані дебати, проходить без м'яких фільтрів.

Плутанина між контекстним вікном та максимальною кількістю вихідних токенів

Вікно контексту становить 100 000 токенів, але максимальний обсяг відповіді за запит — 16 000 токенів. Ця відмінність критично важлива для генерації довгих документів. Якщо ви надішлете промпт на 90 000 токенів і запитаєте 30 000 токенів, запит буде відхилено або відповідь буде несподівано обрізано.

• Максимальний контекст: 100,000 токенів (вхід + вихід разом).
• Максимальний вивід: 16 000 токенів за запит.
• Вивід за замовчуванням: 2 048 токенів, якщо max_tokens не встановлено.

Завжди явно встановлюйте max_tokens у своїх API-запитах. Це запобігає неконтрольованому використанню токенів і забезпечує передбачувану билінгову систему. Помилки, які перевищують ці ліміти, не споживають кредит, але ламають вашу логіку парсингу.

Ігнорування потокових відповідей в асинхронних середовищах

Наш API підтримує потокову передачу даних через Server-Sent Events (SSE). Якщо ви використовуєте синхронний клієнт для довгої генерації, ви досягнете лімітів тайм-ауту. Асинхронні середовища очікують потік часткових чанків, а не один величезний пакет даних.

Кожен чанк містить дані про використання токенів у останньому пакеті. Це дозволяє відстежувати витрати в реальному часі. Без стримінгу ваш інтерфейс може зависати на кілька секунд під час інтенсивної генерації. Використовуйте

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

блок, щоб побачити правильну обробку на стороні клієнта.

Вказання неправильного ідентифікатора моделі в тілі запиту

Багато розробників за замовчуванням використовують "gpt-3.5-turbo" або "gpt-4". Наш API вимагає, щоб ідентифікатор моделі був точно "uncensored". Надсилання будь-якого іншого ID призведе до помилки 404 або "модель не знайдена". Це не модель конкретного постачальника, як GPT або Claude.

Це модель з відкритими вагами, що працює на нашій інфраструктурі. Переконайтеся, що конфігурація вашого SDK вказує на HTTPS://api.dolphinmodelai.com/v1 і використовує "uncensored" як назву моделі. Це єдина модель, яку ми надаємо.

Забування обробляти формати tool_choice та виклику функцій

Виклик функцій підтримується, але формат має відповідати стандартам OpenAI. Ви повинні явно вказати tool_choice, якщо хочете примусове використання інструментів. API приймає tools, tool_choice та стандартні формати повідомлень.

Неправильно відформатовані визначення інструментів призводять до помилок парсингу на стороні клієнта. Переконайтеся, що ваші JSON-схеми дійсні. Модель повертає структурований JSON, який ваш код має розпарсити. Використовуйте

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

блок для прикладу визначення інструменту."

Неправильне розуміння різниці в ціноутворенні на вхідні та вихідні дані

Вхідні токени коштують $0.15 за 1M токенів. Вихідні токени коштують $0.50 за 1M токенів. Вихідні дані коштують у чотири рази дорожче за вхідні. Це співвідношення є стандартним для більшості LLM API, але суттєво впливає на ваш бюджет.

Попередньо оплачений кредит нараховується на основі фактичного використання токенів. Помилки та відмови є безкоштовними. Якщо ви надішлете промпт на 10k токенів і отримаєте відповідь на 10k токенів, ви платите за обидва. Для поповнення обов’язково використовується криптовалюта. Ви можете поповнити рахунок USDT на TRC20 або USDC на Base. Мінімальна сума поповнення становить $20. Бонуси нараховуються при сумах $50 (+5%), $100 (+10%) та $200 (+15%).

Не перевірка формату відповіді на помилки режиму JSON

Режим JSON вимагає встановити response_format у {"type": "json_object"}. Без цього модель може повернути markdown або текст, який зламає ваш парсер. Це поширене джерело збоїв інтеграції.

Переконайтеся, що ваша схема є суворою. Модель не гарантує ідеальний JSON, якщо схема неоднозначна. Використовуйте

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

блок, щоб побачити, як примусово виводити JSON. Це зменшує накладні витрати на постобробку.

Припускаючи, що всі параметри SDK OpenAI працюють ідентично

Параметри temperature, top_p, стоп, seed, presence_penalty та frequency_penalty працюють подібним чином до OpenAI. Однак не всі параметри для крайових випадків підтримуються. Ми підтримуємо основний набір, необхідний для більшості сценаріїв використання.

Потокова передача, виклик функцій та режим JSON повністю підтримуються. Перевірте

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

блок для базового запиту. Уникайте припущення, що непідтримувані параметри будуть ігноруватися коректно. Вони можуть викликати помилки.

Ігнорування обмеження розміру тіла запиту в 8 МБ

Максимальний розмір тіла запиту становить 8 МБ. Якщо ви надсилаєте великі файли або обширний контекст, ви можете перевищити це обмеження. Це жорстке обмеження на рівні API-шлюзу. Запити, що перевищують цей розмір, відхиляються миттєво.

Переконайтеся, що ваш пейлоад стиснено або обрізано. Використовуйте

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

приклад, щоб побачити, як ефективно обробляти великі контексти. Цей ліміт поширюється на весь запит, включаючи заголовки та тіло.