Dolphin AI Khắc phục sự cố: Những lỗi Tích hợp API Phổ biến

Giả sử 'uncensored' có nghĩa là 'không có bộ lọc nào cả'

Không kiểm duyệt không có nghĩa là mô hình không có giới hạn. Nó cụ thể có nghĩa là mô hình sẽ không từ chối các chủ đề người lớn hợp pháp, gây tranh cãi hoặc sáng tạo mà các mô hình tiêu chuẩn có thể chặn. LLM không kiểm duyệt của chúng tôi chấp nhận bất kỳ lời nhắc nào mà không phán xét đạo đức, nhưng nó vẫn thực thi một giới hạn nội dung cứng đối với trẻ vị thành niên.

Ví dụ, nếu bạn yêu cầu nội dung tình dục liên quan đến trẻ vị thành niên, API sẽ trả về từ chối bất kể cài đặt không bộ lọc. Đây là quy tắc cứng được áp dụng ở lớp suy luận. Tất cả các nội dung người lớn hợp pháp khác, bao gồm tiểu thuyết rõ ràng hoặc tranh luận tinh tế, đều đi qua mà không có bộ lọc mềm.

Nhầm lẫn giữa cửa sổ ngữ cảnh và token đầu ra tối đa

Cửa sổ ngữ cảnh là 100.000 token, nhưng đầu ra tối đa mỗi yêu cầu là 16.000 token. Sự khác biệt này rất quan trọng đối với việc tạo tài liệu dài. Nếu bạn gửi prompt 90k token và yêu cầu 30k token, yêu cầu sẽ thất bại hoặc bị cắt ngắn không mong muốn.

• Ngữ cảnh tối đa: 100.000 token (bao gồm đầu vào + đầu ra).
• Đầu ra tối đa: 16.000 token mỗi yêu cầu.
• Đầu ra mặc định: 2.048 token nếu max_tokens chưa được đặt.

Luôn đặt max_tokens một cách rõ ràng trong các lệnh gọi API của bạn. Điều này ngăn ngừa việc sử dụng token tăng đột biến và đảm bảo việc tính phí có thể dự đoán được. Các lỗi vượt quá giới hạn này không tiêu tốn tín dụng, nhưng chúng sẽ làm hỏng logic phân tích cú pháp của bạn.

Bỏ qua phản hồi streaming trong môi trường bất đồng bộ

API của chúng tôi hỗ trợ streaming qua Server-Sent Events (SSE). Nếu bạn sử dụng client đồng bộ cho quá trình tạo dài, bạn sẽ chạm giới hạn thời gian chờ. Các môi trường bất đồng bộ mong đợi một luồng các chunk một phần, không phải một tải trọng lớn duy nhất.

Mỗi chunk bao gồm dữ liệu sử dụng token trong tải trọng cuối cùng. Điều này cho phép bạn theo dõi chi phí theo thời gian thực. Không có streaming, giao diện người dùng của bạn có thể bị đóng băng trong vài giây trong quá trình tạo dữ liệu nặng. Hãy sử dụng

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

chặn để xem cách xử lý phía máy khách đúng cách.

Cài đặt sai ID mô hình trong thân yêu cầu

Nhiều nhà phát triển mặc định là "gpt-3.5-turbo" hoặc "gpt-4". API của chúng tôi yêu cầu ID mô hình phải chính xác là "uncensored". Gửi bất kỳ ID nào khác sẽ dẫn đến lỗi 404 hoặc không tìm thấy mô hình. Đây không phải là một mô hình cụ thể của nhà cung cấp như GPT hoặc Claude.

Đây là mô hình trọng lượng mở chạy trên cơ sở hạ tầng của chúng tôi. Hãy đảm bảo cấu hình SDK của bạn trỏ đến HTTPS://api.dolphinmodelai.com/v1 và sử dụng "uncensored" làm tên mô hình. Đây là mô hình duy nhất mà chúng tôi cung cấp.

Quên xử lý các định dạng tool_choice và gọi hàm

Gọi hàm được hỗ trợ, nhưng định dạng phải khớp với các tiêu chuẩn của OpenAI. Bạn phải chỉ định tool_choice một cách rõ ràng nếu muốn ép buộc sử dụng công cụ. API chấp nhận tools, tool_choice và các định dạng tin nhắn tiêu chuẩn.

Định dạng không chính xác các định nghĩa công cụ dẫn đến lỗi phân tích cú pháp ở phía máy khách. Hãy đảm bảo lược đồ JSON của bạn hợp lệ. Model trả về JSON có cấu trúc mà mã của bạn phải phân tích cú pháp. Sử dụng

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

khối cho một ví dụ về định nghĩa công cụ.

Hiểu sai về sự khác biệt giữa giá đầu vào và đầu ra

Token đầu vào có giá $0.15 cho mỗi 1M token. Token đầu ra có giá $0.50 cho mỗi 1M token. Đầu ra đắt hơn bốn lần so với đầu vào. Tỷ lệ này là tiêu chuẩn cho hầu hết các API LLM nhưng ảnh hưởng đáng kể đến ngân sách của bạn.

Số dư trả trước được tính dựa trên lượng token thực tế. Các lỗi và từ chối đều miễn phí. Nếu bạn gửi prompt 10k token và nhận lại phản hồi 10k token, bạn sẽ phải trả tiền cho cả hai. Nạp tiền bằng tiền điện là bắt buộc. Bạn có thể nạp USDT trên TRC20 hoặc USDC trên Base. Mức nạp tối thiểu là $20. Bonus áp dụng ở mức $50 (+5%), $100 (+10%) và $200 (+15%).

Không kiểm tra định dạng phản hồi để tìm lỗi chế độ JSON

Chế độ JSON yêu cầu bạn đặt response_format thành {"type": "json_object"}. Không có điều này, mô hình có thể trả về markdown hoặc văn bản làm hỏng trình phân tích cú pháp của bạn. Đây là một nguồn phổ biến gây ra lỗi tích hợp.

Đảm bảo lược đồ của bạn là nghiêm ngặt. Mô hình không đảm bảo JSON hoàn hảo nếu lược đồ không rõ ràng. Sử dụng

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

chặn để xem cách thực hiện đầu ra JSON. Điều này giảm tải xử lý sau.

Giả sử tất cả các tham số của OpenAI SDK hoạt động giống hệt nhau

Các tham số như nhiệt độ, top_p, stop, seed, presence_penalty và frequency_penalty hoạt động tương tự như OpenAI. Tuy nhiên, không phải tất cả các tham số trường hợp cạnh đều được hỗ trợ. Chúng tôi hỗ trợ tập hợp cốt lõi cần thiết cho hầu hết các trường hợp sử dụng.

Streaming, gọi hàm và chế độ JSON được hỗ trợ đầy đủ. Hãy kiểm tra

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

khối cho một yêu cầu cơ bản. Tránh giả định rằng các tham số không được hỗ trợ sẽ bị bỏ qua một cách nhẹ nhàng. Chúng có thể gây ra lỗi.

Bỏ qua giới hạn 8MB cho thân yêu cầu

Kích thước thân yêu cầu tối đa là 8 MB. Nếu bạn gửi các tệp lớn hoặc ngữ cảnh rộng rãi, bạn có thể vượt quá giới hạn này. Đây là một ràng buộc cứng trên gateway API. Các yêu cầu vượt quá kích thước này sẽ bị từ chối ngay lập tức.

Đảm bảo payload của bạn được nén hoặc cắt ngắn. Sử dụng

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

ví dụ để xem cách xử lý ngữ cảnh lớn hiệu quả. Giới hạn này áp dụng cho toàn bộ yêu cầu, bao gồm cả tiêu đề và thân.