Dolphin ai 문제 해결: 일반적인 API 통합 실수

'uncensored'가 '완전한 필터 없음'을 의미한다고 가정

검열 없음이 모델에 제한이 전혀 없다는 뜻은 아닙니다. 이는 표준 모델이 차단할 수 있는 합법적인 성인, 논란이 되는, 또는 창작적 주제를 모델이 거부하지 않는다는 것을 특정히 의미합니다. 우리의 검열 없는 LLM은 도덕적 판단 없이 모든 프롬프트를 받아들이지만, 미성년자와 관련된 콘텐츠에 대해서는 여전히 하드 콘텐츠 제한을 적용합니다.

예를 들어, 미성년자를 대상으로 한 성적인 콘텐츠를 요청하면 uncensored 설정과 관계없이 API가 거부를 반환합니다. 이는 추론 레이어에서 적용되는 엄격한 규칙입니다. 명시적인 소설이나 미묘한 논쟁을 포함하는 기타 모든 합법적인 성인 콘텐츠는 소프트 필터링 없이 통과합니다.

컨텍스트 창과 최대 출력 토큰 혼동

컨텍스트 윈도우는 100,000 토큰이지만 요청당 최대 출력은 16,000 토큰입니다. 이 구별은 긴 문서 생성에 중요합니다. 90,000 토큰 프롬프트를 보내고 30,000 토큰을 요청하면 요청이 실패하거나 예기치 않게 잘릴 수 있습니다.

• 최대 컨텍스트: 100,000 토큰 (입력 + 출력 합산).
• 최대 출력: 요청당 16,000 토큰입니다.
• max_tokens이 미설정일 경우 기본 출력: 2,048 토큰

항상 API 호출에서 max_tokens을 명시적으로 설정하세요. 이는 토큰 사용량 폭주와 예측 가능한 청구를 방지합니다. 이러한 제한을 초과하는 오류는 크레딧을 소모하지 않지만 파싱 로직을 깨뜨립니다.

비동기 환경에서 스트리밍 응답 무시

API는 서버 전송 이벤트(SSE)를 통한 스트리밍을 지원합니다. 긴 생성을 위해 동기식 클라이언트를 사용할 경우 시간 초과 제한에 도달합니다. 비동기 환경은 단일 대용량 페이로드가 아닌 부분 청크의 스트림을 기대합니다.

각 청크에는 마지막 페이로드에 토큰 사용 데이터가 포함됩니다. 이를 통해 실시간 비용을 추적할 수 있습니다. 스트리밍을 사용하지 않으면 무거운 생성 중 UI가 몇 초 동안 멈출 수 있습니다. 사용

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

클라이언트 측 처리 방법을 확인하려면 블록을 참조하세요.

요청 본문에 잘못된 모델 ID 설정

많은 개발자는 "gpt-3.5-turbo" 또는 "gpt-4"를 기본값으로 사용합니다. 당사 API는 모델 ID가 정확히 "uncensored"여야 합니다. 다른 ID를 보내면 404 또는 모델 없음 오류가 발생합니다. 이는 GPT나 Claude와 같은 벤더별 모델이 아닙니다.

인프라에서 실행되는 오픈 가중치 모델입니다. SDK 구성이 HTTPS://api.dolphinmodelai.com/v1을 가리키고 모델 이름으로 "uncensored"를 사용하도록 하십시오. 이것이 우리가 제공하는 유일한 모델입니다.

tool_choice 및 함수 호출 형식 설정을 잊음

함수 호출은 지원되지만 형식은 OpenAI 표준과 일치해야 합니다. 강제 도구 사용을 원한다면 tool_choice를 명시적으로 지정해야 합니다. API는 tools, tool_choice 및 표준 메시지 형식을 받습니다.

잘못된 형식의 도구 정의는 클라이언트 측에서 구문 분석 오류를 유발합니다. JSON 스키마가 유효한지 확인하세요. 모델은 코드에서 구문 분석해야 하는 구조화된 JSON을 반환합니다. 다음을 사용하세요

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.dolphinmodelai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

예시에서 도구 정의를 위한 블록.

입력 및 출력 가격 책정의 차이 오해

입력 토큰은 1M 토큰당 $0.15입니다. 출력 토큰은 1M 토큰당 $0.50입니다. 출력이 입력보다 4배 더 비쌉니다. 이 비율은 대부분의 LLM API에서 표준이지만 예산에 상당한 영향을 미칩니다.

선불 크레딧은 실제 토큰 사용량에 따라 청구됩니다. 오류와 거부 요청은 무료입니다. 10k 토큰 프롬프트를 보내고 10k 토큰 응답을 받으면 둘 다에 대해 지불합니다. 크립토 충전이 필요합니다. USDT(TRC20) 또는 USDC(Base)로 충전할 수 있습니다. 최소 충전 금액은 $20입니다. $50(+5%), $100(+10%), $200(+15%) 충전 시 보너스가 적용됩니다.

JSON 모드 오류에 대한 응답 형식 확인 안 함

JSON 모드는 response_format을 {"type": "json_object"}로 설정해야 합니다. 이를 설정하지 않으면 모델이 마크다운이나 텍스트를 반환하여 파서를 깨뜨릴 수 있습니다. 이는 통합 실패의 일반적인 원인입니다.

스키마를 엄격하게 설정하세요. 스키마가 모호한 경우 모델이 완벽한 JSON을 보장하지 않습니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.dolphinmodelai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

JSON 출력 강제 방법을 확인하세요. 이는 사후 처리 오버헤드를 줄입니다.

모든 OpenAI SDK 매개변수가 동일하게 작동한다고 가정

temperature, top_p, stop, seed, presence_penalty, frequency_penalty는 OpenAI와 유사하게 작동합니다. 하지만 모든 엣지 케이스 파라미터가 지원되는 것은 아닙니다. 대부분의 사용 사례에 필요한 핵심 세트만 지원합니다.

스트리밍, 함수 호출, JSON 모드는 완전히 지원됩니다. 다음을 확인하세요.

Copycurl https://api.dolphinmodelai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Run unit tests for the payment module"}]
  }'

기본 요청의 경우 블록을 사용하세요. 지원되지 않는 매개변수가 우아하게 무시될 것이라고 가정하지 마세요. 오류를 발생시킬 수 있습니다.

8MB 요청 본문 제한 간과하기

최대 요청 본문 크기는 8 MB입니다. 큰 파일이나 광범위한 컨텍스트를 전송하면 이 제한을 초과할 수 있습니다. 이는 API 게이트웨이에서의 하드 제약입니다. 이 크기를 초과하는 요청은 즉시 거부됩니다.

페이로드가 압축되거나 잘려 있는지 확인하세요.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

이 예제를 사용하여 큰 컨텍스트를 효율적으로 처리하는 방법을 확인하십시오. 이 제한은 헤더와 본문을 포함한 전체 요청에 적용됩니다.