Qwen3.8-Max가 정말 Opus 5보다 낫다는 이야기, 어디까지 믿어야 할까. 레딧 커뮤니티에서는 Artificial Analysis 에이전틱 인덱스를 근거로 Qwen3.8-Max가 Opus 5를 제치고 종합 1위에 올랐다는 스레드가 돈다. 같은 자리에서 Qwen3.8-27B를 비롯한 후속 크기 라인업도 함께 공개됐다는 소식이 붙었다.
순위표를 보는 것과 직접 돌려보는 것은 다르다. 발표 몇 주 뒤가 아니라, Qwen3.8-Max가 LLM Router S5 업데이트로 모델 풀에 들어온 지금 바로 같은 프롬프트로 Opus 5와 나란히 호출해봤다. 다만 이 글이 확인한 건 순위표 전체가 아니라 우리 환경에서 진행한 소규모 실측, 그것도 지연시간과 출력 길이 두 가지뿐이다. 여러 모델을 동시에 올려둔 라우터 위에서 프리셋만 바꿔가며 얻은 결과다.
레딧에서 시작된 순위 논쟁
Artificial Analysis가 발표한 에이전틱 인덱스에서 Qwen3.8-Max가 Opus 5를 앞선 종합 1위로 올라섰다는 소식이 나온 건 이번 주였다. 같은 발표에서 Qwen3.8-27B가 공개됐고, 더 작은 크기의 Qwen 3.8 라인업도 추가로 예고됐다. 반응은 갈렸는데, 벤치마크 점수와 실제 체감 성능은 다르다는 지적이 나왔고 클로즈드 모델을 오픈 가중치 모델이 앞섰다는 데 놀라움을 표하는 목소리도 있었다.
순위표 한 장으로는 어느 쪽 말이 맞는지 가늠하기 어렵다. 이 순위가 우리 환경에서도 비슷하게 나오는지는 아무도 확인해주지 않는다. 직접 확인해보기로 한 이유다.
같은 프롬프트, 두 모델에 동시에 던져봤다
검증 방식은 단순하게 잡았다. 코드 버그 수정과 한국어 CS 응답, 두 태스크를 각각 Qwen3.8-Max와 Opus 5에 같은 프롬프트로 보내 지연시간과 출력 토큰 수를 기록했다. 조건은 비스트리밍 단건 호출, max_tokens 600으로 통일했다.
코드 버그 수정 태스크에는 리스트 슬라이싱에서 흔히 나는 오프바이원 버그를 심어뒀다. lst[len(lst) - n - 1:]처럼 인덱스 계산이 하나 밀려 있어서, 마지막 n개를 가져와야 할 함수가 실제로는 n+1개를 반환하는 문제였다. 정답으로 인정한 기준은 두 가지였다. 수정된 코드가 실제로 마지막 n개만 반환하는지, 그리고 원인이 되는 인덱스를 정확히 짚었는지였다.
한국어 CS 응답 태스크는 배송 지연에 대한 환불 문의를 프롬프트로 던졌다. 고객이 예상 도착일보다 사흘 늦었다며 환불과 재발송 중 어느 쪽이 나은지 물어보는 상황을 가정했고, 응답이 문의 요지를 짚었는지, 다음 행동을 안내했는지만 확인했다. 정답을 가릴 문제가 아니라서 채점표에는 넣지 않았다.
결과를 표로 정리하면 다음과 같다.
| 태스크 | 모델 | 지연시간 | 출력 토큰 | 정답 여부 |
|---|---|---|---|---|
| 코드 버그 수정 | Qwen3.8-Max | 8.6초 | 355 | 정답 |
| 코드 버그 수정 | Opus 5 | 9.3초 | 563 | 정답 |
| 한국어 CS 응답 | Qwen3.8-Max | 6.3초 | 260 | 미채점 |
| 한국어 CS 응답 | Opus 5 | 8.7초 | 430 | 미채점 |
두 차트는 이 표를 보조하는 자료로 참고하면 된다.
두 모델 모두 버그를 찾아 고쳤고 슬라이싱 인덱스도 정확히 수정했다. 차이는 답을 내놓는 방식에서 갈렸다. Opus 5는 왜 인덱스가 하나 밀렸는지, 원래 코드가 어떤 경우에 실패하는지까지 단계별로 풀어 썼고 그 과정에서 출력이 563토큰까지 늘어났다. Qwen3.8-Max는 수정된 함수 전체와 한두 문장짜리 근거만 남기고 끝냈다. 355토큰으로 마무리됐으니 분량으로 보면 Opus 5의 3분의 2 수준이었다.
한국어 CS 응답에서도 비슷한 경향이 나타났다. Qwen3.8-Max는 환불과 재발송 옵션을 나란히 제시하고 처리 기한을 짧게 안내하는 선에서 답을 맺었다. Opus 5는 같은 내용에 사과 문구와 상황 공감 표현을 앞뒤로 붙여 430토큰까지 늘렸다. 어느 쪽 톤이 실제 CS 응대에 더 적합한지는 회사 응대 방침에 따라 갈릴 문제라 이번 측정에서는 우열을 매기지 않았다.
두 태스크를 합쳐 보면 Qwen3.8-Max가 지연시간에서 일관되게 앞섰고 출력 토큰 수도 두 경우 모두 더 짧았다. 레딧에서 화제가 된 에이전틱 인덱스 1위 결과와도 비슷한 인상을 줬다. 다만 이건 각 태스크 한 번씩, 두 번의 호출로 얻은 수치다. 표본이 늘어나면 순위는 얼마든지 뒤집힐 수 있고, 특히 출력이 짧다는 특성이 모든 업무에서 장점으로 작용하지는 않는다는 점도 함께 남겨둘 필요가 있다.
프리셋만 바꿔서 확인하는 법
계약을 새로 맺거나 키를 발급받는 절차는 없었다. Qwen3.8-Max가 이미 LLM Router S5 업데이트로 모델 풀에 들어와 있어서, 기존 요청의 model 필드만 바꾸면 그대로 호출됐다.
비교에 쓴 요청 본문을 그대로 옮기면 다음과 같다. stream은 false로 고정했고 max_tokens는 두 태스크 모두 600으로 맞췄다. 같은 조건을 유지하려고 temperature나 top_p 같은 나머지 파라미터는 아예 지정하지 않고 기본값 그대로 뒀다.
curl https://llm-router.cafe24.com/api/v1/chat/completions \
-H "Authorization: Bearer sk-cafe24-**********" \
-d '{
"model": "Qwen/Qwen3.8-Max",
"models": ["anthropic/claude-opus-5"],
"stream": false,
"max_tokens": 600,
"messages": [
{"role": "user", "content": "아래 함수의 오프바이원 버그를 찾아 고쳐라.\n\ndef get_last_n_items(lst, n):\n return lst[len(lst) - n - 1:]"}
]
}'
한국어 CS 응답 태스크도 messages의 content만 실제 문의 내용으로 바꾸고 나머지 필드는 동일하게 두어 호출했다. 두 태스크 모두 같은 요청을 두 번씩 반복해 지연시간 편차가 크지 않은지 먼저 확인한 뒤, 표에는 두 번의 평균값 대신 첫 호출 값을 그대로 기록했다. 반복 호출 사이 편차는 코드 버그 수정에서 0.3초, 한국어 CS 응답에서 0.2초 안쪽이라 대표값으로 삼는 데 무리가 없다고 판단했다.
model에는 우선 시도할 모델을 넣고, models 배열에는 비교하거나 대체할 모델을 넣는다. 응답이 돌아오면 확인할 곳은 두 군데다. choices 안의 content로 실제 답변 내용을 채점하고, extra_fields 안의 latency와 resolved_model_used로 지연시간과 실제 응답 모델을 대조한다.
{
"choices": [{"message": {"role": "assistant", "content": "..."}}],
"usage": {"completion_tokens": 355},
"extra_fields": {
"latency": 8.6,
"resolved_model_used": "Qwen/Qwen3.8-Max"
}
}
표에 넣은 출력 토큰 수는 usage 안의 completion_tokens 값을 그대로 옮긴 것이고, 지연시간과 실제로 응답한 모델명은 extra_fields의 latency와 resolved_model_used에서 가져왔다. 세 필드 모두 응답 본문에 이미 포함돼 있어서, 별도로 스톱워치를 재거나 토큰을 눈으로 세지 않아도 호출 자체가 측정 로그로 남는다. resolved_model_used를 매번 확인해야 하는 이유는 models 배열에 넣은 대체 모델로 라우팅이 넘어가는 경우가 있어서인데, 이번 실측에서는 두 태스크 모두 요청한 모델 그대로 응답이 돌아와 그 부분은 문제가 되지 않았다.
에이전트에 연결해 쓴다면 절차는 더 짧아진다. OpenClaw나 Hermes Agent처럼 OpenAI 호환 엔드포인트로 모델을 부르는 구조라면 model 값만 Qwen/Qwen3.8-Max로 바꿔 넣으면 된다. 에이전트 코드는 건드릴 필요가 없다. 관련 연동 절차는 Hermes Agent·OpenClaw에 LLM Router 연결하기에 정리해뒀다.
정리
레딧에서 도는 순위 하나를 그대로 믿거나 무시할 필요는 없다. 확인해보면 그만이다. 코드 버그 수정에서는 Qwen3.8-Max가 8.6초, Opus 5가 9.3초로 두 모델 모두 오프바이원 버그를 정확히 잡아냈지만 답을 푸는 방식은 갈렸다. 출력 토큰은 355 대 563으로 벌어졌는데, 인덱스가 왜 밀렸는지 단계별로 설명을 붙인 Opus 5 쪽이 그만큼 분량이 늘어난 셈이었다. 한국어 CS 응답에서도 격차는 비슷하게 나타났다. Qwen3.8-Max는 6.3초 만에 환불과 재발송 옵션을 짧게 정리해 답을 맺었고, Opus 5는 8.7초에 사과와 공감 표현을 더 붙여 430토큰까지 늘렸다. 두 태스크 모두 지연시간과 출력 길이 양쪽에서 Qwen3.8-Max 쪽이 짧게 끝난 결과다.
여기까지 걸린 작업은 프리셋 전환 한 줄이 전부였다. 계약이나 키 발급 같은 절차 없이 model 필드만 바꿔 같은 프롬프트를 두 번 보내는 것으로 이 표 하나를 채웠다.
화제가 된 모델을 지금 바로 호출해보고 싶다면 LLM Router에서 시작하면 된다. 314개 모델이 이미 올라와 있어 다음 비교도 프리셋만 바꿔 같은 방식으로 이어가면 된다.