LLM으로 서비스를 만들 때 가장 먼저 부딪히는 고민은 어떤 모델을 쓰느냐입니다. 선택지는 계속 늘어나서 LLM Router 한 곳에서만 270여 종의 모델을 호출할 수 있습니다. 고르기 어려우면 대개 가장 좋다고 알려진 고가 모델 하나로 정합니다. 답변 품질이 걱정되니까요.

문제는 비용입니다. 상담 챗봇을 예로 들면 문의 분류, 대화 요약, 답변 작성까지 모든 요청이 같은 고가 모델로 갑니다. 범주 하나만 고르면 끝나는 간단한 요청에도 가장 높은 요금을 내는 셈입니다.
모델 이름 대신 auto라고 적으면 라우터가 요청마다 모델을 골라 주는 기능이 늘고 있는 것도 이 때문입니다. OpenRouter도 8월 10일에 이런 Auto Router를 새로 공개했습니다. 그런데 막상 맡기려니 걱정이 앞섭니다. 비용을 아끼려고 답변 수준이 떨어지는 모델로 요청을 보내는 건 아닐까요?
LLM Router 팀이 일의 종류별로 평가 문제로 여러 모델의 답변을 비교해 보니, 고가 모델이 늘 더 나은 답을 주지는 않았습니다. 고객 문의를 정해진 유형으로 분류하는 일에서는 가장 좋은 평가를 받은 모델과 비용이 21분의 1인 모델의 답변 수준이 거의 같았습니다.
cafe24/auto는 이런 비교 결과를 근거로 요청마다 모델을 고르는 방식을 검증하고 있습니다. Cafe24 상담 챗봇에 cafe24/auto를 적용하는 실험을 했습니다. 개발 환경 Router에서 Claude Sonnet 4.6 한 모델로 처리할 때와 비교한 결과는 이렇습니다.
비용은 약 37분의 1로 줄었는데 답변은 오히려 참고 문서에 더 충실했습니다. cafe24/auto는 무엇을 보고 모델을 고를까요? 우리 서비스에 연결한다면 비용과 품질 가운데 어디에 기준을 두어야 할까요?
모델 하나로 모든 요청을 처리하면 어느 한쪽에서 손해를 봅니다
코드에서 보면 문의 분류도, 대화 요약도, 답변 작성도 모두 같은 모델 ID로 나가는 호출일 뿐입니다. 하지만 모델이 감당해야 하는 난이도는 저마다 다릅니다.
이런 요청을 모델 하나로 모두 처리하면 비용과 품질 가운데 한쪽을 포기하게 됩니다.
- 고가 모델로 고정하면: 품질은 안심되지만 간단한 요청까지 가장 높은 단가로 처리합니다.
- 저렴한 모델로 고정하면: 긴 문서를 읽고 근거를 제시해야 하는 답변에서 품질이 떨어집니다.
그렇다면 가장 뛰어난 모델 하나를 골라 쓰면 되지 않을까요? 그런데 가장 뛰어난 모델이 어느 것인지부터 일마다 다릅니다. 아래 표는 고객 문의를 정해진 유형으로 분류하는 일에서 답변 평가가 가장 좋았던 6개 모델입니다. 품질 점수는 여러 회사의 채점용 AI가 평가 문제에 대한 답변을 5점 만점으로 평가한 값입니다. 2026년 10월 사내 평가 결과이며 6개 모델 모두 평가 문제가 요구한 답변 형식을 100% 지켰습니다.
| 모델 | 품질 점수(1~5) | 건당 비용(USD) |
|---|---|---|
| claude-sonnet-5 | 4.08 | 0.0442 |
| deepseek-v4.1-flash | 4.01 | 0.0021 |
| gpt-5.6-luna | 3.99 | 0.0026 |
| claude-opus-5-5 | 3.97 | 0.0926 |
| claude-sonnet-5-5 | 3.95 | 0.0460 |
| gemini-3.5-flash-lite | 3.94 | 0.0044 |
서두에서 말한 두 모델이 표의 첫째 줄 claude-sonnet-5와 둘째 줄 deepseek-v4.1-flash입니다. 점수 차이는 0.07점인데 건당 비용은 약 21배 벌어집니다. 분류처럼 단순한 일이라면 21배를 더 내고도 얻는 것이 거의 없는 셈이에요.
일의 종류가 바뀌면 순위도 바뀝니다. 팀이 일을 26가지 업무 유형으로 나눠 비교했더니 1위 모델이 8종으로 갈렸습니다. 같은 일 안에서도 점수가 가장 높은 모델과 가장 낮은 모델은 평균 1.7점, 차이가 가장 큰 일에서는 3.3점까지 벌어졌습니다. 모든 일을 가장 잘하는 모델은 없습니다. 일마다 어떤 모델을 고르느냐가 답변 품질을 크게 좌우합니다.
업무마다 모델을 직접 지정할 수도 있습니다. 모델 ID 접미사와 provider 옵션으로 태스크별 모델을 고르는 요령은 태스크별 모델 선택 전략에서 정리했습니다. 직접 지정하면 원하는 대로 통제하기는 쉽지만 운영 기간이 길어질수록 세 가지 부담이 쌓입니다.
- 근거: 어떤 일에 어떤 모델이 나은지 판단하려면 같은 문제를 여러 모델에 풀게 하고 일일이 채점해야 합니다.
- 갱신: 새 모델이 출시되거나 단가가 바뀔 때마다 업무와 모델을 짝지어 둔 표를 다시 고쳐야 합니다.
- 분기 코드: 요청 종류를 구분하는 조건문이 애플리케이션 코드 곳곳에 늘어납니다.
앞에서 본 자동 선택 기능들은 이 부담을 라우터 쪽으로 옮기려는 시도입니다. 남은 문제는 라우터가 무엇을 근거로 고르느냐입니다. cafe24/auto가 내놓은 답은 업무 유형별 성적표입니다.
cafe24/auto는 업무 유형별 성적표를 보고 모델을 고릅니다
공개 개발 문서는 cafe24/auto의 동작을 "요청마다 모델을 골라 호출합니다"라고 짧게 소개합니다. LLM Router 팀은 이 선택 과정을 더 잘게 나누어 검증했습니다. 아래 설명은 모두 이 검증을 바탕으로 합니다.

응급실의 분류 간호사를 떠올리면 이해하기 쉽습니다. 분류 간호사는 환자를 직접 치료하지 않습니다. 증상을 살펴 어느 진료과로 보낼지만 정하죠. cafe24/auto도 마찬가지로 답변을 직접 쓰지 않고 요청을 살펴 어떤 모델에 맡길지만 결정합니다.
업무 유형은 26가지입니다
업무 유형은 LLM이 주로 하는 일의 종류를 "어떤 일을 시키는가"에 따라 나눈 갈래로, 현재 26개입니다. 정해진 범주로 분류하기, 짧은 글 요약, 대화 기록 요약, 긴 로그 요약, 자료를 근거로 한 답변 작성, 긴 코드 수정, 이미지 속성 추출 등이 여기에 속합니다. 어느 유형에도 맞지 않는 요청은 별도의 유형 하나로 분류합니다.
업무 유형마다 성적표를 만듭니다
성적표는 LLM Router 팀이 준비한 평가 문제를 후보 모델마다 풀게 해서 만듭니다. 업무 유형별로 후보 모델마다 세 가지 항목을 적습니다.
- 품질 점수: 모델이 평가 문제에 낸 답을 1~5점으로 매깁니다. 정확성, 누락 여부, 형식처럼 평가 기준은 업무마다 다릅니다.
- 형식 합격률: JSON이나 정해진 라벨처럼 평가 문제가 요구한 형식을 지킨 비율입니다. 사람이 아니라 프로그램이 자동으로 검사합니다.
- 건당 비용: 평가 문제 하나를 푸는 데 든 비용(USD)입니다.
채점에는 편향을 줄이는 장치를 두었습니다. 후보 모델이 모두 같은 평가 문제를 풀고 나면, 서로 다른 회사가 만든 채점 모델 4개가 어느 모델의 답인지 모르는 상태에서 점수를 매깁니다. 채점 모델이 자기 회사 모델에 후한 점수를 줄 여지를 없애려는 조치입니다. 새 모델이 출시되면 같은 문제를 풀게 한 뒤 성적표에 한 줄을 추가합니다. 성적표가 바뀌면 선택 결과도 자동으로 따라 바뀌므로 사람이 대응표를 다시 만들 필요가 없어요.
요청이 들어오면 업무 유형을 분류합니다
요청이 들어오면 라우터 내부의 판별기가 그 요청의 내용만 보고 업무 유형을 분류한 뒤 해당 유형의 성적표에서 정해진 방식에 따라 모델을 고릅니다. 고르는 순간에는 AI를 따로 호출하지 않습니다. 덕분에 선택이 빠르고, 쓸 수 있는 후보 모델이 같다면 같은 요청에는 언제나 같은 모델이 선택됩니다.
고르는 방식은 세 가지이며 공개 파라미터 routing_mode의 세 값과 하나씩 대응합니다. 예전 이름인 cost_quality_balance도 그대로 받습니다.
| 값 | 고르는 규칙 | 어울리는 일 |
|---|---|---|
| quality | 품질 점수 1위 | 틀리면 손해가 큰 일 |
| balanced(기본값) | 1위와 2% 안 품질 중 최저가 | 대부분의 일 |
| cost | 형식을 지키는 모델 중 최저가 | 양이 많고 단순한 일 |
어느 방식을 쓰든 형식 합격률이 90%에 못 미치는 모델은 저렴한 쪽 후보에서 제외합니다. 앞에서 본 분류 성적표의 6개 모델에 cost가 고르는 모델 하나를 더해 비용과 품질 두 축에 옮겨 보면 세 방식의 차이가 한눈에 들어옵니다. 그림의 7개 모델은 모두 이 기준을 넘습니다.
quality는 가장 위에 있는 claude-sonnet-5를 고릅니다. balanced는 연한 파란 띠, 즉 1위(4.08점)와 품질 차이가 2% 안인 구간에서 가장 왼쪽에 있는 deepseek-v4.1-flash(4.01점)를 고릅니다. 띠 안에서 비용이 가장 낮은 모델입니다. cost는 맨 왼쪽 아래의 mistral-small-3.2-24b(3.73점)를 고릅니다. 품질은 더 낮아도 형식을 지키는 모델 가운데 가장 저렴하기 때문입니다.
성적표로 모델을 고를 때는 다음 원칙도 함께 적용됩니다.
- 요청 내용: 업무 유형 판별은 라우터 내부에서 끝나며 외부 AI를 호출하지 않습니다. 모델을 추천하는 과정에서 요청 본문을 기록하지도 않습니다.
- 후보 범위: 계정에서 허용한 모델 가운데 해당 요청을 처리할 수 있는 모델만 후보가 됩니다. 이미지 입력, 도구 호출, 문맥 길이 같은 조건을 충족하지 못하면 아무리 저렴해도 제외됩니다.
- 실패 대응: 선택한 모델이 응답에 실패하면 성적표의 다음 순위 모델로 넘어갑니다.
- 요금: cafe24/auto를 쓴다고 해서 추가 요금이 붙지는 않습니다. 실제로 답변한 모델의 요금만 청구됩니다.
시장 지출 순위와 성적표는 무엇이 다를까요
요청을 업무 유형으로 나누는 단계까지는 OpenRouter의 새 Auto Router와 같습니다. 두 방식이 갈리는 지점은 순위를 매기는 근거입니다. OpenRouter는 발표문 제목을 「Model Routing Powered by Wisdom of the Market」로 붙였을 만큼, 많은 사람이 비용을 들여 고른 선택을 근거로 삼습니다(8월 10일 발표문 기준).
| 항목 | OpenRouter Auto Router | cafe24/auto 성적표 방식 |
|---|---|---|
| 업무 유형 | 약 30개 | 26개 |
| 순위 근거 | 최근 7일 사용자 지출 비중 | 같은 문제를 푼 채점 결과 |
| 비용 기준 설정 | cost_tier(5단계) | routing_mode(3단계) |
| 새 모델 반영 | 사용자가 쓰기 시작하면 | 평가 문제를 풀리면 |
시장 지출 순위가 더 잘 맞는 경우도 분명히 있습니다. 수많은 팀이 실제 업무에 비용을 들여 고른 결과이므로 평가 문제로는 담기 어려운 쓰임새까지 반영됩니다. 별도의 시험을 만들지 않아도 순위가 매주 자동으로 갱신된다는 점도 장점입니다. 다만 지출이 많다는 사실은 그 모델이 많이 쓰였다는 의미일 뿐, 같은 품질을 가장 낮은 비용으로 낸다는 보장은 아닙니다. 성적표는 품질과 비용을 따로 측정하기 때문에, 앞의 분류 성적표에서처럼 1위와 거의 같은 품질을 21분의 1 비용으로 내는 모델을 찾아낼 수 있습니다. 그 대신 평가 문제가 얼마나 많고 채점이 얼마나 정확한지에 따라 결과가 좌우된다는 약점이 있습니다.
그렇다면 성적표로 고르면 품질과 비용은 실제로 얼마나 달라질까요?
업무마다 고르면 1등 모델 하나로 고정할 때보다 낫습니다
팀은 평가 문제 572개로 모델을 고르는 방식에 따라 평균 품질이 어떻게 달라지는지 측정했습니다.
업무 유형마다 모델을 고른 경우 평균 3.58점으로, 가장 좋은 모델 하나로 고정했을 때의 3.44점을 넘었습니다. 맨 아래의 3.96점은 문제마다 정답 모델을 미리 안다고 가정한 상한으로, 현실에서는 도달할 수 없는 값입니다.
비용까지 함께 놓고 보면 세 방식의 성격이 뚜렷하게 갈립니다. 아래 표는 품질 1위 모델 하나로 모든 요청을 처리한 경우를 100%로 놓고 비교한 결과입니다.
| 방식 | 품질 | 비용 |
|---|---|---|
| quality | 101.1% | 45.9% |
| balanced(기본값) | 98.8% | 20.6% |
| cost | 88% | 세 방식 중 최저 |
quality가 1위 모델을 고정했을 때보다 품질은 높으면서 비용은 절반에도 못 미치는 이유는 앞에서 확인한 그대로입니다. 업무마다 1위가 다르므로 업무별 1위만 모으면 어떤 모델 하나의 성적보다 높아집니다. balanced는 품질을 1.2%포인트만 양보하고 비용을 5분의 1 수준으로 낮췄습니다. 기본값으로 balanced를 택한 이유가 여기에 있어요. cost는 가장 저렴한 대신 품질이 88% 수준으로 떨어져 기본값에서 제외했습니다.
balanced로 설정했을 때 요청이 어느 모델로 향하는지도 눈여겨볼 만합니다. 업무 비중을 기준으로 deepseek-v4.1-flash가 42%를 맡았습니다. 이어서 claude-sonnet-5-5가 20%, claude-opus-5-5가 17%, gpt-5.6-luna가 16%를 처리했습니다. 저렴한 모델이 요청의 절반 가까이를 소화하는 동안에도 어려운 일은 여전히 고가 모델에 배정됩니다.
절감 폭은 서비스가 어떤 일을 얼마나 시키느냐에 따라 달라집니다. 고가 모델이 필요한 일이 많을수록 절감 폭이 커집니다. 처음부터 저렴한 모델로 충분한 일만 있다면 아낄 여지가 거의 없습니다.
평가 문제는 어디까지나 팀이 미리 준비한 시험지입니다. 실제 서비스에서도 같은 결과가 나올까요?
Cafe24 상담 챗봇에서도 답변은 문서에 더 충실해졌습니다
팀은 Cafe24 상담 챗봇에 cafe24/auto를 적용하는 실험을 했습니다. 시스템 프롬프트와 앞선 대화, 검색해 온 문서까지 똑같이 담아 질문마다 두 번씩 호출했습니다. 한 번은 Claude Sonnet 4.6으로, 다른 한 번은 모델 이름 자리에 cafe24/auto만 적어서 요청했습니다.
| 항목 | 내용 |
|---|---|
| 비교 | Sonnet 4.6 고정 vs cafe24/auto |
| 보낸 요청 | 시스템 프롬프트+앞선 대화+검색 문서 |
| 서비스 구성 | 쇼핑몰 계열, 호스팅 |
| 설정 | 모델 이름 외에는 Router 기본값 |
| 채점 | RAGAS 0.4.3, 채점 모델 claude-opus-5-5 |
채점에 쓴 RAGAS는 검색 문서를 근거로 답하는 챗봇(RAG)의 답변을 자동으로 평가하는 도구입니다. 살펴본 지표는 세 가지입니다.
- 근거 일치도(Faithfulness): 답변 문장 가운데 검색 문서로 뒷받침되는 문장의 비율입니다. 0.787이면 답변 문장의 평균 78.7%가 문서로 뒷받침된다는 의미입니다. 문서에 없는 내용을 지어낼수록 낮아집니다.
- 질문 적합도(Answer Relevancy): 답변이 질문의 요지에 맞게 답했는지를 0~1 사이 값으로 나타냅니다.
- 규칙 위반 수: 시스템 프롬프트의 규칙을 몇 개 어겼는지 셉니다. 어느 모델의 답인지 숨긴 채 LLM이 판정했습니다.
| 지표 | Sonnet 4.6 | cafe24/auto |
|---|---|---|
| 근거 일치도 | 0.681 | 0.787 |
| 질문 적합도 | 0.604 | 0.595 |
| 답변당 규칙 위반 | 3.02개 | 2.04개 |
| 평균 응답 시간 | 9.0초 | 6.5초 |
| 1,000건당 비용 | 37,681원 | 1,030원 |
비용은 약 37분의 1로 줄었는데 근거 일치도는 오히려 0.106 올랐습니다. 95% 신뢰구간이 +0.085~+0.127로 구간 전체가 0보다 위에 있으므로, 표본을 다시 뽑더라도 cafe24/auto 쪽이 높게 나올 가능성이 큽니다. 질문 적합도에서는 뚜렷한 차이가 없었습니다. 규칙 위반은 cafe24/auto 쪽이 더 적었고 응답 시간도 더 짧았습니다. 두 모델 모두 모든 질문에 오류 없이 응답했습니다.
질문 하나하나를 짝지어 비교해도 같은 방향의 결과가 나옵니다. 아래는 전체 질문 가운데 어느 쪽 근거 일치도가 높았는지 나타낸 비율입니다. 점수 차가 0.05 이하인 질문은 비슷함으로 셌습니다.
차이의 일부는 답을 미루는 문장에서 나왔습니다
결과를 살피던 팀은 한 가지를 따로 확인했습니다. "고객센터로 문의해 주세요", "확인하기 어렵습니다"처럼 답을 미루는 문장이 Sonnet 4.6 답변에서 cafe24/auto 답변보다 3배 넘게 많이 나왔습니다. 이런 문장은 검색 문서에 없는 말이어서 근거 일치도를 끌어내립니다.
그래서 양쪽 답변 모두에 이런 문장이 없는 질문만 따로 계산해 보았습니다. 차이는 +0.032로 줄었지만 여전히 cafe24/auto가 앞섰습니다. 0.106이라는 차이를 고스란히 "더 정확한 답"으로 해석하기 어려운 이유예요.
서비스별 결과도 엇갈렸습니다. 쇼핑몰 계열 서비스에서는 근거 일치도가 +0.05~+0.19 올랐지만 호스팅 서비스에서는 차이가 없었습니다. 모든 서비스에서 같은 폭의 개선을 기대하기는 어렵습니다.
정리하면 업무마다 맞는 모델이 다르다는 성적표의 결론이 실제 상담 대화에서도 품질은 지키고 비용은 줄이는 결과로 이어졌습니다. 이 비교는 새 선택 방식을 검증하려고 개발 환경의 Router에서 진행했습니다. 사람이 정한 정답 대신 검색 문서와 일치하는지를 기준으로 LLM이 채점했으며 비용은 Router 단가로 계산했습니다. 우리 서비스에서도 같은 결과가 나오는지는 직접 연결해 확인하는 것이 가장 확실합니다.
그래서 cafe24/auto로 연결합니다
cafe24/auto는 모델 ID 하나만 바꾸면 바로 쓸 수 있습니다. 품질과 비용 사이의 기준과 후보 모델의 범위는 공개 파라미터 두 개로 조정하고, 쓴 비용은 metadata와 키별 예산으로 관리합니다. 각 파라미터의 정의는 LLM Router 개발 문서의 Auto Routing 항목에서 확인할 수 있습니다.
시작하기 전에
- Python과 OpenAI SDK: LLM Router는 OpenAI API와 호환되므로 OpenAI 공식 SDK를 그대로 씁니다.
pip install openai로 설치합니다. - API 키: LLM Router 콘솔에서 발급받은 키로,
sk-cafe24-로 시작합니다. 코드에 직접 적지 말고 환경 변수에 저장해 둡니다. - 모델 ID:
cafe24/auto
1단계: 모델 이름만 cafe24/auto로 바꿉니다
아래 코드는 고객 문의 하나를 cafe24/auto로 보낸 뒤 실제로 답한 모델과 답변 내용을 출력합니다.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://llm-router.cafe24.com/api/v1",
api_key=os.environ["CAFE24_LLM_ROUTER_KEY"],
)
resp = client.chat.completions.create(
model="cafe24/auto",
messages=[{"role": "user", "content": "배송 전 주문도 취소할 수 있나요?"}],
)
print(resp.model) # 실제로 답한 모델
print(resp.choices[0].message.content)
base_url: LLM Router의 API 주소입니다. 기존 OpenAI SDK 코드에서는 이 값만 바꾸면 됩니다.model="cafe24/auto": 특정 모델을 지정하는 대신 선택을 라우터에 맡기는 예약 ID입니다.resp.model: 이번 요청을 실제로 처리한 모델 ID가 담깁니다. 응답의extra_fields.resolved_model_used에도 실제 선택된 모델이 기록됩니다. 요청마다 이 값을 로그로 남겨 두면 어떤 업무가 어떤 모델에 배정됐는지 나중에 추적할 수 있습니다.
실행하면 첫 줄에 이번 요청을 맡은 모델 ID가, 다음 줄에 답변이 출력됩니다.
2단계: routing_mode로 기준을 정합니다
routing_mode의 기본값은 balanced입니다. 1단계처럼 아무 값도 넣지 않으면 balanced로 동작합니다. 다른 기준이 필요하면 값을 직접 지정하는데, OpenAI SDK에는 없는 파라미터이므로 extra_body에 담아 보냅니다.
resp = client.chat.completions.create(
model="cafe24/auto",
messages=[{"role": "user", "content": "환불 규정을 근거로 고객 답변을 작성해 주세요."}],
extra_body={"routing_mode": "quality"},
)
quality: 환불이나 결제 안내처럼 답이 틀렸을 때 손실이 큰 요청에 적합합니다.cost: 양이 많고 단순한 분류나 태깅 작업에 어울립니다. 평가에서 품질이 88% 수준까지 떨어졌으므로 결과를 확인하면서 적용 범위를 조금씩 넓히는 편이 안전합니다.- 예전 이름
cost_quality_balance: 이 이름으로 보내던 기존 코드도 그대로 동작합니다. 두 이름을 함께 보내면routing_mode를 따릅니다.
3단계: model_pool로 후보를 좁힙니다
사내 정책상 특정 제공사의 모델만 써야 한다면 model_pool에 와일드카드 패턴을 넣어 후보를 제한합니다.
resp = client.chat.completions.create(
model="cafe24/auto",
messages=[{"role": "user", "content": "지난 대화를 세 줄로 요약해 주세요."}],
extra_body={
"routing_mode": "balanced",
"model_pool": ["anthropic/*", "google/*"],
},
)
- 패턴에 맞는 모델이 하나도 없으면:
400오류(model_pool_no_match)가 반환됩니다. 이때는 패턴의 철자부터 확인합니다. - 매번 넣기 번거롭다면: 콘솔 라우팅 설정의 Auto Router 설정에서 cafe24/auto가 쓸 프로바이더와 모델을 골라 둡니다. 요청에
model_pool이 없을 때 모든 cafe24/auto 호출에 자동으로 적용됩니다. - 적용 범위:
routing_mode,model_pool과 Auto Router 설정은cafe24/auto로 호출할 때만 적용되며 다른 모델 ID로 호출하면 무시됩니다.
4단계: 비용을 팀·에이전트별로 나눠 보고 한도를 겁니다
모델 선택을 라우터에 맡겼다면 어떤 일에 비용이 얼마나 쓰였는지도 따로 볼 수 있어야 합니다. 요청에 metadata를 붙이면 사용량을 팀·프로젝트·에이전트별로 나눠 집계할 수 있습니다.
resp = client.chat.completions.create(
model="cafe24/auto",
messages=[{"role": "user", "content": "배송 전 주문도 취소할 수 있나요?"}],
extra_body={"metadata": {"team": "cs", "agent": "inquiry-classifier"}},
)
쌓인 사용량은 Activity API로 조회합니다. group_by=metadata:team을 붙이면 team 값별로 나뉘어 나옵니다.
curl "https://llm-router.cafe24.com/api/v1/activity?group_by=metadata:team" \
-H "Authorization: Bearer $CAFE24_LLM_ROUTER_KEY"
metadata: 프로바이더에는 전달되지 않고 사용량 기록에만 남습니다.- 조회 범위: LLM 호출용 키로 조회하면 그 키의 사용량만, 콘솔에서 발급한 관리 키로 조회하면 계정 전체 사용량이 나옵니다. 사용량은 90일 동안 조회할 수 있습니다.
usage_krw_micro: 응답에서 실제 청구 근거가 되는 금액입니다. 1,000,000이 1원입니다.- 키별 예산: API 키마다 원화 지출 한도를 매일·매주·매월 단위로 정해 둘 수 있습니다. 한도를 넘는 요청은
429(budget_exceeded_error)로 막힙니다. 에이전트마다 키를 따로 발급하면 에이전트별 지출 상한이 됩니다.
그래서 cafe24/auto에 맡기면 품질이 떨어질까요
처음 던진 의심으로 돌아가 보겠습니다. 라우터가 저렴한 모델로 요청을 보내는 것은 사실입니다. balanced에서는 요청의 42%가 deepseek-v4.1-flash로 갔습니다. 다만 balanced는 1위와 품질 차이가 2% 안인 모델 가운데에서만 저렴한 쪽을 고릅니다. 어려운 일은 여전히 고가 모델의 몫입니다. 그 결과 평가 문제에서는 품질 1위 모델 하나로 고정했을 때 품질의 98.8%를 비용 20.6%로 냈습니다. Cafe24 상담 챗봇 실험에서는 오히려 문서에 더 충실한 답이 나왔습니다. 모든 일에서 1등인 모델은 없으며 같은 품질을 훨씬 낮은 비용으로 내는 모델이 업무마다 따로 있기 때문이에요.
품질과 비용 사이의 기준은 기본값인 balanced에서 시작하면 됩니다. 답이 틀리면 손실이 큰 요청만 quality로 올립니다. 양이 많고 단순한 요청은 결과를 확인한 뒤에 cost를 검토합니다. 무엇보다 가장 믿을 만한 숫자는 우리 서비스의 요청으로 직접 잰 숫자예요. 이 글의 실험도 결국 Cafe24 상담 챗봇에 적용해 측정했으니까요.
- LLM Router 콘솔에서 API 키를 발급받습니다.
- 지금 서비스에서 보내는 요청 수십 건을 골라 기존 모델과
cafe24/auto에 똑같이 보냅니다. - 답변 품질과 비용,
resp.model에 기록된 모델을 나란히 놓고 cafe24/auto로 보낼 요청과routing_mode값을 정합니다.
지금 모델 하나에 모든 요청을 맡기고 있다면 오늘 요청 몇 건으로 cafe24/auto와 비교해 보세요.
LLM Router 시작하기
자주 묻는 질문
cafe24/auto는 무엇인가요?
LLM Router에서 특정 모델 이름 대신 넣는 예약 모델 ID입니다. 이 ID로 요청을 보내면 라우터가 요청의 업무 유형을 판별한 뒤 그 일에 맞는 모델을 골라 대신 호출합니다. 실제로 답한 모델은 응답의 model 값에서 확인할 수 있습니다.
OpenRouter Auto Router와 cafe24/auto는 무엇이 다른가요?
두 라우터 모두 요청을 업무 유형으로 나눈 뒤 모델을 고릅니다. OpenRouter의 새 Auto Router는 최근 7일 동안 사용자들이 그 업무에 쓴 비용의 비중으로 순위를 매깁니다. 반면 이 글에서 소개한 성적표 방식은 후보 모델이 같은 평가 문제를 푼 채점 결과로 순위를 매깁니다.
cafe24/auto를 쓰면 요금은 어떻게 청구되나요?
cafe24/auto 자체에는 요금이 없습니다. 요청에 실제로 답한 모델의 요금만 청구됩니다.
routing_mode는 어떤 값으로 시작하면 되나요?
기본값인 balanced로 시작하면 됩니다. LLM Router 팀의 평가에서 balanced는 품질 1위 모델 하나로 고정했을 때 품질의 98.8%를 비용 20.6%로 냈습니다. 정확도가 중요한 요청만 quality로 올리는 방식을 권합니다.
특정 회사의 모델만 쓰게 할 수 있나요?
요청에 model_pool로 와일드카드 패턴(예: anthropic/*)을 넣으면 후보가 그 패턴에 맞는 모델로 제한됩니다. 매번 넣기 번거롭다면 라우팅 설정의 Auto Router 설정에서 쓸 프로바이더와 모델을 골라 두면 됩니다.
팀이나 에이전트별로 비용을 나눠 볼 수 있나요?
요청에 metadata(예: team, agent)를 붙이고 Activity API에서 group_by=metadata:team처럼 조회하면 값별 사용량과 청구액이 나뉘어 나옵니다. API 키마다 원화 지출 한도를 걸어 초과 사용을 막을 수도 있습니다.