프로젝트
Redrob Console
요약
Indic 언어용 라우팅 텍스트 API 대시보드입니다. Sarvam 등 오픈 모델을 하나의 Redrob API 계약 뒤에 두고, 온보딩·연동·고객별 비용 조정을 담당했습니다. Indic 언어를 라우팅하는 텍스트 API입니다
담당
고객용 대시보드 계약, 온보딩·연동 지원, Indic 라우팅 API의 고객별 비용 조정을 담당했습니다.
목적
인도 엔터프라이즈 고객에게 하나의 라우팅 Indic 텍스트 엔드포인트용 대시보드와 API 키를 제공하고, Nest 뒤에서 Sarvam과 다른 오픈 모델을 교체해도 클라이언트가 영향받지 않게 합니다.
결정
단일 폐쇄 벤더가 아니라 라우팅 Indic 스택을 출시
제품은 Indic-first 텍스트 API입니다. Sarvam 오픈 가중치가 다른 오픈 모델과 나란히 있고, 라우팅이 백엔드를 고르는 동안 고객은 하나의 Redrob API 계약과 rrk_ 키만 유지합니다.
대시보드를 프로덕션 트래픽과 동일하게
Playground 세션과 서버 키는 같은 complete·SSE 스트리밍 경로를 공유합니다. UI와 API가 auth·라우팅에서 갈라지면 모든 데모가 거짓이 됩니다.
스트리밍을 정합성 경계로
SSE와 non-streaming 응답은 같은 키 스코프·라우팅 규칙을 강제해야 했습니다. 라우터를 우회하는 스트림은 조용히 비용·품질 버그를 만듭니다.
과제
라우팅이 더 약한 모델처럼 느껴지면 안 됨
비용 절감은 해당 계정이 신경 쓰는 태스크에서 Indic 품질이 강한 경로에 가까울 때만 성립합니다. 제품은 수동으로 고르는 피커가 아니라 하나의 모델처럼 느껴져야 합니다.
성과
오픈 백엔드로 직접 붙는 Indic 추론
계정이 콘솔에서 라우팅 모델을 직접 써보고 키를 발급받아, 단일 업스트림 벤더에 묶이지 않고 통합할 수 있습니다. 배포 작업에는 고객 믹스에 맞춘 지출 튜닝도 포함됐습니다.
시스템
Redrob Console
Indic 라우팅
API 대시보드
Sarvam 오픈 가중치 모델과 그 밖의 오픈 모델을 하나의 Redrob completion 계약 뒤에서 라우팅하는, Indic 텍스트 스택용 고객 대상 API 대시보드입니다.
키 발급과 completion 요청을 위한 Console 대시보드와 Nest API로 구성되며, Sarvam과 그 밖의 오픈 모델은 라우팅 계층 뒤에 위치합니다
화면
고객 로그인
인도 고객 계정의 로그인 진입점입니다. 내부 운영용 화면이 아니라 외부에 판매되는 제품임을 보여줍니다.
Playground
인도어 지원 기능을 포함한 라우팅 언어 모델을 프로덕션 API 키 발급 전에 미리 사용해볼 수 있습니다. 이 데모는 고객이 이후 호출하게 될 것과 동일한 completion 경로임을 보여주기 위한 것입니다.
Translate
Hindi를 비롯한 인도어 전용 번역 기능입니다. 해당 시장의 언어적 요구 사항이 completion 기능과 나란히 제품에 반영되어 있음을 보여줍니다.
API 키와 complete
로그인, 고객 API 키, complete/stream 엔드포인트를 다루는 API 문서입니다. 비용을 절감하는 라우팅 모델을 클라이언트 엔지니어가 직접 연동할 수 있도록 안내합니다.