토큰허브팀_소프트웨어 엔지니어

주요업무

• 사내 여러 팀이 표준 API 하나로 다양한 LLM을 쓸 수 있게 하는 중앙 LLM 게이트웨이 설계·개발·운영
• 채팅·이미지·음성·문서 등 멀티모달 API와 SSE 스트리밍 응답 개발
• 주체별 API 키 인증·권한, 예산·사용량 관리, 감사 로그 등 LLM 사용을 통제하는 플랫폼 기능 개발
• 시맨틱 캐시·프롬프트 캐싱·대화 이력 압축 등 토큰 사용량을 줄이는 LLM 비용 최적화 기능 설계·개발
• 캐시 적중률·절감 토큰 등 비용 지표를 설계하고, 응답 품질을 지키면서 절감 효과를 실험으로 검증
• 개인정보(PII) 탐지·마스킹, 프롬프트 보안 등 LLM 안전장치 구축 및 고도화

자격요건

• 3년 이상의 백엔드 개발 경력을 보유하신 분
• Python(FastAPI 등)으로 비동기(asyncio) API 서버를 설계하고 운영해 보신 분
• PostgreSQL·Redis를 활용해 서비스를 설계하고 운영해 보신 분
• OpenAI API 등 LLM API를 서비스에 연동해 보신 분
• Docker·Kubernetes 환경에서 서비스를 배포하고 운영해 보신 분
• 테스트 코드 작성과 코드 리뷰를 개발의 기본으로 여기시는 분

우대사항

• LLM 게이트웨이·프록시를 구축하거나 운영해 보신 분
• AI Agent 기반 서비스를 개발·배포·운영해 보신 분
• 임베딩·벡터 검색 기반 기능이나 시맨틱 캐시를 개발해 보신 분
• Langfuse 등 LLM 관측·프롬프트 관리 도구를 다뤄 보신 분
• 개인정보 마스킹, 프롬프트 인젝션 방어 등 LLM 가드레일을 구현해 보신 분
• AWS(Bedrock, RDS 등)와 Argo CD 등 GitOps 기반 배포 환경에 익숙하신 분
• 온라인