A2 · Homeplus · 2024
LLM Gateway
LiteLLM 기반 공통 LLM Gateway를 구축해 분산된 AI 모델 연계 방식을 표준화하고, 인증·접근제어·사용량·보안 정책을 통합 관리하는 사내 AI 플랫폼을 만들었습니다.
Architecture
01 Problem
개별 서비스가 LLM Provider에 직접 연동하는 구조에서는 신규 모델이나 Provider를 도입할 때마다 서비스별 수정이 필요했습니다.
사용자·부서별 접근 권한, API Key, 사용량, 개인정보 보호 정책이 분산되어 있어 일관된 관리가 어려웠고, AI 서비스가 늘어날수록 운영·보안 복잡도가 커질 수 있었습니다.
업무 서비스와 LLM Provider 간 의존성을 분리하고, 모델 접근과 운영 정책을 중앙에서 통제하는 공통 Gateway가 필요했습니다.
02 Role
- LiteLLM 기반 사내 공통 LLM Gateway 아키텍처 설계 및 구축
- LLM Provider 연계 및 모델 호출 인터페이스 표준화
- 사용자·부서별 접근제어 및 사용량 관리 체계 구성
- Custom Handler 기반 API Key 만료 알림 기능 개발
- Python 기반 개인정보 검증 및 차단 Guardrail 개발
- 사용자 및 API Key 관리 기능의 Agent 연계
03 Approach
01Provider 종속성을 줄이는 Gateway 표준화
각 서비스가 Provider에 직접 연결하는 대신 공통 Gateway를 경유하도록 설계했습니다. LiteLLM으로 Provider별 API 차이를 추상화하고, 서비스는 공통 인터페이스로 모델을 호출합니다.
모델 Routing과 Provider 연계를 Gateway 계층에서 담당해, 신규 모델 도입이나 Provider 변경 시 개별 서비스의 수정 범위를 최소화했습니다.
02인증·접근제어·사용량 정책 중앙화
서비스마다 구현하던 인증, 권한, 모델 접근제어, 사용량·할당량 관리를 Gateway 계층으로 통합했습니다.
사용자·부서별로 모델 접근 권한과 사용량을 관리하고, API Key의 유효 상태와 할당량을 검증하는 공통 정책을 적용했습니다.
03Custom Handler 기반 API Key 만료 알림
사용자별 API Key의 만료 상태를 확인하고 안내하는 운영 부담을 줄이기 위해, LiteLLM Custom Handler를 확장해 Key 만료 시 이메일 알림을 발송하도록 구현했습니다.
04개인정보 Guardrail
Prompt에 포함된 개인정보가 Provider로 전달되지 않도록 Python 기반 Pre-request Guardrail Handler를 직접 개발했습니다.
주민등록번호, 이메일 주소 등 개인정보가 탐지된 요청은 모델 호출 전에 차단합니다. Gateway 공통 처리 과정에 적용해 개별 서비스의 별도 구현 없이 동일한 정책을 적용했습니다.
05Agent 기반 운영 관리
사용자 및 API Key 관리 기능 일부를 Agent와 연계해, 운영자가 직접 하던 관리 업무를 자연어 요청으로 처리할 수 있게 했습니다.
04 Stack
- Go
- Python
- LiteLLM
- AWS Bedrock
- ECS
- ECR
- CodePipeline
05 Outcome
- 사내 LLM 활용 환경
- 공통 Gateway로 사내 AI 사용자에게 표준화된 모델 호출 환경 제공
- LLM 연계 표준화
- Provider별 호출 인터페이스를 추상화해 서비스와 Provider 간 결합도 감소
- 운영 정책 중앙화
- 사용자·부서별 모델 접근 권한, API Key, 사용량·할당량을 Gateway에서 관리
- API Key 관리 확장
- Custom Handler로 Key 만료 시 이메일 알림 발송
- 개인정보 보호
- 주민등록번호·이메일 등이 포함된 Prompt를 Provider 호출 전에 검증·차단
- AI 기반 관리
- 사용자·API Key 관리 기능 일부를 Agent와 연계해 자연어로 관리