A5 · Homeplus · 2024
Product Name Correction
상품명 보정 ML 모델
관리자의 과거 상품명 보정 이력으로 한국어 T5 모델(PAUST pko-t5)을 Fine-tuning하고, 관리자 검증을 거쳐 수동 승인에서 자동 적용으로 단계적으로 업무를 자동화했습니다.
pko-t5
PAUST 한국어 사전학습 모델
Manual → Auto
승인 절차 생략, 자동 적용 전환
FastAPI
추론 API로 관리자 시스템 연계
01 Problem
판매자마다 다른 상품명 표현, 오탈자, 비정형 문구 때문에 관리자가 상품명을 반복적으로 검수·수정해야 했습니다.
Rule 기반 보정은 정의된 패턴에만 대응해, 새 유형이 생길 때마다 규칙을 추가·관리해야 했습니다.
관리자가 과거에 수정한 이력을 학습 데이터로 삼아 사전학습 언어모델을 Fine-tuning하면 반복 업무를 자동화할 수 있다고 판단했습니다.
02 Role
- 기존 상품명 및 관리자 보정 이력 기반 학습 데이터셋 구성
- Hugging Face에 공개된 한국어 사전학습 T5 모델 선정 및 Fine-tuning
- Polars 기반 데이터 전처리 및 정제
- PyTorch 및 AWS SageMaker 기반 학습 환경 구성
- FastAPI 기반 상품명 보정 추론 API 구현
- 관리자 검증을 통한 단계적 업무 자동화 및 시스템 연계
03 Approach
01보정 이력을 지도학습 데이터로
원본 상품명을 Input, 관리자가 보정한 상품명을 Target으로 하는 데이터셋을 구성하고 Polars로 정제했습니다.
02PAUST pko-t5 Fine-tuning
Hugging Face의 PAUST pko-t5를 상품명 보정 작업에 맞게 Fine-tuning했습니다. 학습은 AWS SageMaker에서 수행했습니다.
03현업 검증을 통한 단계적 자동화
처음에는 모델이 만든 상품명을 관리자가 검토·승인한 뒤 적용했습니다. 반복 검토로 결과의 정상 처리 여부를 확인한 뒤, 승인 절차를 생략한 자동 적용 방식으로 전환했습니다.
04추론 API 기반 관리자 시스템 연계
FastAPI 기반의 추론 API를 만들어, 관리자 시스템이 상품명을 전달하면 보정 결과를 돌려받도록 했습니다. 학습·추론 영역을 분리해 모델 변경이나 재학습이 업무 시스템에 영향을 주지 않게 했습니다.
04 Architecture
관리자 보정 이력
Polars
Input / Target
pko-t5
Fine-tuning
SageMaker
FastAPI
Inference
관리자 시스템
자동 적용
05 Stack
- Python
- PyTorch
- Hugging Face Transformers
- PAUST pko-t5
- Polars
- FastAPI
- AWS SageMaker
06 Outcome
- 상품명 보정 모델
- 관리자 수정 이력을 지도학습 데이터로 구성해 pko-t5 Fine-tuning
- Rule 기반 한계 보완
- 다양한 비정형 상품명과 오탈자에 대응하는 ML 보정 기능
- 현업 검증 기반 자동화
- 수동 승인 방식에서 자동 적용 방식으로 전환
- 반복 업무 자동화
- 관리자 시스템 연계로 수작업 검수·수정 부담 감소
- ML 서비스 연계
- FastAPI 기반 추론 API로 학습·추론 영역과 업무 시스템 분리