• 기간 : 2023.10 ~ 2023.11
• 인력: 3명

👩‍🏫소개

AWS Comprehend, Bedrock Titan 사용한 고객 불만 리뷰 다중 카테고리 분류 모델 구축

• Amazon Comprehend 활용한 리뷰 데이터 분류 모델 개발 및 성능 검증
• Amazon Bedrock Titan의 LLM 모델을 활용한 리뷰 데이터 성능 검증

작업 내용

모델 구축 (Python)

Comprehend

• 불만 리뷰에 대한 기본 전처리 (결측값, 중복, 다중 라벨 작업) 및 추가 전처리 (emoji to text, Spell Check) 수행
• Comprehend 출력된 카테고리 Score 기반으로 Threshold Value ([0.5,0.6,0.7,0.8,0.85]) 지정하여 예측 카테고리 찾아 실제 라벨과 비교하여 성능 측정
• SKlearn MultiLabelBinarizer를 활용하여 성능 평가하여 두개 모델의 성능 비교하여 추가 전처리 후 모델 성능이 향상 시키는 것으로 확인됨

Bedrock Titan

• Titan 모델 활용하여 리뷰 카테고리 판정
• Prompt Engineering 수행
  • 버전1 : 기본 Prompt + 카테고리 가로형 리스트
  • 버전2: 기본 Prompt + 카테고리 세로형 리스트
  • 버전3: 버전1 + 카테고리 별 설명
  • 버전4: 버전2 + 카테고리 별 설명
  • 버전5: 버전4 + 카테고리별 키워드
• LLM모델 통해 얻은 결과를 파싱하여 카테고리 값만 출력
• 5개 모델의 성능 비교하여 버전5 성능이 제일 좋은 것으로 확인