• 기간 : 2021.07 ~ 2021.09
• 인력: 3명

👩‍🏫소개

Databricks 환경으로 Airbnb 숙박 가격 예측

• Delta Live Table 기능을 사용하여 Pyspark 기반으로 다양한 형태로 수집된 데이터를 Table 적재하고 데이터 파이프라인 구축
• Mlops 파이프라인 구축하여 Mlflow 활용해 모델 훈련 및 추적, 하이퍼 파라미터 튜닝, 성능 비교, 모델 등록 및 배포 등 기능 구현

작업 내용

Data Proprecessing Pipeline

• csv, json, parquet 다양한 형태로 수집된 데이터를 하나의 silver 테이블로 적재
• silver 테이블을 sql 및 spark 함수를 사용하여 데이터 cleansing 진행
• 데이터 처리 pipeline 구축

Machine Learning Pipeline

• task1 - 모델 학습용 데이터 Feature Store에 등록
• task2
  • Feature Store에 등록된 데이터를 호출하여 train, validiation, test 나눠 Random Forest, XGBoost, Linear Regression 3가지 알고리즘으로 숙박 가격 baseline 예측 모델 구축
  • 3가지 알고리즘의 baseline 예측 모델 기반으로 GridSearch 방법을 사용하여 하이퍼 파라미터 튜닝하고 최적의 파라미터 확보
• task3 - 3가지 튜닝된 모델을 성능 평가 및 비교 후에 모델 등록 및 배포