• 기간 : 2023.04 ~ 2023.04
• 인력: 3명

👩‍🏫소개

Databricks 메달리안 아키텍처로 최적화

• 데이터 추출 속도가 느림 및 집계된 데이터로는 상세 분석을 못하고 있는 불편함으로 Databricks 메달리안 아키텍처로 최적화 작업

작업 내용

아키텍처 분석 (Databricks)

• 고객 제공해준 현재 사용하는 스크립트를 분석하여 데이터 모델링 흐름을 파악하여 ERD 작성
• Spark Dataframe과 Table를 혼용하고 다층 함수 호출로 인해 데이터 처리 속도가 느림으로 Spark 함수로 처리한 function을 SQL 사용하여 재 구성