• 기간 : 2022.11 ~ 2022.11
• 인력: 4명

👩‍🏫소개

Snowflake 기반의 Datalake 구축 및 대시보드 개발

• On-prem RDBMS 데이터를 AWS S3 에 적재 및 Snowflake 데이터 마트를 구성하고, Power BI 를 통해 시각화 하는 일련의 작업에 대한 기능 검증

작업 내용

데이터 이관 (Python, Pyspark, AWS Glue, S3)

• Oracle 데이터 베이스에 있는 데이터를 클라우드 환경에 이관 작업 수행
• 데이터베이스 스키마 및 테이블 구조를 파악하고 Spark의 RDD, DataFrame 등 다양한 API 및 함수를 활용하여 ETL Spark 스크립트 개발해서 원천 Table를 클라우드 환경 기반으로 이 관, 적재하고 스케줄을 맞춰 Workflow 개발하여 데이터 Pipeline 구축
• 데이터에 대한 Crawling 검증