• 기간 : 2021.09 ~ 2022.06
• 인력: 10명 이상

👩‍🏫소개

SK 6개 개열사 데이터 분석 및 디지털 대시보드 통합 Platform 구축

• DIP 는 크게 Use/ Consume Layer Service, Infra로 구분되며 데이터 플랫폼을 사용하는 User/서비스를 기준으로 디저털 대시보드, 비즈니스 인텔리전스, 데이터 포털로 구분함
• 데이터를 기반으로 현업의 업무를 지원하거나 문제 해결에 활용할 수 있도록 정형/ 비정형 리포트 서비스 제공

작업 내용

데이터 이관 (AWS Glue, S3, Lambda, Redshift, Python, SQL)

개발

• Pandas 및 Json 등 패키지를 사용하여 다양한 형태(csv, xml, json, parquet)로 수집 된 데이터를 가공 및 변환하여 S3에 저장
• Glue 스크립트 개발하여 S3에 있는 데이터를 Redshift로 Copy하고 SQL 사용하여 데이터를 처리, 변환 후 DW 만들고 스케줄 맞춰 데이터 자동화할 수 있는 Workflow구축

운영

• 데이터 수집 Workflow 모니터링 및 대시보드 모니터링
• DM 구축하는데 데이터 적합하지 않은 부분을 SQL 쿼리 수정

사용자 관리 및 운영 (Tableau, Redshift, SQL)

• Tableau 사용하여 권한, 사용량, 각 Dashboard 접근 현황 등의 데이터를 대시보드 만들고 사용자의 일,주,월의 활동 현황을 화면으로 통해 직관적으로 확인
• 장기 비활성 사용자를 발견하여 계정 관리를 통해 비용을 절감했으며, 사용자가 관심을 두는 분야 등 Insight 도출하여 플랫폼 운영 및 개선에 대한 명확한 방향 제시