Melo의 코딩 Life

23.06.19 - ETL을 하는 작업 프로그램 Inno Quartz - DB to DB / API to DB / API to API 등 다양하게 데이터의 전송이 가능한 프로그램 - JAVA 기반 Open Source로 만들어진 프로그 - 수많은 Components를 활용해 Data Platform의 ETL 작업을 수행 - 정제되지 않은 Source Data를 필요한 형태로 변환하여 DW에 적재하는 작업 1. DB to DB - DB input Components 를 tMap Components로 DBOutPut에 맞는 형태로 변환하여 적재 하는 방식 2. API to DB - RestClient Components로 오픈 API Data를 DBOutPut 형태에 맞춰서 변환하여 적재하는 방식 3. AP..

Today's Study/ETL 2023. 6. 19. 16:57

23.06.15 - 데이터 플랫폼 관련 업무 내용 정리 - ETL(Extract / Transform / Load) 파트를 담당 - Inno Quartz 프로그램을 사용해 작업 진행 1. ETL - Extract / Transform / Load 를 각각 의미 - 소스 데이터를 저장소에 맞게 추출하여, 사용자 요구 및 용도에 맞춰서 변형 한 후 최종 적으로 데이터가 사용될 저장소에 적재하는 것을 의미 - Inno Quartz 프로그램을 사용해서 ETL 작업을 진행 2. DP(Data Platform) - Data Plaform 이란 다양한 소스에 있는 데이터를 수집, 체계화하고, 활성화하여 사용가능한 형태로 변경하는 플랫폼 - 이번 프로젝트에서는 사용자 정보(회원가입, 주문, 결제 등등)을 수집, 체계화..

Today's Study/ETL 2023. 6. 15. 18:19