3) Inno Quartz Job

23.06.19

 

 - ETL을 하는 작업 프로그램 Inno Quartz

 - DB to DB / API to DB / API to API 등 다양하게 데이터의 전송이 가능한 프로그램

 - JAVA 기반 Open Source로 만들어진 프로그

 - 수많은 Components를 활용해 Data Platform의 ETL 작업을 수행

 - 정제되지 않은 Source Data를 필요한 형태로 변환하여 DW에 적재하는 작업

 

 

---

 

1. DB to DB

 - DB input Components 를 tMap Components로 DBOutPut에 맞는 형태로 변환하여 적재 하는 방식

 

2. API to DB

 - RestClient Components로 오픈 API Data를 DBOutPut 형태에 맞춰서 변환하여 적재하는 방식

 

 

3. API to DB(2)

 - RestClient Components로 오픈 API Data를 DBOutPut 형태에 맞춰서 변환하여 적재하는 방식

 - 여기서는 tJavaFlow Components를 추가로 사용하여 반복하는 형태(공공 API는 보통 한번에 받을 수 있는 Data의 양이 제한되어 있는 경우가 많음. 1000~9999 사이로 사이트마다 다양함 / 이 경우 루프를 돌려 전체 데이터를 다 받도록 함)

 

---

 - 기본적으로 위 3가지의 형태로 ETL 작업을 처리함

 - DB 연결 및 스키마 재설정을 해줘야하긴 하지만, 연동해놓으면 쉽게 불러올 수 있음

 - 공공 데이터에서 제공되는 형태로 받을 수도 있고, Xml 혹은 Json으로 변경해서 적재도 가능