개발ETC/pentaho pdi kettle4 펜타호(Pentaho) 스푼(Spoon) 오픈소스 ETL(Extract, Transform, Load) 툴(tool) 다운로드 및 설치 작동 방법까지 오늘은 펜타호(Pentaho) 오픈소스 ETL 툴을 다운로드해보려고 합니다. 보통 ETL 툴 하면 인포메티카(Informatica), IBM 데이터스테이지(Datastage) 이렇게 2개를 많이 쓰는 걸로 알고 있습니다. 하지만 저는 눈칫밥을 먹는 사람이라 높은 직책을 가지신 분이 펜타호(Pentaho)에 대해 테스트해보라 하셔서..... 시작하게 됐습니다!! 여전히 데이터가 많은 기업에서는 ETL 툴을 사용하고 있습니다. 데이터 받고 내리는데 진짜 빠르니깐요... 데이터마트나 데이터웨어하우스를 만드는데 유용합니다. 처음 ETL 툴을 만질 때 얼마나 식은땀이 나던지 데이터 잘못될까봐 항상 긴장하게 됩니다. 다운로드 및 설치 방법 그리고 작동 방법에 들어가기에 앞서 ETL에 대한 개념을 간단하게.. 개발ETC/pentaho pdi kettle 2023. 4. 12. [kettle pentaho] pdi proflie 파라미터 환경변수 별 실행 문제상황 1. 서버 환경 (dev, qa, prd ) 에 따라 파라미터를 변경하여, 케틀동작시에 다른 값을 전달하고 싶은 상황 2. 웹서버의 profile을 구현하고 싶음 해결방안 우선 내가 직접적으로 해결한게 아니고, 기존 동료가 만들어둔걸로 해결 1. 쉘 명령어로, 해당 서버의 환경변수를 가져온다 ( 환경변수에 dev, qa, prd 존재 ) #!/bin/bash # Check an environment case "$(echo ${env} | tr "A-Z" "a-z")" in prd) echo "Set for RELEASE" ENV="release" ;; qa) echo "Set for QA" ENV="qa" ;; dev) echo "Set for DEV" ENV="dev" ;; *) echo "S.. 개발ETC/pentaho pdi kettle 2023. 4. 11. [kettle pentaho] 환경변수별 파라미터 전달, 파라미터로 동적인 값 설정, 비교 validator 문제상황 1. 서버 환경 (dev, qa, prd ) 에 따라 파라미터를 변경하여, 케틀동작시에 다른 값을 전달하고 싶은 상황 2. 웹서버의 profile을 구현하고 싶음 해결방안 우선 내가 직접적으로 해결한게 아니고, 기존 동료가 만들어둔걸로 해결 1. 쉘 명령어로, 해당 서버의 환경변수를 가져온다 ( 환경변수에 dev, qa, prd 존재 ) #!/bin/bash # Check an environment case "$(echo ${env} | tr "A-Z" "a-z")" in prd) echo "Set for RELEASE" ENV="release" ;; dev) echo "Set for DEV" ENV="dev" ;; *) echo "Set for local" ENV="local" esac # G.. 개발ETC/pentaho pdi kettle 2023. 3. 31. [PDI_kettle] penataho ETL툴, join , 디폴트값 , 값 변경, 동작 대기; 조인방법은 두가지가 있음 1. 각각 출력후 merge 2. database join 으로 한단계씩 조인 1번 방법은 정렬을 필수로 해줘야한다. 2번은 키로 바로 join 하는 형식이다. 1번에서 2번으로 사용을 변경했다. (현 시스템에서는 1번으로 다들 사용하고 있는데, 2번을 왜 안쓰는지 모르겠다 .. 추측으로는 다른 DB를 join해서 그런거라고 추측 ) 아래는 join 관련된 유튜브 https://www.youtube.com/watch?v=FUjjQb9xMx8&t=83s 디폴트 값을 추가하기 위해 add constant 사용했음 https://help.hitachivantara.com/Documentation/Pentaho/8.2/Products/Data_Integration/Transformati.. 개발ETC/pentaho pdi kettle 2023. 3. 30. 이전 1 다음
