개발ETC/pentaho pdi kettle

[PDI_kettle] penataho ETL툴, join , 디폴트값 , 값 변경, 동작 대기;

벨포트조던 2023. 3. 30.
반응형

조인방법은 두가지가 있음 

1. 각각 출력후 merge

2. database join 으로 한단계씩 조인 

 

1번 방법은 정렬을 필수로 해줘야한다.

 

2번은 키로 바로 join 하는 형식이다. 1번에서 2번으로 사용을 변경했다.  

(현 시스템에서는 1번으로 다들 사용하고 있는데, 2번을 왜 안쓰는지 모르겠다 .. 추측으로는 다른 DB를 join해서 그런거라고 추측 )

 

아래는 join 관련된 유튜브

https://www.youtube.com/watch?v=FUjjQb9xMx8&t=83s 

 

 

 

디폴트 값을 추가하기 위해 add constant  사용했음 

https://help.hitachivantara.com/Documentation/Pentaho/8.2/Products/Data_Integration/Transformation_Step_Reference/Set_Field_Value_Constant

 

값 변경을 위한 .. Replace_In_String

아래 문서로는 해결을 못했다.

 

문제 

KR 이 들어가면 Y, 아니면 N을 넣어줘야하는 상황인데, KR을 Y로 변경이 쉽지 않았음

 

해결

filter로 분기치고 

자바스크립트로 수정해서 강제로 변경

 

 

https://help.hitachivantara.com/Documentation/Pentaho/8.2/Products/Data_Integration/Transformation_Step_Reference/Replace_In_String

 

Replace In String

 

help.hitachivantara.com

 

 

Block this step until steps finish

block this step until steps finish 

- 다른 동작이 끝날때까지 기다렸다가, 끝나면 실행한다.

 

https://pentaho-public.atlassian.net/wiki/spaces/EAI/pages/386799999/Block+this+step+until+steps+finish

 

 

요약 

- 처음 케틀 썼을떄는 7버전이었는데, 현재는 9버전이다. 버전 업이 계속되고, 사용자가 많지 않아서, 공식문서 위주로 검색하는게 검색에 효율적이다. 

- 정석적인 방법을 찾기보다는 ... 결과만 해결되는 방향으로 진행하자. 방법은 여러가지지만.. 굳이 이 툴을 최적화 할 필요까진 없을것같다. 차라리 DB를 튜닝하는게 나을걸 ?? 

 

 

 

반응형

댓글