본문 바로가기

전체 글

(49)
flink(플링크) 사용자 메트릭 생성 예시 Apache Flink에서 사용자 정의 메트릭을 사용하기 위해, 먼저 RichFunction 추상 클래스를 상속하는 커스텀 함수를 정의해야 합니다. 이 클래스들은 getRuntimeContext() 메서드를 통해 런타임 컨텍스트에 접근할 수 있으며, 이를 통해 메트릭 그룹을 가져오고 사용자 정의 메트릭을 등록할 수 있습니다. 다음은 사용자 정의 메트릭을 추가하는 방법에 대한 간단한 예시입니다: 사용자 정의 함수 정의: public class MyRichMapFunction extends RichMapFunction { private transient Counter myCounter; @Override public void open(Configuration parameters) throws Exceptio..
Flink(플링크) getRuntimeContext Apache Flink에서 getRuntimeContext() 메서드는 현재 함수가 실행되고 있는 Runtime Context의 정보에 접근할 수 있게 해주는 메서드입니다. 이 메서드는 RichFunction 인터페이스를 구현한 함수들에서 사용할 수 있습니다. 예를 들어, RichMapFunction, RichFlatMapFunction, RichFilterFunction 등이 이에 해당합니다. getRuntimeContext() 메서드를 통해 다음과 같은 정보에 접근할 수 있습니다: Task Information: getIndexOfThisSubtask(): 현재 서브태스크(subtask)의 인덱스를 반환합니다. getNumberOfParallelSubtasks(): 병렬로 실행되는 서브태스크의 총 수..
Flink(플링크) mayBy maxBy는 Apache Flink의 DataStream API 내에 있는 함수로, 특정 필드에 대해 최대 값을 가진 아이템을 선택하는데 사용됩니다. Flink는 실시간 스트림 처리를 위한 오픈 소스 플랫폼으로, 대용량 데이터 스트림을 처리하는데 적합합니다. maxBy 함수는 필드의 최댓값을 유지하면서 해당 필드를 기준으로 데이터 스트림 내의 요소를 추적합니다. 예를 들어, 어떤 데이터 스트림이 여러 사용자의 클릭 이벤트를 포함하고 있고, 각 이벤트에는 사용자 ID와 클릭 수가 포함되어 있다면, maxBy 함수를 사용하여 가장 많은 클릭을 한 사용자의 이벤트를 식별할 수 있습니다. 아래는 maxBy 함수를 사용하는 간단한 예시입니다: DataStream inputStream = // ... 데이터 스트림..