Log backend 구성

[MoohyunSong]

Callisto system의 Logging backend를 구성합니다.
아래와 같은 내용이 구성되어야 합니다.

• 각각의 Jupyter Node에 대해서 발생되는 Log (Container Log)를 수집

  • Logging Store는 CloudWatch Logs를 사용하는것이 적절해보입니다. (하나의 Log Group, 각 Jupyter Node마다 Log Stream)

• Karpenter에서 발생한 Node Scaling 생성 Log에서 생성된 Instance Type을 추출하여 Log 수집

  • 추후에 Karpenter가 아닌 Custom Scaler가 도입될 수 있으니 적절한 추상화가 필요합니다.

• Logging Solution은 FluentBit를 사용하여 구성합니다.

추가적으로 고려해야할 사항으로는 나중에 Callisto 관련 Resource에 대한 비용관련 Log 등에 대한 내용도 처리할 수 있도록 고민이 필요합니다. (Kubernetes Side와 AWS Side 동시 고려)
-> 비용의 경우에는 Overview page에서 보여집니다.

[TaegeunYou]

FluentBit 배치

• DaemonSet을 통해 각 Node에 FluentBit를 배치하여 로그를 수집합니다.
• FluentBit Pod가 모든 Node에 하나씩 생성되도록 spec 구성합니다.

로그 Tail 및 전송

• /var/log/containers 경로의 로그 파일을 tail하도록 ConfigMap에서 FluentBit의 Input 설정을 정의합니다.
• tail 옵션에서 읽은 로그의 포맷을 명시적으로 설정하여 CloudWatch로 전송될 데이터의 형식을 설정합니다.
• 기본값으로 5초마다 로그를 CloudWatch로 전송하도록 flush 주기를 설정합니다.
• CloudWatch 로그 그룹 및 스트림 이름을 명시합니다. ({namespace}/{pod_name})

로그 접근

• /var/log/containers에 접근할 수 있도록 FluentBit Pod에 hostPath 볼륨 마운트를 진행합니다.

Jupyter 로그 전송

• FluentBit Filter 구성에서 Jupyter 컨테이너 이름을 기준으로 로그를 필터링합니다.
• Match 옵션을 사용하여 Jupyter 관련 로그만 CloudWatch로 전송합니다.

CloudWatch 접근 권한

• AWS IAM Role과 ServiceAccount를 연결하여 FluentBit가 CloudWatch에 쓰기 권한을 갖도록 설정합니다.
• 최소 권한 원칙에 따라 필요한 정책만 부여합니다.
• Kubernetes의 serviceAccount와 FluentBit Pod를 연결합니다.

Karpenter 로그 전송

• Karpenter 관련 로그를 /var/log/containers에서 읽어 CloudWatch로 전송하도록 설정합니다.
• Karpenter 컨테이너 이름을 기준으로 필터링하여 Jupyter와 동일한 방식으로 처리합니다.
• Karpenter 로그 그룹 및 스트림을 명시적으로 설정합니다.