alert 환경 구성 가이드

1. pre-requisites

1.1 contact-point에 연결할 네이밍 컨벤션이 맞춰진 slack 채널과 webhook URL을 보유하고 있는가?

1.2 alert 을 분류할 folder가 생성되어 있는가?

naming convention : cluster resources - dev-node-compute-resources project ( namespace resources ) - dev-projectName-compute-resources

2. contact point 생성

New contact point 클릭

contact point type -> slack 선택

1. contact point type -> slack 선택

2. name

   1. slack channel 이름

3. webhook URL

   1. contact point 추가에 필요한 사전 작업 가이드 에서 생성한 webhook URL 입력

   2. Test 버튼 클릭 후 해당 채널에 알림 왔는 지 테스트

   3. Optional Slack settings

      1. Mention Channel

         1. Every channel member

            1. 채널 알림 메시지에 @channel 멘션 추가 됨

      2. Disable resolved message

         1. alert rule 조건이 firing → normal status가 되었을 때 resolved 되었다는 메시지가 오지 않음

4. Save contact point 버튼 누르고 생성

---

3. [optional] 시간대 별 알림이 필요한 경우

Notification policies → New mute timing 클릭

• Time range 제외한 값들은 사진과 값을 모두 같게하고

• Time range 값에 원하는 시간대를 UTC 기준으로 넣은 후 생성

---

4. Notification Policy 생성

Notification policies → New policy 클릭

• + Add matcher 클릭

  종류	Label	Value
  cluster resource	cluster	dev
  project resource	project	project name

• Contact point

  • 2. contact point 생성 한 것 선택 ( 선택한 슬랙 채널로 alert-rule 발동 시 알림 전송 )

• Overide general timings

  • Group wait

    • 30s

  • Group interval

    • 1m

  • Repeat interval

    • 1m

• Mute timing

  • 3. [optional] 시간대 별 알림이 필요한 경우 여기서 생성한 것을 적용하고 싶다면, 선택

---

5. alert rule 생성

Alerting → New alert rule 선택

1. cluster resource 또는 project resource 모니터할 건 지 고르기

2. Query 작성

• project resource query

query	cpu	memory	disk
A-query	sum(rate(container_cpu_usage_seconds_total{namespace="your-namespace”}[5m])) by (namespace)	sum(avg_over_time(container_memory_working_set_bytes{namespace="your-namespace"}[10m])) / (1024^3)	필요없음
B-expression	WHEN → 정해야 함 IS ABOBE → 임계치 값 정해야 함	WHEN → 정해야 함 IS ABOBE → 임계치 값 정해야 함

• cluster resource query

query	cpu	memory	disk
A-query	(1 - (avg(irate({name=~"node_cpu_seconds_total|windows_cpu_time_total",mode="idle"}[5m])))) * 100	(1 - sum({name="node_memory_MemAvailable_bytes|windows_os_physical_memory_free_bytes"}) / sum({name="node_memory_MemTotal_bytes|windows_cs_physical_memory_bytes"})) * 100	(1 - (((sum(node_filesystem_free_bytes{device!"rootfs|HarddiskVolume.+"}) OR on() vector(0)) + (sum(windows_logical_disk_free_bytes{volume!"(HarddiskVolume.+|[A-Z]:.+)"}) OR on() vector(0))) / ((sum(node_filesystem_size_bytes{device!"rootfs|HarddiskVolume.+"}) OR on() vector(0)) + (sum(windows_logical_disk_size_bytes{volume!"(HarddiskVolume.+|[A-Z]:.+)"}) OR on() vector(0))))) * 100
B-expression	WHEN → max() IS ABOBE → 65	WHEN → max() IS ABOBE → 70	WHEN → max() IS ABOBE → 70

3. Alert evaluation behaivor 작성

   1. e.g 1m for 2m

      1. 1분마다 rule 작동 + 2분간 지속 시 알림

1. alert detail 설정

   1. Rule name

      1. cpu

         1. name : cpu-max-warning-alert-rule

      2. memory

         1. memory-max-warning-alert-rule

      3. disk

         1. disk-max-warning-alert-rule

   2. Folder

      1. 분류하기 위해 초반에 생성한 또는 이미 존재하는 folder 선택

   3. Group

      1. cluster

         1. dev-node

      2. project인 경우

         1. project name

   4. summary

      1. 각자 설명 추가

   5. (중요) Custom Labels

      1. 공통

         1. severity = warning

      2. 프로젝트 분류 위한 label 추가 ( 4. Notification policy 생성 할 때 add matcher 에 넣은 값을 같이 넣어줘야 해당 채널로 알림이 전송됨 )

         1. cluster resource 인 경우

            1. cluster = dev

         2. project resource 인 경우

            1. project = projectName

   6. Save 클릭하여 생성