[Spring] Kibana란

Kibana

• Elasticsearch에 색인된 데이터 기반
• 시각화 및 검색 기능 제공
• 무료 오픈 소스
• 실무에서는 로그 플랫폼 용도 사용

Kibana 기능

• 로깅과 로그 분석

• 인프라 메트릭과 컨테이너 모니터링(시스템 관리 모니터링)

• 애플리케이션 성능 모니터링(APM)

• 위치 기반 정보 데이터 분석과 시각화

• 보안 분석

• 비즈니스 분석

• Elastic Stack 인스턴스를 모니터링,관리

 

Kibana의 시각화 기능

• Discover - 데이터 조회, 필터, 분석

• Dashboard - 다양한 그래프를 활용한 시각화

• Canvas - 프리젠테이션 처럼 구성

• Maps - 지도에 위치 기반 데이터 표현

• Graph - 데이터를 관계 지향적으로 시각화

 

 

Discover

• ElasticSearch 에 적재된 데이터를 확인하고 검색하는데에 사용

로깅에 경우 많이 적재할수록 비용이 많이 나가기 때문에, 보통 일주일 정도의 로그만 적재하고 나머지는 삭제한다.

 

1. 필터(Filter)

• 설명: 대시보드에 표시되는 데이터를 제한하기 위한 조건을 설정하는 기능입니다.
• 특징: 특정 필드 값을 기준으로 데이터 조회를 필터링할 수 있습니다.
• 예: "status": "ERROR" 또는 "response_time > 1000ms"와 같은 조건 추가
• 사용법: 필터 추가 버튼을 클릭하여 조건을 선택하고 적용합니다.

 

2. 검색(Search)

• 설명: 원하는 데이터나 로그를 빠르게 찾기 위해 쿼리를 입력하는 기능입니다.
• 특징: Lucene 쿼리 또는 KQL(Kibana Query Language)을 지원합니다.
• 예:
  • response_time:>1000 (Lucene)
  • status : "ERROR" (KQL)
• 사용법: 상단의 검색 창에 키워드를 입력하여 데이터 조회
• 검색된 결과는 검색창아래에 히스토그램 차트와 로그 목록을 보여주고 각각의 로그를 클릭하면 상세하게 볼수 있다.

 

3. 타임피커(Time Picker)

• 설명: 데이터 조회의 시간 범위를 설정하는 UI 요소입니다.
• 특징: 실시간 데이터 모니터링과 특정 시간대 데이터 조회가 가능합니다.
• 예:
  • "Last 15 minutes"
  • "Today"
  • 커스텀 시간 설정
• 사용법: 우측 상단의 시간 범위 선택기를 클릭하여 원하는 범위를 선택

 

4. 시계열 히스토그램(Time Series Histogram)

• 설명: 시간 축에 따라 데이터 분포를 시각적으로 표현하는 그래프입니다.
• 특징: 특정 이벤트나 로그 발생 빈도의 변화 추이를 분석할 때 유용합니다.
• 예:
  • 분 단위 로그 이벤트 수
  • 일별 평균 응답 시간
• 사용법: 대시보드에 해당 시각화 위젯을 추가하여 데이터를 탐색

 

5. 데이터(Data Table)

• 설명: Elasticsearch에서 조회된 데이터를 테이블 형태로 보여줍니다.
• 특징: 원본 데이터에 접근하여 개별 필드 값을 확인할 수 있습니다.
• 예:
  • 로그 메시지 목록
  • 응답 코드별 요청 정보
• 사용법: 데이터 테이블 위젯을 추가하고 필드를 선택하여 조회 결과 확인

 

6. 사이드바(Sidebar)

• 설명: 대시보드의 탐색 및 구성 요소에 접근할 수 있는 메뉴입니다.
• 특징:
  • 시각화 목록, 데이터 원본 관리, 대시보드 탐색 가능
• 사용법: 사이드바에서 "Discover", "Dashboard", "Visualize Library" 등의 항목 선택

 

---

Dashboard

• 다양한 시각화 구성 요소를 모아서 볼 수 있는 기능

 

---

Canvas

• Elasticsearch 데이터를 활용

• 프레젠테이션

• 보고서

• 동적인 인포그래픽 생성

 

---

Maps

• 위치 정보 데이터를 이용한 위치 기반 정보 데이터를 분석

 

Observability

Observability 는 다양한 서비스 또는 연관된 시스템을 실시간으로 모니터링하고 감시하고 분석하고 알림을 보내고 싶을때 사용하는 메뉴이다.

 

---

 

 

 KQL

• Kibana에서 Elasticsearch 데이터를 조회하기 위한 쿼리 언어
• Discover와 Dashboard 탭에서 데이터를 검색할 때 사용됩니다.

 

KQL 연산자 정리

:	비교	값이 일치	status : "ERROR"
!=	비교	값이 일치하지 않음	status != "SUCCESS"
>	비교	값이 초과	response_time > 1000
<	비교	값이 미만	response_time < 500
>=	비교	값이 이상	response_time >= 1000
<=	비교	값이 이하	response_time <= 500
AND	논리	모든 조건이 참	status : "ERROR" AND response_time > 1000
OR	논리	하나 이상의 조건이 참	status : "ERROR" OR status : "WARNING"
NOT	논리	조건이 거짓	NOT status : "SUCCESS"
()	그룹화	조건 그룹화	(status : "ERROR" OR status : "WARNING") AND response_time > 1000
*	와일드카드	0개 이상의 문자와 일치	message : "Timeout*"
?	와일드카드	1개의 문자와 일치	status : "ERRO?"
[ ]	범위	범위 포함	response_time : [500 TO 1000]
{ }	범위	범위 제외	response_time : {500 TO 1000}
exists	존재	필드가 존재	exists : response_time
/pattern/	정규식	정규식 매칭	message : /error.*/
is null	특수	값이 비어 있음	response_time is null
is not null	특수	값이 비어 있지 않음	response_time is not null

 

텍스트 검색

Elasticsearch에서 텍스트 검색을 할 때, 주의할점

1. 키워드, 숫자, 날짜, bool 필드의 쿼리
   • 이 필드들은 구두점 및 대소문자를 포함하여 정확히 일치하는 값을 검색합니다.
   • 예를 들어, status: "200"과 같은 쿼리는 정확히 "200" 값을 가진 문서만 반환합니다.
2. 텍스트 필드
   • Elasticsearch의 매핑 설정에 따라 검색 결과가 달라질 수 있습니다.
   • 텍스트 필드에서 "hello world"와 "Hello World"는 다른 값으로 처리될 수 있습니다.
   • 따라서 대소문자나 구두점에 민감하게 동작할 수 있습니다.
3. 정확한 필터링을 위한 따옴표 사용
   • 정확한 텍스트 필터링을 위해 따옴표("")를 사용하여 검색어를 감싸는 것이 중요합니다.
   • 예를 들어, relatedContent.twitter:title: "Coming Up"과 같이 따옴표로 감싸면 정확한 문구를 검색할 수 있습니다.

 

따옴표 붙이지 않은 결과

 

 

따옴표 붙인 결과

 

 

 

 

참고

https://skillflo.io/classroom/14981/10479/content/60231