𝑆𝑢𝑛𝑠ℎ𝑖𝑛𝑒 𝑎𝑓𝑡𝑒𝑟 𝑟𝑎𝑖𝑛✧

Elasticsearch란?Elasticsearch는 대용량 데이터에서 빠르고 효율적인 검색을 수행할 수 있도록 설계된 오픈 소스 분산 검색 엔진입니다. JSON 문서 기반으로 데이터를 저장하고 검색하며, 역색인(Inverted Index) 방식을 사용해 빠른 검색을 지원합니다. Elasticsearch의 주요 특징전문 검색(Full Text Search)형태소 분석을 통해 텍스트 검색을 최적화하고 동의어 및 유의어 검색을 지원합니다.실시간 검색대량의 데이터를 빠르게 처리 및 검색할 수 있습니다.분산 시스템여러 개의 노드로 클러스터를 구성하여 확장성을 제공합니다.RESTful API 지원GET, POST, DELETE 등의 REST API를 활용하여 데이터를 손쉽게 CRUD(생성, 조회, 수정, 삭제)할..

Docker Compose 파일에 Kibana 설정 추가합니다.version: "3.8"services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.10.0 container_name: elasticsearch platform: linux/arm64 ports: - "9200:9200" environment: - discovery.type=single-node - xpack.security.enabled=false - ES_JAVA_OPTS=-Xms256m -Xmx256m # 256MB로 최소 설정, 프로덕션 환경에서는 재설정 필요 networks: ..

Logback.xml 파일을 활용하여 Logstash를 설정하고, 이를 통해 로그 데이터를 Elasticsearch에 저장하려고 합니다. 이 글에서는 이를 위한 필요한 설정 파일들에 대해 설명하려고 합니다. 1. Docker Compose 설정에 ElasticSearch 및 Logstash 추가docker-compose.ymlservices: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.10.0 container_name: elasticsearch ports: - "9200:9200" environment: - discovery.type=single-node - xpack.s..

로그(Log)시스템이나 애플리케이션에서 발생한 이벤트, 동작, 상태 등을 기록한 정보주로 디버깅, 모니터링, 문제 해결, 성능 분석 등을 목적으로 사용됩니다.로그의 주요 목적디버깅: 시스템에서 발생한 문제를 추적하고, 코드의 흐름을 파악하기 위해 사용.모니터링: 시스템이나 애플리케이션의 상태와 성능을 실시간으로 관찰.에러 추적: 발생한 오류를 기록하고, 문제의 원인을 찾아 수정.성능 분석: 시스템 성능을 분석하여 최적화 및 개선할 수 있는 부분을 찾아냄. 로그 레벨의 주요 종류TRACE설명: 가장 낮은 수준의 로그 레벨입니다. 매우 세밀한 정보를 기록합니다. 주로 코드 실행의 세부 사항, 변수 값, 메서드 호출 등의 정보를 포함합니다.용도: 디버깅할 때 코드 흐름을 추적하기 위해 사용됩니다.예시: 메서드..

멀티쓰레드 활용 시 로그 현상운영 서비스에서 여러 요청이 동시에 들어올 때, 로그가 순서 없이 처리되고 섞여 쌓이는 경우가 발생합니다. 이로 인해 로그 추적이 어려워지고, 문제를 디버깅하는 데 불편함을 초래할 수 있습니다.로그 순서: 요청은 순차적으로 들어오지만, 처리 도중에는 로그가 섞여서 쌓이게 됩니다.쓰레드 정보: 로그는 시간 옆에 쓰레드 정보를 표시하지만, 같은 쓰레드가 여러 번 재사용되기 때문에 특정 요청의 흐름을 추적하기 어렵습니다. 해결 방안이러한 문제를 해결하기 위해 MDC를 사용하여 각 요청에 고유 값을 할당하고, 이를 로그에 출력함으로써 로그를 구체적으로 추적할 수 있습니다.Interceptor, Filter, AOP 등 다양한 방법으로 MDC를 적용할 수 있지만, 본 예제에서는 AOP..

필자는 처음에는 알림 테이블을 구현한후 댓글이 달리면 알림테이블에 데이터로 저장하였고, API가 호출되면 해당 사용자의 알림 데이터를 DB에서 가져오는 방식으로 구현하였다. 하지만 이런 polling 방식은 정해진 주기마다 무조건 서버에 요청을 보내기 때문에 데이터가 없을 때도 트래픽을 발생시키며, 실시간으로 데이터가 업데이트 되지않는다는 단점이 있다. 그래서 필자는 Kafka를 사용하여 알림 이벤트를 비동기적으로 처리하고, Server-Sent Events(SSE)를 통해 클라이언트에 실시간으로 알림을 전달하는 시스템을 구현해볼것이다. 게시판의 글에 댓글이 달리면 알람이 생기고, 서버는 Kafka를 통해 비동기적으로 알람 이벤트를 처리하며, 처리된 알람은 SSE를 통해 실시간으로 클라이언트에 전송하는 ..

인덱스 테이블의 동작 속도를 높여주는 자료 구조 데이터의 위치를 빠르게 찾아준다. 예를 들어, 책의 찾아보기가 있을 때 특정 주제나 단어를 찾기 위해 책의 모든 페이지를 찾아보지 않고, 찾아보기에서 해당 단어를 찾아 바로 해당 페이지로 갈 수 있듯이, 데이터베이스 인덱스도 비슷한 역할을 한다. 인덱스의 장점 & 효과 검색 성능 향상: WHERE 절에서 특정 칼럼을 이용한 조건 검색이 빨라진다. 인덱스가 없으면 데이터베이스 엔진은 테이블 전체를 스캔하여 조건에 맞는 행을 찾아야 한다. 하지만 인덱스가 있다면 인덱스를 사용하여 더 빠르게 검색이 가능하다. 조인 성능 향상: JOIN 절에서 조인할 때 인덱스가 있는 경우, 데이터베이스 엔진은 인덱스를 이용하여 조인을 수행할 수 있다. 이는 두 테이블 간의 매칭..

Scouter Scouter는 오픈 소스 성능 모니터링 툴로, 주로 자바(JAVA) 어플리케이션의 실시간 성능 모니터링 및 문제 진단에 사용된다. 이 툴은 어플리케이션 서버의 성능 지표를 수집하고, 분석하여 성능 저하의 원인을 파악하고 개선할 수 있도록 도와준다. Scouter를 사용하면 CPU 사용량, 메모리 사용량, SQL 쿼리 성능, HTTP 요청 처리 시간 등 다양한 성능 지표를 실시간으로 모니터링할 수 있다. 1. 스카우트 모니터링 TOOL 설치하기 https://github.com/scouter-project/scouter/releases Releases · scouter-project/scouter Scouter is an open source APM (Application Performan..