[Spring] Docker를 이용한 ElasticSearch, Logstash 설정하기

Logback.xml 파일을 활용하여 Logstash를 설정하고, 이를 통해 로그 데이터를 Elasticsearch에 저장하려고 합니다.

이 글에서는 이를 위한 필요한 설정 파일들에 대해 설명하려고 합니다.

---

 

1. Docker Compose 설정에 ElasticSearch 및 Logstash 추가

docker-compose.yml

services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.10.0
    container_name: elasticsearch
    ports:
      - "9200:9200"
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - ES_JAVA_OPTS=-Xms256m -Xmx256m # 256MB로 최소 설정, 프로덕션 환경에서는 재설정 필요
    networks:
      - elastic-network

  logstash:
    image: docker.elastic.co/logstash/logstash:8.10.0
    container_name: logstash
    ports:
      - "5044:5044"
      - "9600:9600"
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
    networks:
      - elastic-network

1. ElasticSearch 설정
   • image: 사용할 ElasticSearch Docker 이미지를 지정합니다. 여기서는 버전 8.10.0을 사용합니다.
   • container_name: 컨테이너의 이름을 elasticsearch로 지정합니다.
   • ports: 호스트와 컨테이너 간의 포트 매핑을 설정합니다. 9200 포트는 ElasticSearch의 기본 포트로, 외부에서 http://localhost:9200으로 접속하여 ElasticSearch를 사용할 수 있게 됩니다.
   • environment: ElasticSearch의 환경 변수 설정입니다.
     • discovery.type=single-node: 단일 노드 모드로 설정하여 클러스터가 아닌 하나의 노드로 실행합니다.
     • xpack.security.enabled=false: 보안 기능을 비활성화합니다. (개발 환경에서만 권장)
     • ES_JAVA_OPTS=-Xms256m -Xmx256m: ElasticSearch에 할당할 최소 및 최대 메모리를 각각 256MB로 설정합니다.
   • networks: elastic-network라는 네트워크를 사용하여 다른 서비스와 연결합니다.
2. Logstash 설정
   • image: 사용할 Logstash Docker 이미지를 지정합니다. 버전 8.10.0을 사용합니다.
   • container_name: 컨테이너의 이름을 logstash로 설정합니다.
   • ports: 호스트와 컨테이너 간의 포트 매핑을 설정합니다.
     • 5044: Logstash의 기본 입력 포트로, 데이터 수집을 위한 포트입니다.
     • 9600: Logstash의 HTTP API 포트입니다. Logstash 상태를 모니터링하는 데 사용됩니다.
   • volumes: logstash.conf 파일을 컨테이너 내의 /usr/share/logstash/pipeline/logstash.conf로 매핑하여 Logstash가 해당 설정 파일을 사용하도록 합니다.
   • networks: elastic-network 네트워크를 사용하여 ElasticSearch와 연결합니다.

Docker Compose를 사용하여 ElasticSearch와 Logstash를 연결하는 설정입니다. ElasticSearch는 데이터를 저장하고 검색할 수 있는 서비스이며, Logstash는 데이터를 수집하고 처리하는 파이프라인 역할을 합니다.

 

2. Logstash 의존성 추가

    //logstash
    implementation 'net.logstash.logback:logstash-logback-encoder:7.4'

 

3. logstash Appender 추가 (logback.xml)

<?xml version="1.0" encoding="UTF-8" ?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>

    <!-- MDC 값이 없을 때 표시할 기본값 설정 -->
    <property name="DEFAULT_MDC" value="-"/>

    <!-- MDC 기본값 설정을 위한 초기화 -->
    <contextListener class="ch.qos.logback.classic.jul.LevelChangePropagator">
        <resetJUL>true</resetJUL>
    </contextListener>

    <!-- MDC 초기화를 위한 TurboFilter -->
    <turboFilter class="ch.qos.logback.classic.turbo.DuplicateMessageFilter"/>

    <!-- 공통 로그 패턴 정의 -->
    <property name="COMMON_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%.-5level] [%X{request_id:-}] [%X{layer:-}] [%X{api:-}] [%X{error_source:-}] %logger - %msg%n"/>

    <!-- 로그를 어디에 출력할지 정의하는 부분. 여러 종류의 appender를 설정한다. -->

    <!-- Logstash로 전송할 Appender -->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>localhost:5044</destination>
        <encoder class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>

    <!--Console: 콘솔에 로그를 출력합니다. 로그 패턴을 정의하고, utf8 문자셋을 사용하도록 설정합니다. -->
    <appender name="Console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${COMMON_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!-- Root 레벨 설정 -->
    <!-- 애플리케이션의 기본 로그 레벨을 설정합니다. 기본 레벨은 INFO로 설정되어 있으며, Console appender가 연결됩니다.-->
    <root level="INFO">
        <appender-ref ref="Console" />
    </root>

    <!-- Controller 레벨 로깅 설정 -->
    <logger name="com.iruyeon.v1.domain.client.controller" level="INFO" additivity="false">
        <appender-ref ref="Console" />
    </logger>

    <!-- Service 레벨 로깅 설정 -->
    <logger name="com.iruyeon.v1.domain.client.service" level="INFO" additivity="false">
        <appender-ref ref="Console" />
    </logger>

    <!-- Repository 레벨 로깅 설정 -->
    <logger name="com.iruyeon.v1.domain.client.repository" level="INFO" additivity="false">
        <appender-ref ref="Console" />
    </logger>

    <!-- 로컬 환경 설정 -->
    <!-- 로컬 환경에서 로그 레벨을 INFO로 설정하고, Console, LOGSTASH(테스트용) 추가합니다.-->
    <springProfile name="local">
        <root level="INFO">
            <appender-ref ref="Console"/>
            <appender-ref ref="LOGSTASH" /> 
        </root>
    </springProfile>

    <!-- 개발 및 프로덕션 환경 설정 -->
    <!-- 개발 및 프로덕션 환경에서 로그 레벨을 ERROR로 설정합니다 -->
    <springProfile name="dev,prod">
        <root level="ERROR">
            <appender-ref ref="Console"/>
            <appender-ref ref="LOGSTASH" />
        </root>
    </springProfile>

</configuration>

 

4. logstash 실행 설정 파일 (logstash.conf)

logstash.conf 설정파일을 docker-compose.yml 파일과 동일한 디렉토리에 생성합니다.

input {
    tcp {
        port => 5044
        codec => json
    }
}

output {
    elasticsearch {
        hosts => ["http://elasticsearch:9200"]
        index => "application-logs-%{+YYYY.MM.dd}"
    }
}

 

5. docker-compose 파일 실행

docker-compose -f docker-compose.yml up -d

 

6. Elasticsearch에서는 API를 호출하여 Elasticsearch 클러스터에 있는 모든 인덱스의 정보 확인

Elasticsearch에서는 API를 사용하여 클러스터 내의 모든 인덱스의 인덱스 이름, 상태, 샤드 수, 문서 수 등의 정보를 제공합니다.

GET http://localhost:9200/_cat/indices

 

• yellow
  • 인덱스의 상태
  • 'yellow'는 모든 샤드가 복제되지 않았다는 것을 의미합니다. 즉, 인덱스의 주 샤드는 있지만 복제본 샤드가 없는 상태입니다.
  • 'green'은 모든 샤드가 복제본과 함께 정상적으로 작동하는 상태이고, 'red'는 일부 샤드가 손상되었거나 제대로 작동하지 않는 상태입니다.
• open
  • 인덱스가 열린 상태
  • 'open'은 인덱스가 정상적으로 열려 있어 검색이나 데이터를 처리할 수 있다는 의미입니다.
  • 'closed'는 인덱스가 닫혀 있어 데이터를 처리할 수 없다는 상태입니다.
• application-logs-2025.03.30
  • 인덱스의 이름
  • 'application-logs-2025.03.30'이라는 로그 데이터를 저장하는 인덱스가 나타납니다. 인덱스 이름은 보통 날짜나 카테고리로 명명되며, 특정 데이터를 구분하고 관리하기 위해 사용됩니다.
• zgmHCZS5RB6FLLcStFngSg
  • 인덱스를 관리하는 Elasticsearch 노드의 ID
  • 이 값은 해당 인덱스가 어느 노드에 할당되었는지 식별하는 데 사용됩니다.
• 1
  • 인덱스의 primary 샤드 수
  • 여기서는 1개의 primary 샤드가 존재하는 것을 의미합니다. Elasticsearch는 데이터를 분산하여 저장하기 위해 샤드를 사용하며, 샤드는 인덱스를 분할하여 관리하는 기본 단위입니다.
• 1
  • 인덱스의 복제 샤드 수
  • 여기서는 1개의 복제본 샤드가 설정된 상태입니다. 복제본 샤드는 주 샤드의 복사본으로, 장애가 발생했을 때 데이터 손실을 방지합니다.
• 74
  • 인덱스에 저장된 문서의 수
  • 여기서는 74개의 문서가 인덱스에 저장되어 있다는 것을 의미합니다.
• 0
  • 삭제된 문서의 수
  • 현재 삭제된 문서는 없다는 의미입니다.
• 280.8kb
  • 인덱스의 데이터 크기
  • '280.8kb'는 해당 인덱스가 차지하는 디스크 공간을 나타냅니다. 인덱스의 크기는 문서의 수와 데이터의 크기에 따라 달라질 수 있습니다.
• 280.8kb
  • 인덱스의 총 크기
  • 이 값은 데이터와 복제본을 포함한 전체 크기를 나타냅니다. 여기서는 데이터 크기와 복제본이 동일한 크기를 차지하는 상태임을 보여줍니다.

 

7. 특정 인덱스 로그 확인하기

http://localhost:9200/{인덱스 이름}/_search

 

application-logs-2025.03.30 인덱스에서 로그 데이터를 검색하는 것입니다. 검색 결과는 JSON 형식으로 반환됩니다.

 

 

Elasticsearch 검색 결과

{
    "took": 48,
    "timed_out": false,
    "_shards": {
        "total": 1,
        "successful": 1,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": {
            "value": 111,
            "relation": "eq"
        },
        "max_score": 1.0,
        "hits": [
            {
                "_index": "application-logs-2025.03.30",
                "_id": "cB3D5ZUBP2QWHruMGD6R",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.apache.catalina.core.StandardService",
                    "thread_name": "main",
                    "message": "Starting service [Tomcat]",
                    "level_value": 20000,
                    "level": "INFO",
                    "@timestamp": "2025-03-30T06:35:23.024462Z",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "ch3D5ZUBP2QWHruMGD68",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.apache.catalina.core.ContainerBase.[Tomcat].[localhost].[/]",
                    "thread_name": "main",
                    "message": "Initializing Spring embedded WebApplicationContext",
                    "level_value": 20000,
                    "level": "INFO",
                    "@timestamp": "2025-03-30T06:35:23.078337Z",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "cx3D5ZUBP2QWHruMGD7A",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.springframework.boot.web.servlet.context.ServletWebServerApplicationContext",
                    "thread_name": "main",
                    "message": "Root WebApplicationContext: initialization completed in 1935 ms",
                    "level_value": 20000,
                    "level": "INFO",
                    "@timestamp": "2025-03-30T06:35:23.079794Z",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "dB3D5ZUBP2QWHruMGT4H",
                "_score": 1.0,
                "_source": {
                    "logger_name": "com.zaxxer.hikari.HikariDataSource",
                    "api": "-",
                    "message": "HikariPool-1 - Starting...",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.158256Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "dh3D5ZUBP2QWHruMGT7P",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.hibernate.jpa.internal.util.LogHelper",
                    "api": "-",
                    "message": "HHH000204: Processing PersistenceUnitInfo [name: default]",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.357045Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "dx3D5ZUBP2QWHruMGT75",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.hibernate.cache.internal.RegionFactoryInitiator",
                    "api": "-",
                    "message": "HHH000026: Second-level cache disabled",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.395322Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "eR3D5ZUBP2QWHruMGT75",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.hibernate.Version",
                    "api": "-",
                    "message": "HHH000412: Hibernate ORM core version 6.6.8.Final",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.379738Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "eh3D5ZUBP2QWHruMGj6h",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.springframework.orm.jpa.persistenceunit.SpringPersistenceUnitInfo",
                    "api": "-",
                    "message": "No LoadTimeWeaver setup: ignoring JPA class transformer",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.569839Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "ex3D5ZUBP2QWHruMGj7j",
                "_score": 1.0,
                "_source": {
                    "logger_name": "org.hibernate.orm.deprecation",
                    "api": "-",
                    "message": "HHH90000025: MySQLDialect does not need to be specified explicitly using 'hibernate.dialect' (remove the property setting and it will be selected by default)",
                    "level_value": 30000,
                    "level": "WARN",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.625212Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            },
            {
                "_index": "application-logs-2025.03.30",
                "_id": "fB3D5ZUBP2QWHruMGj7q",
                "_score": 1.0,
                "_ignored": [
                    "message.keyword"
                ],
                "_source": {
                    "logger_name": "org.hibernate.orm.connections.pooling",
                    "api": "-",
                    "message": "HHH10001005: Database info:\n\tDatabase JDBC URL [Connecting through datasource 'HikariDataSource (HikariPool-1)']\n\tDatabase driver: undefined/unknown\n\tDatabase version: 8.1\n\tAutocommit mode: undefined/unknown\n\tIsolation level: undefined/unknown\n\tMinimum pool size: undefined/unknown\n\tMaximum pool size: undefined/unknown",
                    "level_value": 20000,
                    "level": "INFO",
                    "layer": "-",
                    "request_id": "-",
                    "@timestamp": "2025-03-30T06:35:23.638567Z",
                    "thread_name": "main",
                    "error_source": "-",
                    "@version": "1"
                }
            }
        ]
    }
}

 

1. 요청 처리 시간

• took: 48ms
• Elasticsearch 쿼리가 처리된 시간입니다. 이 경우 쿼리 실행이 48밀리초 걸렸습니다.

2. 타임아웃 여부

• timed_out: false
• 쿼리가 실행 중 타임아웃되지 않았음을 의미합니다.

3. 샤드 상태

• _shards:
  • total: 1 (총 샤드 수)
  • successful: 1 (성공적으로 실행된 샤드 수)
  • failed: 0 (실패한 샤드 수)
• 쿼리가 하나의 샤드에서 실행되었고 성공적으로 처리되었습니다.

4. 검색된 로그 수

• hits.total.value: 111
• 총 111개의 로그 항목이 검색되었습니다.

5. 로그 항목 예시

• _index: application-logs-2025.03.30 (해당 로그가 저장된 인덱스)
• _id: 각 로그 항목의 고유 ID (예: cB3D5ZUBP2QWHruMGD6R)
• _score: 해당 로그 항목의 관련도 점수 (1.0)
• _source: 로그 항목의 실제 내용:
  • logger_name: 로그를 기록한 클래스나 패키지 이름 (예: org.apache.catalina.core.StandardService)
  • message: 로그 메시지 (예: Starting service [Tomcat])
  • level: 로그의 레벨 (예: INFO, WARN)
  • @timestamp: 로그 발생 시간 (예: 2025-03-30T06:35:23.024462Z)

 

---

 

ElasticSearch head 로 로그 확인하기

Chrome 브라우저에서 Elasticsearch Head 확장 프로그램을 추가합니다. 이 확장 프로그램을 통해 Elasticsearch 클러스터의 상태를 시각적으로 확인하고 관리할 수 있습니다.

 

 

 

 

만약 Elasticsearch가 로컬 호스트가 아닌 특정 서버 IP 주소에서 실행 중이라면, Elasticsearch Head의 왼쪽 상단에 있는 New 버튼을 클릭하여 새로운 서버를 추가합니다. IP 주소와 포트 번호를 입력하여 서버를 연결하면, 해당 서버의 Elasticsearch 인스턴스를 관리하고 로그를 확인할 수 있습니다.

 

 

인덱스 목록 (Browser) 

• Elasticsearch 클러스터와 상호작용하는 웹 기반의 사용자 인터페이스
• 인덱스 목록을 볼 수 있고, 인덱스의 상태, 문서 수, 크기 등 다양한 메타데이터를 확인할 수 있습니다.
• 인덱스를 생성하거나 삭제할 수 있으며, 인덱스의 매핑(mapping) 및 설정(settings)을 수정할 수도 있습니다.

 

쿼리 실행 (Query Execution)

• REST API를 기반으로 하는 쿼리 실행 기능도 제공합니다. Elasticsearch의 쿼리 DSL을 사용하여, 데이터를 필터링하거나 집계할 수 있는 복잡한 쿼리를 작성하고 실행할 수 있습니다.
• 기본적인 GET, POST, PUT, DELETE 요청을 지원하여, 데이터를 추가하거나 업데이트하고 삭제할 수 있습니다.

 

 

 

[참고]

https://inf.run/qfoUB

개발자에게 필요한 로그 관리 강의 | 이준형(Foo) - 인프런