[Spring] MDC 로깅 & Logback 설정

멀티쓰레드 활용 시 로그 현상

운영 서비스에서 여러 요청이 동시에 들어올 때, 로그가 순서 없이 처리되고 섞여 쌓이는 경우가 발생합니다. 이로 인해 로그 추적이 어려워지고, 문제를 디버깅하는 데 불편함을 초래할 수 있습니다.

• 로그 순서: 요청은 순차적으로 들어오지만, 처리 도중에는 로그가 섞여서 쌓이게 됩니다.
• 쓰레드 정보: 로그는 시간 옆에 쓰레드 정보를 표시하지만, 같은 쓰레드가 여러 번 재사용되기 때문에 특정 요청의 흐름을 추적하기 어렵습니다.

 

해결 방안

이러한 문제를 해결하기 위해 MDC를 사용하여 각 요청에 고유 값을 할당하고, 이를 로그에 출력함으로써 로그를 구체적으로 추적할 수 있습니다.

Interceptor, Filter, AOP 등 다양한 방법으로 MDC를 적용할 수 있지만, 본 예제에서는 AOP를 사용하여 MDC를 적용하는 방법을 설명합니다.

---

MDC (Mapped Diagnostic Context)

MDC는 Key-Value 기반의 저장소를 제공하여, 클라이언트별 특징적인 데이터를 저장할 수 있는 로깅 메커니즘입니다. 각 쓰레드별로 독립적인 맥락(Context) 정보를 유지하여, 특정 요청이나 사용자와 관련된 로그를 쉽게 필터링하고 출력할 수 있습니다. 이를 통해 디버깅과 분석을 용이하게 할 수 있습니다.

• 로깅 프레임워크: SLF4J, Logback, Log4j2 등에서 제공
• ThreadContext에 의존하여, 쓰레드마다 독립적인 정보를 저장
• 추적성 향상: HTTP 요청 ID, 사용자 ID 등 특정 정보를 로그와 함께 출력

 

MDC의 활용

MDC는 특정 요청이나 트랜잭션에 대한 정보(예: 사용자 ID, 세션 ID, 요청 ID 등)를 로그에 포함시키는 데 사용됩니다. 여러 쓰레드에서 실행되는 로그를 추적할 때 각 쓰레드마다 별도로 데이터를 저장할 수 있기 때문에, 멀티 쓰레딩 환경에서 유용합니다. 예를 들어, 웹 애플리케이션에서는 각 HTTP 요청에 대해 고유한 requestId를 생성하고, 이를 MDC에 저장하여 모든 로그 메시지에 requestId를 함께 출력할 수 있습니다.

 

MDC의 장점

1. 각 쓰레드에 대한 고유 정보 추적: 여러 쓰레드에서 실행되는 요청을 추적할 수 있어 멀티 쓰레딩 환경에서 유용합니다.
2. 디버깅 및 문제 분석 용이: 추가적인 정보를 로그에 포함시켜 문제를 빠르게 추적할 수 있습니다.
3. 유연한 설정: 특정 로깅 정보를 손쉽게 추가하고, 환경에 따라 변경할 수 있습니다.

 

MDC  주요 메소드

MDC 클래스는 내부의 Map에서 key와 value를 조작하는 다양한 메소드를 제공합니다.

• get(String key): 주어진 key와 연관된 value(데이터)를 반환
• put(String key, Object value): 주어진 key와 연관된 value(데이터)를 저장
• remove(String key): 주어진 key와 연관된 value(데이터)를 삭제
• clear(): MDC에 저장된 모든 항목을 삭제

 

기본값 설정 (DEFAULT_MDC)

MDC 값이 없을 때 출력할 기본값을 설정하는 것은 중요한 설정입니다. 로그를 기록할 때 특정 MDC 값이 없으면, 그것이 누락된 상태로 로그를 남기기 때문에, 이를 처리하는 방법을 정의할 필요가 있습니다. 설정된 기본값은 로그 메시지에서 해당 MDC 값이 없을 경우 표시됩니다.

 

<property name="DEFAULT_MDC" value="-"/>

 

DEFAULT_MDC: MDC 값이 없을 때 표시될 기본값을 정의하는 프로퍼티입니다. 예를 들어, request_id나 user_id와 같은 필수 정보를 로깅해야 하지만, 만약 그 값이 없을 경우에는 -를 기본값으로 설정하여 로그가 빈 값 없이 출력되도록 합니다.

• 이 기본값은 로그에서 해당 MDC 정보가 누락되었을 때 빈 자리가 아닌 -와 같은 지정된 문자열로 채워지게 됩니다. 이를 통해 로그의 일관성을 유지할 수 있고, 누락된 정보를 쉽게 식별할 수 있습니다.

 

<?xml version="1.0" encoding="UTF-8"?>
<configuration>

    <!-- 기본 MDC 값 설정 -->
    <property name="DEFAULT_MDC" value="-"/>

    <!-- 공통 로그 패턴 -->
    <property name="COMMON_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%.-5level] [%X{request_id:-${DEFAULT_MDC}}] [%X{layer:-${DEFAULT_MDC}}] [%X{api:-${DEFAULT_MDC}}] [%X{error_source:-${DEFAULT_MDC}}] %logger - %msg%n"/>

    <!-- Spring Property 값 가져오기 -->
    <springProperty name="LOG_GROUP_NAME" source="logging.cloudwatch.log-group"/>
    <springProperty name="AWS_REGION" source="logging.cloudwatch.region"/>

    <!-- AWS CloudWatch로 로그 전송 -->
    <appender name="AWS_LOGS" class="ca.pjer.logback.AwsLogsAppender">
        <layout>
            <pattern>${COMMON_PATTERN}</pattern>
        </layout>
        <logGroupName>${LOG_GROUP_NAME}</logGroupName>
        <logStreamUuidPrefix>spring-boot-app-</logStreamUuidPrefix>
        <logRegion>${AWS_REGION}</logRegion>
        <maxBatchLogEvents>50</maxBatchLogEvents>
        <maxFlushTimeMillis>30000</maxFlushTimeMillis>
        <maxBlockTimeMillis>5000</maxBlockTimeMillis>
        <retentionTimeDays>7</retentionTimeDays> <!-- 로그 보관 기간 -->
    </appender>

    <!-- Console 로그 출력 -->
    <appender name="Console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>${COMMON_PATTERN}</pattern>
            <charset>utf8</charset>
        </encoder>
    </appender>

    <!-- 비동기 처리 -->
    <appender name="ASYNC_AWS_LOGS" class="ch.qos.logback.classic.AsyncAppender">
        <appender-ref ref="AWS_LOGS"/>
    </appender>

    <!-- 로컬 환경: Console만 사용 -->
    <springProfile name="local">
        <root level="INFO">
            <appender-ref ref="Console"/>
        </root>
    </springProfile>

    <!-- 개발 및 프로덕션 환경: AWS CloudWatch + Console -->
    <springProfile name="dev,prod">
        <root level="ERROR">
            <appender-ref ref="ASYNC_AWS_LOGS"/>
            <appender-ref ref="Console"/>
        </root>
    </springProfile>

</configuration>

1. AWS CloudWatch로 로그 전송 (AWS_LOGS)
   • logGroupName : CloudWatch 로그 그룹 이름
   • logRegion : AWS 리전
   • retentionTimeDays=7 : 7일간 로그 보관
2. Console 로그 출력
   • 모든 환경에서 Console에도 로그를 출력
3. Discord 알림 (DISCORD)
   • ERROR 레벨 로그는 Discord Webhook을 통해 알림 전송
4. 비동기 처리
   • CloudWatch (ASYNC_AWS_LOGS)와 Discord (ASYNC_DISCORD) 로그 전송을 비동기로 처리하여 성능 최적화
5. Spring Profile 적용
   • local → Console만 사용
   • dev, prod → CloudWatch + Console
   • ERROR 로그 → Discord로 전송

 

[참고]

https://dev-jwblog.tistory.com/126

[Java] MDC 를 사용한 로그(Log)추적하기

 

https://0soo.tistory.com/246

Logback + MDC를 이용한 request 로깅