[REVIEW] JVM 밑바닥까지 파헤치기 - 2. 자바 메모리 영역과 메모리 오버플로

c, c++의 객체는 각각의 '소유권' 뿐만 아니라 객체의 일생을 탄생부터 죽음까지 관리할 책임이 있다. 자바 개발자는 가상 머신이 제공하는 자동 메모리 관리 메커니즘 덕에 메모리 할당과 해제를 짝지어 코딩하지 않아도 메모리 누수나 오버플로 문제를 거의 겪지 않는다. 하지만 통제권을 위임했기 때문에 문제가 한번 터지만 가상 머신의 메모리 관리 방식을 이해하지 못하는 한 해결하기가 상당이 어렵다.

 

---

 

자바 머신이 관리하는 다양한 메모리 영역

 

런타임 데이터 영역

자바 가상 머신은 자바 프로그램을 실행하는 동안 필요한 메모리를 몇 개의 데이터 영역으로 나눠 관리한다. 이 영역들은 각각 목적과 생성/삭제 시점이 있다. 어떤 영역은 가상 머신 프로세스의 시작과 동시에 만들어지며 어떤 영역은 사용자 스레드의 시작/종료에 맞춰 생성/삭제된다. 

자바 가상 머신 런타임 데이터 영역

 

프로그램 카운터

• 작은 메모리 영역
• 현재 실행 중인 스레드의 바이트코드 줄 번호 표시기
  • 바이트코드 인터프리터는 이 카운터의 값을 바꿔 다음에 실행할 바이트코드 명령어를 선택하는 식으로 동작한다.
  • 프로그램의 제어 흐름, 분기, 순환, 점프 등을 표현하는것
  • 예외 처리나 스레드 복원 같은 모든 기본 기능이 바로 이 표시기를 활용해 이루어진다.
• 스레드 프라이빗 메모리
  • 자바 가상 머신에서의 멀티스레딩은 CPU 코어를 여러 스레드가 교대로 사용하는 방식으로 구현되기 때문에 특정 시각에 각 코어는 한 스레드의 명령어만 실행하게 된다. 따라서 스레드 전환 후 이전에 실행하다 멈춘 지점을 정확하게 복원하려면 스레드 각각에는 고유한 프로그램 카운터가 필요하고 이 각 스레드의 카운터는 서로 영향을 주지 않는 독립된 영역에 저장된다. 이 영역을 스레드 프라이빗 메모리라 한다.
• 스레드가 자바 메서드를 실행하면 실행 중인 바이트코드 명령의 주소가 프로그램 카운터에 기록되지만 네이티브 메서드를 실행하면 프로그램 카운터는 Undefined이다.

 

자바 가상 머신 스택

프로그램 카운터처럼 자바 가상 머신 스택도 '스레드 프라이빗' 하며, 연결된 스레가 생성/삭제가 되면 같이 생성/삭제가 된다. 

각 메서드가 호출될 떄마다 자바 가상 머신은 스택 프레임을 만들어 지역 변수 테이블, 피연산자 스택, 동적 링크, 메서드 반환값 등의 정보를 저장한다. 그런 다음 스택 프레임을 가상 머신 스택에 푸시(push) 하고, 메서드가 끝나면 팝(pop) 하는 일을 반복한다.

 

스택

스택은 보통 자바 가상 머신 스택을 가리키는데, 그 중 특히 지역 변수 테이블을 가리킬 때가 많다.

지역 변수 테이블에는 자바 가상 머신이 컴파일타임에 알수 있는 다양한 기본 데이터 타입(boolean, byte, char, short, int, float, long, double), 객체 참조, 반환 주소 타입을 저장한다. 지역 변수 테이블에서 이 데이터 타입들을 저장하는 공간을 지역 변수 슬롯이라 한다. 지역 변수 테이블을 구성하는데 필요한 데이터 공간은 컴파일 과정에서 할당한다. 자바 메서드는 스택 프레임에서 지역 변수용으로 할당받아야 할 공간의 크키가 이미 완벽하게 결정되어 있다. '크기'는 변수 슬롯 개수이다. 가상 머신이 변수 슬롯을 구현하는데 사용하는 메모리의 실제 크기는 가상 머신을 어떻게 구현하느냐에 달라진다. 만약 스레드가 요청한 스택 깊이가 가상 머신이 허용하는 깊이보다 크다면 StackOverFlowError 를 던진다. 또한 스택 용량을 동적으로 확장할 수 있는 자바 가상 머신에서는 스택을 확장하려는 시점에 여유 메모리가 충분하지 않다면 OutofMemoryError를 던진다.

 

네이티브 메서드 스택

네이티브 메서드 스택은 가상 머신 스택과 매우 비슷한 역할을 하며, 차이점은 가상 머신 스택은 자바 메서드(바이트 코드)를 실행할때 사용하고, 네이티브 메서드 스택은 네이티브 메서드를 실행할 때 사용한다.

네이티브 메서드
Java 언어가 아닌 다른 언어(주로 C, C++)로 구현된 메서드를 호출하기 위해 사용되는 메서드다.네이티브 메서드는 Java 프로그램이 운영체제나 하드웨어와 직접 소통하거나 외부의 네이티브 코드(C/C++)로 작성된 라이브러리를 사용할 때 주로 사용된다. Java가 기본적으로 플랫폼 독립적인 언어이지만, 특정 플랫폼이나 하드웨어에 의존적인 기능이 필요할 때 네이티브 메서드를 통해 다른 언어로 작성된 기능을 활용할 수 있다.

 

 

자바 힙

• 자바 애플리케이션이 사용할 수 있는 가장 큰 메모리
• 자바 힙은 모든 스레드가 공유하며 가상 머신이 구동될 때 만들어진다.
• 이 메모리 영역의 유일한 목적은 객체 인스턴스를 저장하는것이다.
• 자바 힙은 가비지 컬렉터가 관리하는 메모리 영역이기 때문에 다른말로는 GC 힙이라고도 한다. 

메모리 할당 관점에서는 자바 힙은 모든 스레드가 공유한다. 객체 할당 효율을 높이기 위해 스레드 로컬 할당 버퍼 여러개로 나눈다. 하지만 데이터가 자바 힙에 저장되는 사실은 변하지 않는다. 어떤 세부 영역이든 객체의 인스턴스만 저장할 수 있다. 자바 힙을 다시 작게 구분하는 목적은 오직 메모리 회수와 할당을 더 빠르게 하기 위함이다. <자바 가상 머신 명세> 에 따르면 자바 힙은 논리적으로 연속되어야 한다. 자바 힙은 크기를 고정할수도 있고, 확장할수도 있다. 새로운 인스턴스에 할당해 줄 힙 공간이 부족하고 힙을 확장할 수 없다면 OutOfMemoryError를 던진다.

 

메서드 영역

메서드 영역의 주 역할은 타입 관련 정보(클래스 이름, 접근 제한자, 상수 풀, 필드 설명, 메서드 설명) 저장이다.

메서드 영역도 자바 힙처럼 모든 스레드가 공유한다. 메서드 영역은 가상 머신이 읽어 들인 타입 정보, 상수, 정적 변수, JIT 컴파일러가 컴파일한 코드 캐시등을 저장하는데 이용한다. <자바 가상 머신 명세> 에서는 메서드 영역도 논리적으로는 힙의 한 부분으로 기술하지만, 자바 힙과 구분하기 위해 '논힙(non-heap)'이라 한다.

<자바 가상 머신 명세>는 메서드 영역에 제약을 거의 두지 않았다. 자바 힙과 마찬가지로 연속될 필요가 없으며, 크기를 고정할 수도 있고, 확장 가능하게 만들수도 있다. 메서드 영역에서 회수할 대상은 거의 대부분 상수 풀과 타입이라서 회수 효과가 상대적으로 매우 작다. <자바 가상 머신 명세>에 따르면 메서드 영역이 꽉 차서 필요한 만큼 메모리를 할당할 수 없다면 OutOfMemoryError를 던진다.

 

가장 많이 사용되는 가상 머신인 핫스팟과 대표적인 메모리 영역인 자바 힙에 대해 알아보자.
아래 내용은 핫스팟이 관리하는 자바 힙에서 객체가 생성(할당)되는 과정, 메모리 레이아웃, 그리고 객체에 접근하는 방식까지 전체 흐름에 대한 설명입니다.

 

객체 생성

자바는 객체 지향 프로그래밍 언어다. 언어 수준에서는 객체 생성은 보통 new 키워드를 쓰면 되지만, 자바 가상머신이 new 명령에 해당하는 바이트코드를 만나면, 이 명령의 매개 변수가 상수 풀안의 클래스를 가리키는 심벌 참조인지 확인한다. 그런 다음 이 심벌 참조가 뜻하는 클래스가 로딩, 해석(resolve), 초기화(initialize) 되었는지 확인한다. 준비되지 않은 클래스라면 로딩부터 해야한다. 로딩이 완료된 클래스라면 새 객체를 담을 메모미를 할당한다. 객체에 필요한 메모리 크기는 클래스를 로딩하고 나면 완벽하게 알수 있다. 객체용 메모리 공간 할당은 자바 힙에서 특정 크기의 메모리 블록을 잘라 주는 일이다. 자바 힙이 규칙적이라고 가정하면, 사용중인 메모리는 모두 한쪽에, 여유 메모리는 반대편에 자리하며, 포인터가 두 영역의 경계인 가운데 지점을 가리키게 될것이다. 이 상태에서 메모리를 할당하면 포인터를 여유 공간 쪽으로, 정확히 객체 크기만큼 이동시키게 된다. 이러한 할당 방식을 포인터 밀치기 라고 한다.

포인터 밀치기

 

하지만 자바 힙은 규칙적이지 않아, 사용중인 메모리와 여유 메모리가 뒤섞여 있어서 포인터를 밀쳐 내기가 간단하지 않다. 그 대신 가상 머신은 가용 메모리 블록들을 목록으로 따로 관리하며, 객체 인스턴스를 담기에 충분한 공간을 찾아 할당한 후 목록을 갱신한다. 이 할당 방식을 여유 목록(free list)라고 한다.

 

어떤 방식을 쓸건지는 자바 힙이 규칙적이냐 아니냐에 따라서 달라지며, 자바 힙이 규칙적이냐는 사용하는 가비지 컬렉터가 컴팩트를 할 수 있느냐에 따라 달렸다. 따라서 시리얼과 파뉴처럼 모으기가 가능한 컬렉터를 사용하는 시스템이라면 단순하고 효율적인 포인터 밀치기 방식의 할당 알고리즘을 채택하고, 이론상의 CMS처럼 스윕 알고리즘을 적용한 컬렉터를 쓰는 시스템은 더 복잡한 여유 목록 방식을 채택할 것이다. 

 

가용 공간을 어떻게 나눌지 외에도 가상 머신에서 객체 생성은 빈번히 일어나고, 멀티스레딩 환경에서는 여유 메모리의 시작 포인터 위치를 수정하는 단순한 일도 스레드 안전하지 않기 때문에 여러 스레드가 동시에 객체를 생성하려고 할 때 문제가 생길 가능성이 있다. 예를 들어 한 스레드가 요청한 객체A를 위해 메모리를 할당하는 과정에서, 포인터의 값을 아직 수정하기 전에 다른 스레드가 객체 B용 메모리를 요청할수 있다. 

 

해법

1. 메모리 할당을 동기화하는 방법이다. 실제로 비교 및 교환(CAS) 과 실패시 재시도 방식의 가상 머신은 갱신을 원자적으로 수행한다. 

2. 스레드마다 다른 메모리 공간을 할당하는 방법이다. 스레드 각각이 자바 힙 내에 작은 크기의 전용 메모리를 미리 할당받아 놓는것이다. 이런 메모리를 스레드 로컬 할당 버퍼(TLAB) 라고 한다. 각 스레드는 로컬 버퍼에서 메모리를 할당받아 사용하다가 버퍼가 부족해지면 그때 동기화를 해 새로운 버퍼를 할당받는 식이다. 가상 머신이 스레드 로컬 할당 버퍼를 사용할지는 -XX:+/-UseTLAB 매개 변수로 설정한다.

 

메모리 할당이 끝났으면 가상머신은 할당받은 공간을 0으로 초기화한다.(객체 해더는 제외). 스레드 로컬 할당 버퍼를 사용한다면 초기화는 TLAB 할당시 미리 수행한다. 자바 코드에서 객체의 인스턴스 필드를 초기화하지 않고도 사용할수 있는 이유이다. 모든 필드가 자연스럽게 각 데이터 타입에 해당하는 0값을 담고 있게 되는것이다.

다음, 자바 가상 머신은 '각 객체에 필요한 설정'을 해준다. (어느 클래스의 인스턴스인지, 클래스의 메타 정보는 어떻게 찾는지, 이 객체의 해시코드는 무엇인지) 이런 정보가 각 객체의 객체 헤더에 저장된다. 객체 헤더를 설정하는 방법은 가상 머신의 현재 구동 모드(편향 락 활성화 여부 등)에 따라 달라질수 있다.

 

객체 해더
- 객체가 메모리에 저장될 때 포함되는 메타데이터(Metadata)
- 객체의 상태와 동작을 관리하기 위해 JVM이 사용하는 필수 정보가 들어가 있다.

객체 헤더가 중요한 이유
- GC(가비지 컬렉션) 관리: 객체가 메모리에서 언제 해제되어야 하는지를 JVM이 추적하는 데 필요한 정보를 제공
- 동기화 지원: 객체가 멀티스레드 환경에서 안전하게 동작하도록 락(lock) 상태를 관리
- 메모리 최적화: JVM은 객체 헤더를 통해 메모리 배치와 관리에 대한 최적화를 수행

 

 

일반적으로 new 명령어와 생성자(클래스의 <init>() 메서드)까지 실행되어 객체를 개발자의 의도대로 초기화해야 사용 가능한 진짜 객체가 완성된다.

 

자바 컴파일러는 자바의 new 키워드를 발견하면 바이트코드 명령어인 new 와 invokespecial로 변환한다. invokespecial 바이트코드는 자바 바이트코드 명령어 중 하나로, 특정 메서드를 호출할 때 사용되며, 주로 생성자 호출, 부모 클래스 메서드 호출, private 메서드 호출에 사용된다. new 는 앞서 이야기한 메로리 할당 단계를 수행하며 invokespecial은 방금 이야기한 <init>() 메서드 호출을 담당한다. 하지만 자바 코드에서 new 가 아닌 다른 방식으로 객체를 생성한 경우라면 invokespecial이 연이어 나오지 않을수도 있다.

 

 

객체의 메모리 레이아웃

핫스팟 가상 머신은 객체를 객체 헤더, 인스턴스 데이터, 길이 맞추기용 정렬 패딩으로 나누어 힙에 저장한다. 

객체 헤더

핫스팟 가상 머신은 객체 헤더의 두 가지 정보를 담는다.

1. 객체의 런타임 데이터 

• 마크 워드: 객체 자체의 런타임 데이터(해시 코드, GC 세대 나이, 락 정보 등). 객체는 아주 많은 런타임 데이터를 필요로 해서, 마크워드의 데이터 구조는 동적으로 의미가 달라진다. 작은 공간에 많은 정보를 담고 객체 상태에 따라 공간 재활용할 수 있게 하기 위해서다.
• 클래스 워드: 객체의 클래스 관련 메타데이터를 가리키는 클래스 포인터가 저장된다. 자바 가상머신은 이 포인터를 통해 특정 객체가 어느 클래스의 인스턴지인지 런타임에 알수 있다. 객체의 메타데이터 정보를 반드시 객체 자체에서 찾아야 하는건 아니기 때문에, 모든 가상 머신 구현이 클래스 포인터를 객체 헤더에 저장하지는 않는다.
• 배열 길이: 자바 가상 머신은 객체 헤더의 메타데이터로부터 자바 객체의 크기를 얻는다. 하지만 객체 헤더에 저장되는 객체 타입은 배열에 담긴 '원소' 타입이다. 따라서 원소 개수를 알아야 배열 객체가 차지하는 메모리 크기를 계산할수 있다.
• 인스턴스 데이터: 객체가 실제로 담고 있는 정보(상속 관계, 필드 등). 정보 저장의 순서는 가상 머신의 할당 전략 매개 변수(-XX:FieldsAllocationStyle) 와 자바 소스 코드에서 필드를 정의한 순서에 따라 달라진다. 핫스팟 가상 머신은 기본적으로 long&double, int, short&char, byte&boolean, 일반 객체 포인터 순으로 할당한다. 즉 기본 할당 전략에서는 길이가 같은 필드들은 항상 같이 할당되고 저장된다. 
• 정렬 패딩: 필요없는 역할이다. 핫스팟 가상 머신의 자동 메모리 관리 시스템에서 객체의 시작 주소는 반드시 8바이트의 정수여야 하므로, 인스턴스 데이터가 조건을 충족하지 못하는 경우에만 패딩으로 채운다.

 

객체에 접근하기

대다수 객체는 다른 개체 여러 개를 조합해 만들어진다. 그리고 자바 프로그램은 스택에 있는 참조 데이터를 통해 힙에 들어 있는 객체들에 접근해 이를 조작한다. <자바 가상 머신 명세> 는 참조 타입을 단지 '객체를 가리키는 참조'라고 할뿐, 힙에서 객체의 정확한 위치를 알아내어 접근하는 방법은 규정하지 않아, 주로 핸들이나 다이렉트 포인터를 사용해 구현하여 객체에 접근한다.

• 핸들 방식 : 자바 힙에 핸들 저장용 풀이 별도로 존재. 참조에는 객체의 핸들 주소가 저장, 핸들에는 해당 객체의 인스턴스 데이터, 타입 데이터, 구조 등 정확한 주소 정보가 담긴다.
  • 장점 : 참조에 안정적인 핸들의 주소가 저장된다는 것이다. 가비지 컬렉션 과정에서 객체가 이동하는 일은 흔하다. 하지만 핸들을 이용하면 이렇게 객체의 위치가 바뀌는 상황에서도 참조 자체는 변하지 않으며, 핸들 내의 인스턴스 데이터 포인터만 변경하면 된다.
• 다이렉트 포인트 방식: 자바 힙에 위치한 객체에서 인스턴스 데이터와 타입 데이터에 접근하는 길로 제공한다. 스택의 참조에는 객체의 실제 주소가 바로 저장되어 있다. 핫스팟은 주로 다이렉트 포인터 방식을 이용한다. 
  • 장점: 핸들을 경유하는 오버헤드가 없기때문에 속도가 빠르다. 자바에서는 다른 객체에 접근할 일이 아주 많아 이 오버헤드도 실행 시간에 영향을 크게 줄 수 있다.

오버 헤드
특정 기능을 수행하는데 드는 간접적인 시간, 메모리 등 자원을 말한다.

 

 

자바 힙 오버플로

자바 힙은 객체 인스턴스를 저장하는 공간이다. 객체를 계속 생성하고 그 객체들에 접근할 경로가 살아 있다면 언젠가는 힙의 최대 용량을 넘어서면 메모리가 오버플로된다. 최소 크기는 -Xms 매개 변수로, 최대 크기는 -Xmx 매개 변수로 설정한다. -XX:+HeapDumpOnOutOfMemeoryError 매개 변수를 설정하면 메모리가 오버플로됐을 때 가상 머신이 예외 발생 시점의 힙 메모리 스냅숏을 파일로 저장(dump) 한다. 실제로 자바 애플리케이션에서 OutOfMemoryError가 가장 많이 발생하는 영역이 자바 힙 이다.

 

메모리 문제를 해결하는 일반적인 방법은 메모리 이미지 분석 도구로 힙 덤프 스냅숏을 분석해 보는 것이다. 첫번째 방법은 오버플로를 일으킨 객체가 꼭 필요한 객체인가'를 확인한다. 메모리 누수인지, 오버플로인지 확인한다. 필요없는 객체가 원인이라면 메모리 누수다.

메모리 누수가 원인이라면 메모리 분석기로 힙 덤프 스냅숏 파일을 열어 도구를 이용해 객체로부터 GC 루트까지의 참조 사슬을 살펴본다. 누수된 객체까지 어떤 참조 경로가 존재하고, 어느 GC 루트와 연결되어 있기에 가비지 컬렉터가 회수하지 못했는지 찾아본다.  누수된 객체의 타입 정보와 GC 루트까지의 참조 사슬 정보를 보면 대부분 해당 객체가 만들어진 위치를 더 정확하게 알수 있어, 메모리 누수를 일으키는 코드의 정확한 위치를 찾을 수 있다.

 

메모리 누수가 아닌, 메모리에 존재하는 모든 객체가 다 살아 있어야 한다면, 먼저 자바 가상 머신의 힙 매개 변수 설정(-Xmx와 -Xms) 과 컴퓨터의 가용 메모리를 비교하여 가상 머신에 메모리를 더 많이 할당할 수 있는지 알아본다. 다음, 코드에서 수명 주기가 너무 길거나 상태를 너무 오래 유지하는 객체는 없는지, 공간 낭비가 심한 데이터 구조를 쓰고 있지는 않은지 살펴 프로그램이 런타임에 소비하는 메모리를 최소로 낮춘다.

 

 

가상 머신 스택과 네이티브 메서드 스택 오버플로

 

핫스팟 가상 머신은 가상 머신 스택과 네이티브 메서드 스택을 구분하지 않는다. 스택 크기는 오직 -Xss 매개 변수로만 변경할 수 있다. <자바 가상 머신 명세>에는 가상 머신 스택과 네이티브 메서드 스택에서의 발생하는 두가지 예외를 명세한다.

1. 스레드가 요구하는 스택 깊이가 가상 머신이 허용하는 최대 깊이보다 크면 StackOverflowError를 던진다.
2. 가상 머신이 스택 메모리를 동적으로 확장하는 기능을 지원하나, 가용 메모리가 부족해 스택을 더 확장할 수 없다면 OutOfMemoryError를 던진다.

핫스팟 가상 머신은 확장을 지원하지 않는다. 따라서 스레드를 생성할 때 메모리가 부족하여 OutOfMemoryError가 나는 경우를 제외하고는 스레드 실행 중에 가상 머신 스택이 넘치는 일은 없다. 즉 스택 용량이 부족하여 새로운 스택 프레임을 담을 수 없을 때만 StackOverflowError가 발생한다.

 

자바 가상 머신 버전과 운영 체제에 따라, 특히 운영 체제의 메모리 페이지 크기에 따라 최소 스택 크기에 제한이 있다.

 

스레드 수를 줄일 수 없는 상황에서 과도한 스레드 생성으로 인해 메모리 오버플로가 발생하면, 이를 해결할 수 있는 유일한 방법은 최대 힙 크기와 스택 크기를 줄이는 것이다.

 

 

메서드 영역과 런타임 상수 풀 오버플로

런타임 상수 풀이 오버플로되면 출력 메시지에서 "OutOfMemoryError" 다음에 PermGen space" 라고 나온다. 이를 통해서 런타임 상수 풀이 메서드 영역의 한 부분임을 알수 있다. 메서드 영역의 오버플로도 흔히 발생하는 메모리 오버플로 예외다. 

 

 

네이티브 다이렉트 메모리 오버플로

네이티브 메모리(native memory)**를 다룰 때 발생하는 문제

 

해결하는 방법은 다이렉트 메모리 용량은 -XX:MaxDirectMemorySize 매개변수로 설정한다. 기본 설정값은 -Xmx로 설정한 자바 힙의 최댓값이다.

 

 

 

참고

 

https://product.kyobobook.co.kr/detail/S000213057051

JVM 밑바닥까지 파헤치기 | 저우즈밍 - 교보문고

 

 

https://jellili.tistory.com/55

[JAVA] JVM 메모리 구조 - 런타임 데이터 영역(Runtime Data Area) 알아보기