[AWS] S3 + Lambda 를 통한 이미지 리사이징 (macOS sharp 모듈 오류, 무한 람다 호출 오류)

버킷 생성, 람다 생성, IAM 역할 생성에 대한 자세한 내용은 다른 사이트에서 더 잘 설명되어 있으므로, 참고하시면 된다.

https://oliveyoung.tech/2023-05-19/aws-lambda-resize/

AWS Lambda Image Resize 도입기 | 올리브영 테크블로그

 

 

트리거의 접두사는 images/origin/ 으로 설정했다. 

람다 코드(node.js)

// dependencies
const AWS = require('aws-sdk'); // AWS SDK 불러오기
const sharp = require('sharp'); // 이미지 리사이징 라이브러리 불러오기

// S3 클라이언트 생성
const s3 = new AWS.S3();

exports.handler = async (event, context, callback) => {
  // S3 버킷 및 객체 키 추출
  const srcBucket = event.Records[0].s3.bucket.name;
  const srcKey = decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));
  const dstBucket = event.Records[0].s3.bucket.name;

  // 이미지 확장자 확인
  const typeMatch = srcKey.match(/\.([^.]*)$/);
  if (!typeMatch) {
    console.log("Could not determine the image type.");
    return;
  }

  const imageType = typeMatch[1].toLowerCase();
  if (imageType != "jpg" && imageType != "png") {
    console.log(`Unsupported image type: ${imageType}`);
    return;
  }

  // 리사이즈된 이미지 저장 경로 설정
  const resizedKey = 'images/resized/' + srcKey.split('/').pop();

  // 원본 이미지 S3에서 가져오기
  try {
    const params = { Bucket: srcBucket, Key: srcKey };
    var origimage = await s3.getObject(params).promise();

    const originalImageSize = origimage.Body.length;
    console.log(`Original image size: ${originalImageSize} bytes`);

  } catch (error) {
    console.log(error);
    return;
  }

  const width = 200; // 리사이즈 너비 설정

  try {
    // 이미지 리사이징
    var buffer = await sharp(origimage.Body).resize(width).toBuffer();

    const resizedImageSize = buffer.length;
    console.log(`Resized image size: ${resizedImageSize} bytes`);

  } catch (error) {
    console.log(error);
    return;
  }

  try {
    // 리사이즈된 이미지를 S3에 업로드
    const destparams = {
      Bucket: dstBucket,
      Key: resizedKey,
      Body: buffer,
      ContentType: "image"
    };

    // 이미지 업로드 수행
    const putResult = await s3.putObject(destparams).promise();

  } catch (error) {
    console.log(error);
    return;
  }

  console.log('Successfully resized ' + srcBucket + '/' + srcKey + 
    ' and uploaded to ' + dstBucket + '/' + resizedKey);
};

 

S3에 사진을 업로드하면 CloudWatch 로그를 통해 이미지가 정상적으로 리사이징되어 처리되었음을 확인할 수 있다. S3의 resized 디렉토리에서도 리사이징된 이미지가 올바르게 저장되었다.

 

 

---

 

오류 & 해결 과정

1. AWS Lambda에서 sharp 모듈 오류 

2025-03-26T12:24:49.529Z	undefined	ERROR	Uncaught Exception 	
{
    "errorType": "Error",
    "errorMessage": "Could not load the \"sharp\" module using the linux-x64 runtime\nPossible solutions:\n- Ensure optional dependencies can be installed:\n    npm install --include=optional sharp\n- Ensure your package manager supports multi-platform installation:\n    See https://sharp.pixelplumbing.com/install#cross-platform\n- Add platform-specific dependencies:\n    npm install --os=linux --cpu=x64 sharp\n- Consult the installation documentation:\n    See https://sharp.pixelplumbing.com/install",
    "stack": [
        "Error: Could not load the \"sharp\" module using the linux-x64 runtime",
        "Possible solutions:",
        "- Ensure optional dependencies can be installed:",
        "    npm install --include=optional sharp",
        "- Ensure your package manager supports multi-platform installation:",
        "    See https://sharp.pixelplumbing.com/install#cross-platform",
        "- Add platform-specific dependencies:",
        "    npm install --os=linux --cpu=x64 sharp",
        "- Consult the installation documentation:",
        "    See https://sharp.pixelplumbing.com/install",
        "    at Object.<anonymous> (/var/task/node_modules/sharp/lib/sharp.js:113:9)",
        "    at Module._compile (node:internal/modules/cjs/loader:1554:14)",
        "    at Object..js (node:internal/modules/cjs/loader:1706:10)",
        "    at Module.load (node:internal/modules/cjs/loader:1289:32)",
        "    at Function._load (node:internal/modules/cjs/loader:1108:12)",
        "    at TracingChannel.traceSync (node:diagnostics_channel:322:14)",
        "    at wrapModuleLoad (node:internal/modules/cjs/loader:220:24)",
        "    at Module.require (node:internal/modules/cjs/loader:1311:12)",
        "    at require (node:internal/modules/helpers:136:16)",
        "    at Object.<anonymous> (/var/task/node_modules/sharp/lib/constructor.js:10:1)"
    ]
}

 

sharp는 네이티브 바이너리 모듈을 사용하는 이미지 처리 라이브러리다. 이는 이미지 처리를 위한 저수준 작업을 고속으로 처리하기 위해 컴파일된 네이티브 코드가 포함되어 있다. sharp 모듈은 운영 체제에 따라 다르게 컴파일되는데 MacOS에서 빌드된 sharp 모듈은 바이너리 코드가 다르게 컴파일되기 때문에 Linux 환경에서 실행되는 AWS Lambda에서는 정상적으로 동작하지 않는것이다.

chatgpt 에 물어봣더니 2가지 해결방법을 제시했고, 두개 다 시도해봤다.

 

 

1. Lambda Layer 사용

2. Docker를 이용한 빌드

 

AWS Lambda에서 sharp 모듈을 사용하기 위해 Lambda Layer를 추가해보고 Docker를 이용해 빌드하여 배포했지만 여전히 동일한 오류가 발생했다.

해결 방법

문제를 해결하기 위해 아래 레포지토리에서 제공하는 zip 파일을 다운로드한 후, Lambda 코드로 업로드하고, index.js 파일을 수정하여 문제를 해결할 수 있었다.

https://github.com/dmswn1004/AWS-Lambda-S3-Image-Resizing

GitHub - dmswn1004/AWS-Lambda-S3-Image-Resizing: AWS Lambda 트리거 + S3 이미지 리사이징 함수

 

또는 해당 zip 파일을 다운로드후, 업로드 하시고 코드를 직접 바꿔주셔도 됩니다.

AWS-Lambda-S3-Image-Resizing-main.zip

14.09MB

 

만약 위 방법으로도 해결되지 않는다면, 윈도우 운영체제에서 다시 시도해보는 것도 하나의 방법이다. 윈도우 환경에서 빌드한 sharp 모듈이 Lambda의 리눅스 환경과 호환되는 경우가 있기 때문이다.

 

[참고하면 좋을 블로그]

https://velog.io/@dgh06175/AWS-LambdaEdge-sharp-trouble-shooting

AWS lambda 에서 sharp 모듈 사용 시 Could not load the \"sharp\" module using the linux-x64 에러 해결 방법

 

 

 

2. S3 이미지 리사이징 후 무한 업로드 오류

S3에서 이미지를 리사이징하여 업로드할 때, source 버킷과 destination 버킷이 동일한 경우 무한 업로드 현상이 발생했다. 이 문제는 리사이징된 이미지가 다시 원본 디렉토리에 저장되어 트리거가 계속되는 상황이었다. 

 

 

 

해결 방법

이 문제를 해결하기 위해, 리사이징된 이미지를 원본 디렉토리인 origin 에서 resized 디렉터리로 저장하도록 코드를 수정했다. 이렇게 하면 원본 디렉토리의 이미지는 리사이징 작업을 거쳐 resized 디렉토리에 저장되며, 더 이상 원본 이미지에 대한 리사이징 작업이 반복되지 않게 된다.

 

람다 함수 코드의 resized 디렉토리를 별도로 설정함으로써 무한 업로드 문제를 해결할 수 있었다. 

  // 리사이즈된 이미지 저장 경로 설정
  const resizedKey = 'images/resized/' + srcKey.split('/').pop();