Cloudwatch log S3 저장하기
·
AWS/Cloudwatch
1. 왜 이 문제에 주목했는가? (Introduction)회사의 서비스가 성장하면서 AWS CloudWatch 로그 데이터가 급격히 증가하게 되었습니다. 처음에는 특별한 문제 없이 사용했으나 시간이 지나면서 로그 보관 비용이 점점 부담으로 다가왔습니다. 장기 보관이 필수적인 상황에서 CloudWatch Logs의 보관 비용은 예상보다 훨씬 비싸고 효율적이지 않았습니다. 이를 해결하기 위해 비용 효율적인 대안을 찾기 시작 그 결과 S3를 활용한 로그 보관 방식을 선택하게 되었습니다.2. 기술 스택 결정 과정기존에 사용하던 CloudWatch Logs는 관리가 쉽고 접근성이 우수했으나 데이터 양이 증가할수록 비용 부담이 급격히 늘어났습니다. 반면 S3는 저렴한 비용으로 장기 데이터 보관이 가능하고 Athen..
S3 미완료 멀티파트 업로드(MPU) - 비용절감 프로젝트 #3
·
AWS/S3
이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다.1. 개요이번에는 Amazon S3에서 발생할 수 있는 숨은 비용 중 하나인 "미완료 멀티파트 업로드(Uncompleted Multipart Upload, MPU)" 문제와 그 해결 사례를 정리합니다. 회사 내부에서는 비용항목을 모니터링 중 S3의 비용이 높아지면서 실제로 약 1.1TB의 불필요한 스토리지 비용이 발생하고 있었습니다.2. 멀티파트 업로드란?Amazon S3는 대용량 객체(최대 5TB)를 효율적으로 업로드하기 위해 Multipart Upload 기능을 제공합니다.장점:네트워크 장애 시 복구 용이병렬 처리로 업로드 속도 향상객체 크기에 따라 자동 최적화일반 객체 업로드는 최대 5GB 제한, Multipart Up..