1. 개요 (Introduction)왜 이 문제에 주목했는가?기업이 성장하면서 AWS 계정이 여러 개로 분리되는 것은 자연스러운 현상입니다. 보안, 비용 관리, 팀별 독립성을 위해 개발, 스테이징, 프로덕션 환경을 각각 다른 AWS 계정으로 분리하게 되었습니다. 하지만 이로 인해 새로운 문제가 발생했습니다.각 계정의 CloudWatch 메트릭과 로그를 확인하기 위해 계정을 일일이 전환해야 했고, 전체적인 시스템 상태를 파악하기 어려웠습니다. 특히 장애 상황에서 여러 계정을 오가며 원인을 찾는 것은 매우 비효율적이었습니다.프로젝트 개요 및 배경환경: 개발(Dev), 스테이징(Staging), 프로덕션(Prod) 3개의 AWS 계정문제점:계정별로 분산된 모니터링 데이터통합 대시보드 부재장애 대응 시 계정 전..

1. 왜 이 문제에 주목했는가? (Introduction)회사의 서비스가 성장하면서 AWS CloudWatch 로그 데이터가 급격히 증가하게 되었습니다. 처음에는 특별한 문제 없이 사용했으나 시간이 지나면서 로그 보관 비용이 점점 부담으로 다가왔습니다. 장기 보관이 필수적인 상황에서 CloudWatch Logs의 보관 비용은 예상보다 훨씬 비싸고 효율적이지 않았습니다. 이를 해결하기 위해 비용 효율적인 대안을 찾기 시작 그 결과 S3를 활용한 로그 보관 방식을 선택하게 되었습니다.2. 기술 스택 결정 과정기존에 사용하던 CloudWatch Logs는 관리가 쉽고 접근성이 우수했으나 데이터 양이 증가할수록 비용 부담이 급격히 늘어났습니다. 반면 S3는 저렴한 비용으로 장기 데이터 보관이 가능하고 Athen..

1. 왜 이 문제에 주목했는가? (Introduction)AWS EKS 클러스터는 지속적으로 버전이 업데이트되며, 이전 버전에 대한 지원은 일정 주기를 두고 종료됩니다. 당시 운영 중이던 프로덕션 환경은 EKS 1.27을 사용 중이었고, 이 버전은 곧 지원 종료(EOL) 예정이었습니다. 최신 버전으로의 업그레이드는 선택이 아닌 필수였고, 동시에 무중단 운영이 요구되는 서비스 특성상 다운타임 없이 안전하게 전환하는 것이 핵심 과제였습니다.이러한 요구사항을 만족시키기 위해 Blue/Green 전략과 Route53의 트래픽 분산 기능을 활용하여, 운영 중단 없이 클러스터를 최신 버전으로 교체하는 구조를 설계하게 되었습니다. 이 글에서는 그 전체 과정을 정리해보고자 합니다. 2. 기술 스택 결정 과정 (기..

1. Amazon Q 설치 (brew)macOS용 명령줄에 Amazon Q를 설치하려면 ( 가이드 )macOS용 명령줄용 Amazon Q를 다운로드합니다.(선택 사항) macOS에서 명령줄용 Amazon Q에 대해 다운로드한 파일을 확인합니다. 자세한 내용은 단원을 참조하십시오.다운로드한 .dmg 파일을 두 번 클릭하고 앱을 애플리케이션 폴더로 끕니다.애플리케이션 폴더에서 Amazon Q를 두 번 클릭합니다. GUI가 열립니다.쉘 통합을 활성화합니다. 이렇게 하면 쉘에서 Amazon Q를 실행할 수 있으며 Amazon Q가 쉘 명령 자동 완성을 지원할 수도 있습니다.계정 관리자가 제공한 시작 URL을 사용하여 Builder ID 또는 IAM Identity Center로 인증합니다.지침에 따라 쉘 통합을..

이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다.1. 개요 (Introduction)AWS 내 여러 서비스(S3, DynamoDB 등)와 통신할 때 NAT Gateway를 통한 공인망 트래픽 비용이 매월 예상보다 높게 청구되는 상황이 있었습니다.특히 EKS 워커 노드에서 S3로 로그를 주기적으로 업로드하거나 DW서버의 백업 파일을 S3로 전송 시 트래픽이 많다 보니 비용이 누적되고 있었습니다.이 문제를 해결하기 위해 VPC 엔드포인트(VPC Endpoint)를 도입해 NAT 게이트웨이 의존도를 줄이고 내부망을 통한 서비스 연결로 전환하게 되었습니다.2. VPC 엔드포인트란?VPC 엔드포인트는 AWS 서비스와 통신하기 위해 인터넷 게이트웨이(IGW)나 NAT를 사용하지 않고..

이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다.1. 개요이번에는 Amazon S3에서 발생할 수 있는 숨은 비용 중 하나인 "미완료 멀티파트 업로드(Uncompleted Multipart Upload, MPU)" 문제와 그 해결 사례를 정리합니다. 회사 내부에서는 비용항목을 모니터링 중 S3의 비용이 높아지면서 실제로 약 1.1TB의 불필요한 스토리지 비용이 발생하고 있었습니다.2. 멀티파트 업로드란?Amazon S3는 대용량 객체(최대 5TB)를 효율적으로 업로드하기 위해 Multipart Upload 기능을 제공합니다.장점:네트워크 장애 시 복구 용이병렬 처리로 업로드 속도 향상객체 크기에 따라 자동 최적화일반 객체 업로드는 최대 5GB 제한, Multipart Up..

이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다. 1. 개요인프라 비용절감 팀을 FinOps?라고 많이 하는 거 같다. 비용절감 프로젝트를 하면서 운영 중 경험한 실제 비용절감 사례가 나와 같은 엔지니어들에게 도움이 되고자 글을 작성한다. 현재 인프라 구조는 EKS를 메인으로 사용하고 있다. 따라서 EKS의 node(EC2) 비용이 생각보다 많이 나가고 있었고 CA를 사용하고 있어 비용절감을 위해 kapenter를 도입하기로 마음먹었다. 그래서 karpenter가 뭐 하는 친구인데?Karpenter는 쿠버네티스용으로 구축된 오픈소스 노드 수명 주기 관리 프로젝트입니다. 쿠버네티스 클러스터에 Karpenter를 추가하면 해당 클러스터에서 워크로드를 실행하는 효율성과 비용을 ..

이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다.Graviton 이란?AWS Graviton은 AWS에서 자체적으로 설계한 ARM 아키텍처 기반의 클라우드 전용 프로세서다. 기존 인텔(x86) 프로세서 대비 높은 성능 효율성과 낮은 운영 비용을 제공하는 것이 특징이다. 왜 Graviton 기반 인프라로 전환해야 하는가?최근 클라우드 인프라 운영에서 비용 효율성과 성능 최적화는 중요한 화두로 자리 잡고 있다. 기존의 x86 아키텍처 기반 인스턴스는 높은 운영 비용과 에너지 소모라는 부담이 있었다. 이를 해결하기 위해 AWS가 제공하는 ARM 아키텍처 기반 Graviton 프로세서를 도입하여 비용을 절감하면서도 성능 효율성을 동시에 얻을 수 있다.Graviton으로 어떻게 마..

Keda 공식 홈페이지KEDAKeda 구성 시 참고 주소KEDA | Scaling Deployments, StatefulSets & Custom ResourcesKeda란?Kubernetes 이벤트 기반 기반 자동 확장 솔루션입니다.Kubernetes-based Event Driven Autoscaler모든 K8S에 설치할 수 있으며 HPA(Horizontal Pod Autoscaler)와 같은 표준 쿠버네티스 구성 요소와 함께 작동 할 수 있습니다.Kubernetes 클러스터에 KEDA를 설치하면 두 개의 컨테이너가 실행 됩니다.Keda-operator배포, 상태 저장 집합 또는 롤아웃을 0에서 이벤트 없이 0으로 확장하는 것 ( 사용 X )keda-operator-metrics-apiserverKED..

작업 목적ISMS 심사 중 OS 보안취약점을 강화하기 위해 스크립트를 돌려야하지만 EKS에 설정된 Launch Template가 변경되지 않으면 스크립트를 적용해도 오토스케일링이 되면 보안설정들이 날라감골든이미지를 생성하여 Dev, Production 환경등에서 빠른 배포가 가능하다.스크립트를 사용하용 버전관리 가능Packer 란Packer는 여러 플랫폼에 대해 동일한 시스템 이미지를 작성하기위한 오픈 소스 도구입니다.AWS의 AMI, Azure Image, Google Cloud Image 등을 스크립트 파일을 이용해서 생성할 수 있습니다.패커는 Hashicorp에서 만든 인프라 관리 도구 중 하나이다.인프라 자동화 도구 중 하나로 다양한 플랫폼에서 사용가능한 이미지를 동적으로 생성할 수 있게 도와준다..