Cloudwatch log S3 저장하기
·
AWS/Cloudwatch
1. 왜 이 문제에 주목했는가? (Introduction)회사의 서비스가 성장하면서 AWS CloudWatch 로그 데이터가 급격히 증가하게 되었습니다. 처음에는 특별한 문제 없이 사용했으나 시간이 지나면서 로그 보관 비용이 점점 부담으로 다가왔습니다. 장기 보관이 필수적인 상황에서 CloudWatch Logs의 보관 비용은 예상보다 훨씬 비싸고 효율적이지 않았습니다. 이를 해결하기 위해 비용 효율적인 대안을 찾기 시작 그 결과 S3를 활용한 로그 보관 방식을 선택하게 되었습니다.2. 기술 스택 결정 과정기존에 사용하던 CloudWatch Logs는 관리가 쉽고 접근성이 우수했으나 데이터 양이 증가할수록 비용 부담이 급격히 늘어났습니다. 반면 S3는 저렴한 비용으로 장기 데이터 보관이 가능하고 Athen..
EKS 무중단 업그레이드 - Route53 가중치 라우팅
·
AWS/EKS
1. 왜 이 문제에 주목했는가? (Introduction)AWS EKS 클러스터는 지속적으로 버전이 업데이트되며, 이전 버전에 대한 지원은 일정 주기를 두고 종료됩니다. 당시 운영 중이던 프로덕션 환경은 EKS 1.27을 사용 중이었고, 이 버전은 곧 지원 종료(EOL) 예정이었습니다. 최신 버전으로의 업그레이드는 선택이 아닌 필수였고, 동시에 무중단 운영이 요구되는 서비스 특성상 다운타임 없이 안전하게 전환하는 것이 핵심 과제였습니다.이러한 요구사항을 만족시키기 위해 Blue/Green 전략과 Route53의 트래픽 분산 기능을 활용하여, 운영 중단 없이 클러스터를 최신 버전으로 교체하는 구조를 설계하게 되었습니다. 이 글에서는 그 전체 과정을 정리해보고자 합니다. 2. 기술 스택 결정 과정 (기..
Karpenter로 EKS EC2 비용 최적화하기 - 비용절감 프로젝트 #2
·
AWS/EKS
이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다. 1. 개요인프라 비용절감 팀을 FinOps?라고 많이 하는 거 같다. 비용절감 프로젝트를 하면서 운영 중 경험한 실제 비용절감 사례가 나와 같은 엔지니어들에게 도움이 되고자 글을 작성한다. 현재 인프라 구조는 EKS를 메인으로 사용하고 있다. 따라서 EKS의 node(EC2) 비용이 생각보다 많이 나가고 있었고 CA를 사용하고 있어 비용절감을 위해 kapenter를 도입하기로 마음먹었다. 그래서 karpenter가 뭐 하는 친구인데?Karpenter는 쿠버네티스용으로 구축된 오픈소스 노드 수명 주기 관리 프로젝트입니다. 쿠버네티스 클러스터에 Karpenter를 추가하면 해당 클러스터에서 워크로드를 실행하는 효율성과 비용을 ..
EKS Graviton 마이그레이션 - 비용절감 프로젝트 #1
·
AWS/EKS
이 글은 AWS 인프라 운영 중 경험한 실제 비용절감 사례를 기록한 시리즈입니다.Graviton 이란?AWS Graviton은 AWS에서 자체적으로 설계한 ARM 아키텍처 기반의 클라우드 전용 프로세서다. 기존 인텔(x86) 프로세서 대비 높은 성능 효율성과 낮은 운영 비용을 제공하는 것이 특징이다. 왜 Graviton 기반 인프라로 전환해야 하는가?최근 클라우드 인프라 운영에서 비용 효율성과 성능 최적화는 중요한 화두로 자리 잡고 있다. 기존의 x86 아키텍처 기반 인스턴스는 높은 운영 비용과 에너지 소모라는 부담이 있었다. 이를 해결하기 위해 AWS가 제공하는 ARM 아키텍처 기반 Graviton 프로세서를 도입하여 비용을 절감하면서도 성능 효율성을 동시에 얻을 수 있다.Graviton으로 어떻게 마..
keda 활용해서 프로매태우스 매트릭을 손쉽게 사용하기
·
AWS/EKS
Keda 공식 홈페이지KEDAKeda 구성 시 참고 주소KEDA | Scaling Deployments, StatefulSets & Custom ResourcesKeda란?Kubernetes 이벤트 기반 기반 자동 확장 솔루션입니다.Kubernetes-based Event Driven Autoscaler모든 K8S에 설치할 수 있으며 HPA(Horizontal Pod Autoscaler)와 같은 표준 쿠버네티스 구성 요소와 함께 작동 할 수 있습니다.Kubernetes 클러스터에 KEDA를 설치하면 두 개의 컨테이너가 실행 됩니다.Keda-operator배포, 상태 저장 집합 또는 롤아웃을 0에서 이벤트 없이 0으로 확장하는 것 ( 사용 X )keda-operator-metrics-apiserverKED..
Packer를 활용하여 골든 이미지 쉽게 생성하기
·
AWS/EC2
작업 목적ISMS 심사 중 OS 보안취약점을 강화하기 위해 스크립트를 돌려야하지만 EKS에 설정된 Launch Template가 변경되지 않으면 스크립트를 적용해도 오토스케일링이 되면 보안설정들이 날라감골든이미지를 생성하여 Dev, Production 환경등에서 빠른 배포가 가능하다.스크립트를 사용하용 버전관리 가능Packer 란Packer는 여러 플랫폼에 대해 동일한 시스템 이미지를 작성하기위한 오픈 소스 도구입니다.AWS의 AMI, Azure Image, Google Cloud Image 등을 스크립트 파일을 이용해서 생성할 수 있습니다.패커는 Hashicorp에서 만든 인프라 관리 도구 중 하나이다.인프라 자동화 도구 중 하나로 다양한 플랫폼에서 사용가능한 이미지를 동적으로 생성할 수 있게 도와준다..