초보 개발자

안녕하세요! 오늘은 Sandbox 환경에 쌓여가는 CloudFormation 스택들을 자동으로 정리하는 Step Functions 워크플로우를 만든 이야기를 공유하려고 합니다.왜 만들게 되었나?Sandbox 환경을 쓰다 보면 테스트용으로 만든 스택들이 점점 쌓이잖아요? 하나하나 수동으로 지우기엔 귀찮고, 그렇다고 방치하자니 리소스 낭비가 신경 쓰이더라구요. 그래서 Step Functions의 네이티브 기능만으로 자동 정리 시스템을 만들어봤습니다.전체 흐름 한눈에 보기ListStacks로 특정 이름 패턴의 스택 수집DescribeStacks로 상세 정보 확인 (태그, 삭제 보호 여부)조건에 맞는 스택들만 DeleteStack 실행폴링을 통해 삭제 완료 확인Bedrock으로 에러 메시지 정리단계별 자세히 살..

들어가며2024 Re:invent에서 AWS Transfer Family web app가 새롭게 공개되었습니다.특정 S3에 파일을 업로드, 다운로드 등을 할 수 있는 웹페이지를 제공해주는 것인데요. AWS를 잘 모르더라도 간단히 S3버켓에 접근하기 쉽도록 만들어준 것 같습니다. 파일서버를 간단히 만들 고 접근할 수 있는 점이 큰 메리트 같습니다. 바로 한번 만들어보려고합니다.다만, 코스트면이나, 성능적인 면은 이번 블로그에선 다루지 않도록하겠습니다. 전제조건Identity Center가 작성되어있어야할것  AWS Transfer Family web app 생성 먼저 AWS Transfer Family에 접속하신 뒤 웹 앱 탭을 클릭합니다. 웹 앱 생성을 클릭한 뒤 앱을 생성합니다. 웹 페이지의 제목, 로..

Snapshot Storage snapshot에 관한 자료를 보던 중, snapshot storage의 산정방식이 흥미로워 정리해보려고한다. 위의 자료에 의하면, 같은 볼륨에 대한 스냅샷이 여러개 존재하며 각 볼륨의 콘텐츠와 크기가 변했을 경우에 최대한 상위 스냅샷의 데이터를 참조하여 효율적으로 사용하도록한다. 먼저 Snap A에서 10 GIB가 사용이 되었고, 이후 볼륨에서 삭제와 생성을 통해서 4GIB가 변경된 후 스냅샷을 생성한 경우, Snap A(상위 스냅샷)과 겹치는 부분 6GIB는 Snap A에서 참조하고 4GIB만 Snap B에서 새롭게 생성이 된다. 마찬가지로 Snap C를 생성한 경우, Snap B와 비교했을 때 새로운 데이터가 2GIB추가만 되었을 뿐이므로, 기존 6GIB는 Snap A..

Compute optimizer란 AWS에서 Cloud watch에서 수집한 metric을 바탕으로 현재 사용량을 분석하여 과다 혹은 과소 프로비져닝 된 것을 확인해주며, 적합한 인스턴스 유형까지 추천해주는 아주 유용한 서비스이다. EC2 인스턴스뿐만 아니라, Auto Scaling그룹, EBS볼륨, Lambda함수, Fargate까지 추천해준다. 사용해보자 사용중인 EC2의 아이디를 클릭하면, 위와 같은 화면이 나온다. 3가지의 추천 항목이 나오는데, 각각 성능의 차이가 조금 있으며, 확인 후 결정해야한다. 여기서 중요한 사실이 하나 있는데, EC2를 실행시키면 기본적으로 Cloud watch agent라는 것이 설치가 되어있지 않다. 이는 Cloud watch에서 더욱 많은 Metric을 수집할 수 ..

RTO, RPO RPO와 RTO는 이름이 비슷하고, 둘다 복구에 걸리는 시간에 관련되어있어 헷갈린다. 그 때마다 찾아보면서 다시 이해를 하지만, 시간이 지나면 다시금 헷갈린다.따라서 이번 기회에 확실하게 정리를 해보려 한다. RTO : Recovery Time Objective (복구 시간 목표) RPO : Recovert Poine Objective ( 복구 지점 목표 ) 이름만 봐서는 전혀 감이 오지 않는다. 아래의 상황을 통해 익혀보자. 상황 EBS의 스냅샷을 매일 아침 6시에 백업해둔다고하자. 오후 2시쯔음, 회사에서 누군가 실수로 대량의 데이터를 삭제해버렸고, 복구를 해달라는 요청이 있었다. 부랴부랴 복구용 ec2를 생성, 스냅샷으로 볼륨 생성, ec2에 붙여 생성하는데 까지 30분 정도가 걸려..

Spanned EBS Volume 하나의 EBS 볼륨을 사용하다 부족해지면 추가로 EBS를 추가해야하는 경우가 올 것이다. 기존의 볼륨을 Extend 하여 빈 상태의 새 볼륨을 추가하면 Spanned Volume으로 바뀐다. 두개의 볼륨이 하나의 볼륨으로 바뀌게 된 것이다. 만약 이 2개의 볼륨에서 하나의 볼륨만 복원 시키면 파일이 온전히 복원될까 ? 아니다. 하드 디스크에 파일이 저장될 때 여러 요인에 의해서 순차적으로 저장이 되지 않는다. 여러 개로 쪼개져서 이곳 저곳에 흩어져서 저장이 된다. ( 단편화 라고 함 ).단편화가 발생한 파일을 읽기 위해서 흩어진 모든 조각을 찾아야하고, 디스크 조각 모음이라는 것이 단편화된 파일을 한 덩어리로 모아준다. 따라서 하나의 볼륨만 가지고 복원하면 아마도 예상컨..

AWS를 사용할 때 가장 신경이 쓰이는 부분이 요금이라고 생각한다. 어느정도 예상을 할 때도 있지만, 예상치 못한 부분에서 과금이 일어나기도 한다. 이러한 부분을 AWS Budgets을 사용하면 사전에 방지할 수 있다. AWS Budgets은 만능이 아니기에, 하나만으로는 부족하다. 따라서 이를 보조해줄 수 있는 다른 서비스를 조합해서 사용해야한다. 사용하는 유저의 규모가 어느정도 있어서 AWS Organization을 사용한다면, 과금이 될만한 요소에 접근하는 것을 막는 SCP를 생성하여 Account나 OU에 부착해주자. SCP는 Account에 부착하는 것이 가능 AWS Organization을 사용하지 않는다면 SCP를 사용할 수 없기에 과금이 될만한 요소에 접근하는 것을 막는 IAM policy..

AWS 아키텍처 위의 아키텍쳐는 AWS 공식 사이트에서 제공하는 이미지이다. 준비물 먼저 필요한 것은 다음과 같다. 1. S3 2. IAM 3. CLI 과정 앞으로 Source Account는 복사되는, Destination Account는 복사하는 으로 설명하겠다. 먼저 복사되는 S3버켓에 복사하는 계정이 버켓, 버켓안에 있는 객체를 읽을 수 있는 Policy를 생성하여 부착하자. Create a bucket policy to allow a user in the destination account to list the source bucket’s contents and read the source bucket’s objects. Attach the bucket policy to the source bu..