AWS 스토리지 추가기능

AWS 스토리지 추가기능

Data migration, Edge computing 이 있다.

Data Migrations with AWS snow family 

왜 스노우 제품군을 사용할까,

네트워크를 통해서 많은 데이터를 전송하려면 아주 오랜 시간이 걸린다.

100tb전송 하는 경우 초당 1gb네트워크를 이용해도 12일이 걸린다. 

때때로 AWS에 빠르게 접속해야 할 때가 있는데 전송 가능한 데티어 양이 적다는 것과, 

제한된 연결 및 제한된 대역폭 문제, 네트워크를 통한 데이터 전송으로 비용이 발생함

 

이런 문제 때문에 snow제품을 사용한다.

snow제품은 오프라인에서 데이터 마이그레이션을 실행하는 장치이다.

aws 가 우편으로 물리적인 장치를 보내주면 거기서 데이터를 끌어오고 다시 AWS로 전송한다.

 

s3로 직접 파일을 업로드하려면

 클라이언트가 s3로 데이터를 전송한다. 

snow 장치가 있는경우 

클라이언트가 snowball 장치를 우편으로 aws으로부터 받고, 로컬에서 데이터를 aws snow ball로 이동시킨다.

그리고 그걸 aws로 보내서 aws에서 s3로 업로드를한다.

네트워크가 아닌 물리적이 경로를 이용하는 것이다. 

 

그럼 어떤 장치가 있을까? 

snow cone, snow edge, snow mobile이 있다.

storage 8 TB, 80TB, < 100 PB

migration size up to 24TB (online and offline), up to petabytes (offline), up to exabtes offline

 

snowball에 담긴 객체들은 glacier에 바로 넣을 수는 없다.

그렇게 하려면 먼저 amazon s3를 사용해서 수명 주기 정책을 생성하여

amazon glacier로 객체를 전환할 수 있다. 

 

snowball이 데이터를 amazon s3로 가져오면 s3의 수명 주기 정책을 통해 해당 데이터가 amazon glacier로 전환된다 ( s3 스토리지 클ㄹ래스가 아니라 glacier 서비스임 )

 

 Edge computing 

엣지 컴퓨팅은 데이터가 엣지 로케이션에서 생성 될 때 실시간으로 처리하는 방식을 뜻한다.

엣지 로케이션이란 클라우드에서 멀리 있는 곳은 무엇이든 해당된다.

도로에 있는 트럭, 배, 광산 등 이런 장소에서 컴퓨팅이나 데이터를 처리해야 할 경우 바로 엣지 컴퓨팅이 필요하다.

따라서 snow ball edge나 snowcone을 주문해서 엣지 로케이션에 장착시키면 엣지 컴퓨팅을 시작할 수 있게 된다.

aws에서 장치에 인스턴스나 이런걸 담아서 보내주면, 그걸 배나 광산 이런 곳에서 바로 접근하여 사용할 수 있는 것 같다.



Amazon FSx

완전 관리형 서비스로 타사 고성능 파일 시스템을 실행시킨다.

가령 RDS에서 AWS에 mysql, postgres를 실행하는 것과 같은 개념이다.

RDS( aws service ) , Mysql ( 타사 고성능 시스템 3rd party high performance file system )

예를들어 FSx에 Lustre를 실행한다고 해보자. 또 Windows file server를 실행할 수도 있다.

NetApp ONTAP이나 OpenZFS가 될 수도 있다. 

 

FSx for windows (file server )

완전 관리형 windows 파일 서버 공유 드라이브로, windows를 사용하기 때문에 smb프로토콜과,

windows NTFS를 지원한다. 

겉보기에는 windows에서만 사용할 수 있는 것 같지만, linux ec2 인스턴스에도 마운트할 수 있다.

 

가령 기존에 온프레미스 등에 windows 파일 서버가 있는 경우 microssoft 분산 파일 시스템인 Dfs기능을 이용해서

파일 시스템을 그룹화 할 수 있었습니다. 이렇게 하면 온프레미스의 window파일서버와 fsx for windows file server를 겹할할 수 있다.

 

fsx어려워서 패스]

 

AWS storage gateway 

aws에서는 하이브리드 클라우드를 권장하는데 , 일부 인프라는 aws클라우드에 있고,

나머지는 그대로 온프레미스에 두는 방식을 뜻한다.

온프레미스 데이터와 클라우드 데이터 간의 가교 역할을 한다. 

AWS storage Gateway를 이용해서 온프레미스 데이터를 클라우드로 이동시킨다.

1. 재해 복구 목적으로 온프레미스 데이터를 클라우드에 백업할 수 있다.

2. 혹은 백업과 복구 목적으로 클라우드 마이그레이션, 혹은 온프레미스에서 클라우드 간 스토리지 확장을 사용할 수 있다.

3. 캐시목적으로 사용할 수도 있다. 

 

s3 file gateway

s3하나가 있고 이 버킷을 온프레미스 상의 애플리케이션 서버에 연결하려는데, 이때 표준 네트워크 파일 시스템을 활용하고자 한다.

이를 위해 온프레미스에 s3 file gateway를 생성하여 애플리케이션 서버가 s3 file gateway로 접속할 때 NFS나, SMB 프로토콜을 사용하도록 한다. 이걸 통하여 s3파일 게이트웨이는 해당요청을 버킷에 https로 보낸다. 만약 해당 객체를 아카이브 하고 싶은 경우 life cycle policy를 사용하면 된다. 

사용된 데이터는 신속한 액세스를 위해 파일 게이트웨이에 캐시로 저장된다. 따라서 최근에 사용한 파일만 파일게이트에 있다.

버킷에 액세스 하려면 각 파일 게이트웨이마다 iam역할을 생성해야한다,. 

smb프로토콜을 사용하는 경우에는 사용자 인증을 위해 active directory와 통합해야한다. 이렇게 하면 s3파일 게이트웨이에 사용자가 액세스할때 인증을 거치며 

 

AWS transfer family

s3에 파일을 업로드하고싶은데 s3 api는 사용하고 싶지 않은 경우 ftp프로토콜을 통해서 s3에 업로드할 수 있다. 그 때 사용하는 것이 transfer familly이다. FTP, FTPS, SFTP를 사용할 수 있다. 이 도메인에 라우트 53을 연결해서 사용할 수도 있다.

아무튼 라우트 53을 사용한다고 했을 때 이 걸 타고 들어가면 transfer family를 사용할 수 있고, 이걸 통해서 s3에 업로드가 가능해진다. 여기서 tranfer family에 iam을 지정해줌으로써 s3의 파일을 읽고 저장하는것이 가능하다. s3뿐만아니라 efs에도 업로드 가능

 

AWS DataSync 

시험에 자주 나옴

데이터를 동기화 하여 대용랴으이 데이터를 한 곳에서 다른 곳으로 옮길 수 있다.

온프레미스나 aws의 다른 클라우드로 데이터를 옮길 수 있다.  이때 서버를 nfs, smb, hdfs혹은 다른 프로토콜에 연결해야 한다.

 옮길 위치인 온프레미스나, 다른 클라우드에 에이전트가 있어야 한다. 

또 AWS서비스에서 다른 AWS서비스로 데이터를 옮길 수도 있다.

amazon s3에 어떤 스토리지 클래스에도 ( glacier포함 ) 저장할 수 있고,

EFS로 네트워크 파일 시스템에도 저장할 수 있다.

 

일정을 지정하여 DataSync가 매 시간 매일 혹은 매주 실행되도록 할 수 있다. 지연이 발생하긴 하지만 일정에 맞춰서 데이터가 동기화 된다. 파일권한과 메타데이터 저장 기능도 있다. 

파일을 한 곳ㅇ에서 다른 곳으로 옮길 때 메타 데이턱터를 보존할 수 있다.

온프레미스 파일을 AWS로 동기화 하는 예시를 한번 살펴보자

AWS라고 하면 S3, EFS 혹은 FSx가 될 것이다. 온프레미스와 DataSync가 실행되는 AWS리전이 있다.

온프레미스에는 NFS, SMB서버가 잇고 온 프레미스에 DataSync에이전트를 설치하고 이를 NFS또는 SMB서버에 연결 시켜서

이 에이전트를 통해 암호화를 거쳐 dataSync서비스에 연결한다. 이건 s3, efs, fsx등 어디든 갈 수 있/다.

 

이건 온프로미스에서 AWS로 단방향의 동기화가 아닌 AWS에서 온프로미스로의 양방향 동기화도 가능하다. 

시험문제로 datasync를 사용하고 싶지만 네트워크 용량이 따라주지 못하는 경우가 나온다. 이 때 온프로미스에서 AWS snowcone을 사용하면 된다. ( agent pre-installed) 이 장치에는 data sync가 사전에 설치되어있다,. 그래서 온프로미스에서 snow cone을 실행 시키고 데이터를 가져온다음 data sync 에이전트를 실행하면 다시 에이전트가 aws 리전으로 전송되면서 AWS의 스토리지 리소스 외부에 데이터를 동기화 할 수 있다.

 

서로 다른 AWS 스토리지 서비스 간에도 동기화가 가능하다.