[고급 S3 및 Athena] S3 Select & Glacier Select

S3 Select & Glacier Select AWS s3 / Glacier 에 저장된 데이터에 쿼리를 날려서, 필요한 데이터만 다운받을 수 있게 해주는 기능이다. 기존에는 Amazon S3 에서 모든 데이터를 애플리케이션으로 전송한 후에 애플리케이션에서 필터링을 하여 원하는 레코드를 찾는 형태였지만 S3 Select 를 사용해서 필요한 데이터를 쿼리할 수 있게 됐다. GROUP BY, ORDER BY 같은 집계용 쿼리는 지원하지 않는다. SCAN, 데이터 조회량 만큼 과금된다. 네트워크를 거치는 트래픽의 양이 적고 필터링이 서버에서 일어나기 때문에 사용하면 속도를 높이고 비용을 절약할 수 있다. 400% 빠르고 80% 정도 저렴하다. 예를 들어, 클라이언트가 S3 Select 를 통해 CSV 파일에서..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Baseline Performance

S3 Baseline Performance Amazon S3 는 아주 많은 수의 요청을 처리하기 위해 자동으로 스케일링을 하며, 지연율이 100~200ms 로 매우 짧다. prefix 는 초당 3,500 개 정도의 PUT/COPY/POST/DELETE 요청을 처리하고 prefix 초당 5,500 개의 및 GET/HEAD 요청을 버킷 내에서 처리한다. prefix 는 bucket 과 file 둘 다 될 수 있다. 예를 들어, bucket/folder1/sub1/file 이 존재할 때 여기서 prefix 는 /folder1/sub1 이 된다. 해당 프리픽스는 초당 3,500 개의 PUT 과 GET 요청을 처리할 수 있다. bucket/folder1/sub2/file 일 경우 prefix 는 folder1/s..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Analytics

S3 Analytics Standard 클래스에서 Standard-IA 로 언제 객체를 보낼지 결정하기 위해 S3 애널리틱스를 설정할 수 있다. 즉, 며칠 후에 객체를 보내는 것이 좋은지 계산하는 것이다. OneZone-IA 나 Glacier 에는 설정할 수 없다. 오직 Standard 로 부터 Standard-IA 로 보낼 때만 사용 가능하다. 이 보고서를 활성화하면 매일 정보들이 업데이트된다. 처음 활성화할 때는 첫 시작까지 24~48 시간이 소요된다. 수명 주기 규칙을 구축하거나 개선하기 위한 첫 단계는 Standard 에서 Standard-IA 로 객체를 언제 이동시키는 것이 좋은지 알아내는 것이고 이를 위해서는 S3 Analytics 를 활성화시켜야 한다.

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Lifecycle Rules

S3 Lifecycle Rules 스토리지 클래스 간 객체의 전환이 가능하다. Standard-IA 유형에서 Intelligent-Tiering과 OneZone-IA, Glacier, Deep-Archive 유형으로 전환이 가능하다. Glacier 유형은 Standard-IA 로 돌아갈 수 없고 원하시는 경우에는 객체를 복원하고 복원된 사본을 IA 로 복사해야 한다. 드물게 액세스하는 객체의 경우에는 Standard-IA 로 보내고 실시간으로 데이터가 필요하지 않은 객체는 Glacier 나 Glacier Deep-Archive 로 보내진다. 객체의 클래스 간 이동은 수동으로 할 수 있지만 수명 주기 구성을 사용해 자동으로 할 수도 있다. S3 Lifecycle Rules(수명 주기 규칙) 수명 주기 규칙..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Storage Classes and Glacier

S3 Storage Classes and Glacier 시험 대비를 위해서는 모든 S3 스토리지 클래스에 대해 알고 있어야 한다. 각 상황에 가장 적합한 클래스를 숙지해야 한다. Amazon S3 Standard : 범용적으로 사용되는 스토리지이다. Amazon S3 Standard-Infrequent Access(IA) : 자주 액세스하지 않는 파일에 적합한 스토리지이다. Amazon S3 One Zone-Infrequent Access(IA) : 데이터를 재생산할 수 있는 스토리지이다. Amazon S3 Intelligent Tiering : 스토리지 클래스들 간에 데이터를 효율적으로 이동할 수 있게 해주는 스토리지이다. Amazon Glacier : 아카이브를 위한 스토리지이다. Amazon Gla..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 pre-signed URLs

S3 pre-signed URLs 사전 서명된 URL 을 사용하려면 SDK 또는 CLI 를 사용해야 한다. 애플리케이션을 개발할 때 SDK 를 사용하여 입력받은 사진 파일을 업로드하고 로컬 환경에서 CLI 를 사용해서 이미지를 다운로드 받을 수 있다. 만료 시간은 기본적으로 3600초, 1시간이다. 만료 시간을 변경하고 싶으면 --expires-in XX초 를 입력하면 된다. 사전 서명된 URL 이 사용자에게 제공될 때는 기본적으로 객체를 만든 이의 권한이 상속된다. 따라서 사용자들은 상황에 따라 GET 이나 PUT 권한을 사용할 수 있다. 예시 1) 로그인 한 사용자만 S3 버킷의 프리미엄 영상을 15분 동안 다운받도록 할 수 있따. 예시 2) 파일을 다운로드 하는 사용자들의 목록이 계속해서 변경되는 ..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms