[고급 S3 및 Athena] S3 Event Notifications

S3 Event Notifications S3 버킷 내에서 새로우 객체가 생성되거나(S3:ObjectCreated) 제거되거나(S3:ObjectRemoved) 복원되거나(S3:ObjectRestore) 복제(S3:Replication)되는 등.. 이런 경우 이벤트가 발생했다고 한다. 버킷 내에서 발생하는 모든 이벤트들에 리액트할 수 있다. 또한, 특정 파일에만 리액트할 수 있도록 이벤트 알림 규칙을 지정할 수도 있다. 예를 들어, jpeg 파일에서 일어나는 이벤트들만 알림으로 설정할 수도 있다는 것이다. 주로 Amazon S3 에 업로드 된 사진의 썸네일을 생성할 때 주로 사용한다. S3 이벤트는 원하는 수만큼 생성할 수 있다. 보통 몇 초안에 알람이 전달이 되지만 1분 이상 소요될 수도 있다. 이벤트에..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Select & Glacier Select

S3 Select & Glacier Select AWS s3 / Glacier 에 저장된 데이터에 쿼리를 날려서, 필요한 데이터만 다운받을 수 있게 해주는 기능이다. 기존에는 Amazon S3 에서 모든 데이터를 애플리케이션으로 전송한 후에 애플리케이션에서 필터링을 하여 원하는 레코드를 찾는 형태였지만 S3 Select 를 사용해서 필요한 데이터를 쿼리할 수 있게 됐다. GROUP BY, ORDER BY 같은 집계용 쿼리는 지원하지 않는다. SCAN, 데이터 조회량 만큼 과금된다. 네트워크를 거치는 트래픽의 양이 적고 필터링이 서버에서 일어나기 때문에 사용하면 속도를 높이고 비용을 절약할 수 있다. 400% 빠르고 80% 정도 저렴하다. 예를 들어, 클라이언트가 S3 Select 를 통해 CSV 파일에서..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Baseline Performance

S3 Baseline Performance Amazon S3 는 아주 많은 수의 요청을 처리하기 위해 자동으로 스케일링을 하며, 지연율이 100~200ms 로 매우 짧다. prefix 는 초당 3,500 개 정도의 PUT/COPY/POST/DELETE 요청을 처리하고 prefix 초당 5,500 개의 및 GET/HEAD 요청을 버킷 내에서 처리한다. prefix 는 bucket 과 file 둘 다 될 수 있다. 예를 들어, bucket/folder1/sub1/file 이 존재할 때 여기서 prefix 는 /folder1/sub1 이 된다. 해당 프리픽스는 초당 3,500 개의 PUT 과 GET 요청을 처리할 수 있다. bucket/folder1/sub2/file 일 경우 prefix 는 folder1/s..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Analytics

S3 Analytics Standard 클래스에서 Standard-IA 로 언제 객체를 보낼지 결정하기 위해 S3 애널리틱스를 설정할 수 있다. 즉, 며칠 후에 객체를 보내는 것이 좋은지 계산하는 것이다. OneZone-IA 나 Glacier 에는 설정할 수 없다. 오직 Standard 로 부터 Standard-IA 로 보낼 때만 사용 가능하다. 이 보고서를 활성화하면 매일 정보들이 업데이트된다. 처음 활성화할 때는 첫 시작까지 24~48 시간이 소요된다. 수명 주기 규칙을 구축하거나 개선하기 위한 첫 단계는 Standard 에서 Standard-IA 로 객체를 언제 이동시키는 것이 좋은지 알아내는 것이고 이를 위해서는 S3 Analytics 를 활성화시켜야 한다.

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Lifecycle Rules

S3 Lifecycle Rules 스토리지 클래스 간 객체의 전환이 가능하다. Standard-IA 유형에서 Intelligent-Tiering과 OneZone-IA, Glacier, Deep-Archive 유형으로 전환이 가능하다. Glacier 유형은 Standard-IA 로 돌아갈 수 없고 원하시는 경우에는 객체를 복원하고 복원된 사본을 IA 로 복사해야 한다. 드물게 액세스하는 객체의 경우에는 Standard-IA 로 보내고 실시간으로 데이터가 필요하지 않은 객체는 Glacier 나 Glacier Deep-Archive 로 보내진다. 객체의 클래스 간 이동은 수동으로 할 수 있지만 수명 주기 구성을 사용해 자동으로 할 수도 있다. S3 Lifecycle Rules(수명 주기 규칙) 수명 주기 규칙..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms

[고급 S3 및 Athena] S3 Storage Classes and Glacier

S3 Storage Classes and Glacier 시험 대비를 위해서는 모든 S3 스토리지 클래스에 대해 알고 있어야 한다. 각 상황에 가장 적합한 클래스를 숙지해야 한다. Amazon S3 Standard : 범용적으로 사용되는 스토리지이다. Amazon S3 Standard-Infrequent Access(IA) : 자주 액세스하지 않는 파일에 적합한 스토리지이다. Amazon S3 One Zone-Infrequent Access(IA) : 데이터를 재생산할 수 있는 스토리지이다. Amazon S3 Intelligent Tiering : 스토리지 클래스들 간에 데이터를 효율적으로 이동할 수 있게 해주는 스토리지이다. Amazon Glacier : 아카이브를 위한 스토리지이다. Amazon Gla..

• format_list_bulleted AWS/SAA
• · 2022. 4. 13.
• textsms