Amazon Kinesis Data Streams

[tiaz0128]

Amazon Kinesis Data Streams 주요 특징

• 실시간으로 대규모 데이터 흐름을 처리하는 서비스
• 여러 샤드(Shard)로 구성되며, 이는 스트림의 용량을 결정
• 보존 기간은 1일~365일 설정 가능 (데이터 재처리/확인 가능)
• 한번 입력된 데이터는 삭제 불가능
• 파티션 키를 기반으로 메시지를 정렬하고 샤드 할당

데이터 레코드 구성

• 파티션 키: 레코드가 사용할 샤드 결정
• 데이터 Blob: 최대 1MB 크기의 실제 데이터 값

처리 용량

• 샤드당 초당 1MB 또는 1,000개 메시지 수신 가능
• 샤드당 초당 2MB 출력 가능

Producers와 Consumers

Producers

• AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent를 통해 데이터 전송

Consumers

• Kinesis Client Library(KCL), SDK를 직접 사용
• 관리형 서비스(Lambda, Firehose, Data Analytics) 활용

Kinesis Data Streams 용량 모드

프로비저닝 모드(Provisioned mode)

• 사용자가 샤드 수를 직접 정의하고 API나 수동으로 조정
• 샤드당 시간 기준 비용 청구

온디맨드 모드(On-demand mode)

• 용량 관리 필요 없음
• 기본 처리량: 초당 4MB 또는 4,000개 레코드
• 지난 30일간 최대 처리량 기준으로 자동 조정
• 스트림당 송수신 데이터 양(GB)에 따라 비용 청구