Поток Amazon Kinesis для S3

74
9

У меня есть приложение Javascript, записывающее данные в реальном времени в поток Kinesis. Есть ли доступный разъем для использования S3 в качестве моего потребителя из Kinesis Stream? Kinesis Firehose не является вариантом в моем случае, так как есть другое приложение, которое читает из Streams, чтобы анализировать в реальном времени. То же самое с Лямбдой (мы не хотим идти ва-банк на AWS). Я посмотрел на KCL (KinesisClientLibrary), который предоставляет IRecordProcessor, который помогает мне захватывать каждую запись из Stream. Я нахожусь в строках написания моего кода таким образом, что он фиксирует каждую запись и отправляет ее на S3 в качестве объекта. Я хочу знать, есть ли какой-либо доступный коннектор (на Java), или кто-то уже сделал это, прежде чем перейти к реализации. Благодарю.

спросил(а) 2017-08-19T03:10:00+03:00 3 года, 5 месяцев назад
1
Решение
94

Kinesis Firehose теперь может читать данные непосредственно из потоков Amazon Kinesis! https://forums.aws.amazon.com/ann.jspa?annID=4904

есть другое приложение, которое читает из Streams для выполнения аналитики в режиме реального времени. Это должно быть проблемой.

Kinesis Streams → Your App → Kinesis Firehose → S3

Пожалуйста, не забудьте, что Firehose доступен только в регионах США (Северная и Южная Виргиния), США (Орегон) и ЕС (Ирландия) и трансграничных трансферах (например, Streams @Mumbai → Firehose @Ireland) пока не поддерживается,

ответил(а) 2017-08-19T11:17:00+03:00 3 года, 5 месяцев назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема