Поток Amazon Kinesis для S3
У меня есть приложение Javascript, записывающее данные в реальном времени в поток Kinesis. Есть ли доступный разъем для использования S3 в качестве моего потребителя из Kinesis Stream? Kinesis Firehose не является вариантом в моем случае, так как есть другое приложение, которое читает из Streams, чтобы анализировать в реальном времени. То же самое с Лямбдой (мы не хотим идти ва-банк на AWS). Я посмотрел на KCL (KinesisClientLibrary), который предоставляет IRecordProcessor, который помогает мне захватывать каждую запись из Stream. Я нахожусь в строках написания моего кода таким образом, что он фиксирует каждую запись и отправляет ее на S3 в качестве объекта. Я хочу знать, есть ли какой-либо доступный коннектор (на Java), или кто-то уже сделал это, прежде чем перейти к реализации. Благодарю.
Kinesis Firehose теперь может читать данные непосредственно из потоков Amazon Kinesis! https://forums.aws.amazon.com/ann.jspa?annID=4904
есть другое приложение, которое читает из Streams для выполнения аналитики в режиме реального времени. Это должно быть проблемой.
Kinesis Streams → Your App → Kinesis Firehose → S3
Пожалуйста, не забудьте, что Firehose доступен только в регионах США (Северная и Южная Виргиния), США (Орегон) и ЕС (Ирландия) и трансграничных трансферах (например, Streams @Mumbai → Firehose @Ireland) пока не поддерживается,
- Вопросы
- Amazon-kinesis
- Поток Amazon Kinesis для S3