Amazon-Kinesis – вопросы и ответы

105
голосов
1
ответ
В чем интерес? Написание выходного плагина Logstash для AWS Kinesis. Что уже было достигнуто? Используя этот учебник , logstash-output-sqs-0.1.3.gem был построен из
1 месяц назад Michael
95
голосов
3
ответа
В настоящее время я разрабатываю приложение для Android, которое транслирует видео в видеопотоки кинезий и возможность воспроизведения потока на некоторых других устройствах. Что я сделал: я пошел ...
1 месяц назад Abdh-Allah
103
голоса
1
ответ
Я читал много похожих вопросов о добавлении символов новой строки в firehose, но они все вокруг о добавлении символа новой строки в источник. Проблема в том, что у меня нет доступа к источнику, а т...
1 месяц назад Matt Westlake
75
голосов
2
ответа
Моя система регистрации использует поток кинезий, прикрепленный к потоку доставки firehose, который записывается в ведро S3. Это можно настроить вручную через консоль AWS, установив атрибут "Источн...
1 месяц назад CAS
74
голоса
1
ответ
Я использую AWS Kinesis Stream, который содержит транзакции клиентов. Я хочу сделать резервную копию транзакций на S3, прежде чем приступить к их обработке. Как я могу использовать голый Kinesis Fi...
1 месяц назад Azeem
121
голос
3
ответа
Мы хотели бы передавать данные непосредственно с веб-сервера EC2 на RedShift. Нужно ли использовать кинези? Какова наилучшая практика? Я не планирую проводить специальный анализ перед хранением дан...
1 месяц, 1 неделя назад poiuytrez
60
голосов
1
ответ
Я пытаюсь создать большое решение миллионов приложений, начиная с нуля. Вот почему мне нужна масштабируемая платформа, такая как AWS. Мои устройства собираются сообщать данные с использованием AWS ...
1 месяц, 1 неделя назад HdAlabama
95
голосов
1
ответ
Я новичок в aws и сталкивается с проблемой для роли iam. Я занимаюсь кросс-аккаунтом. Скажите в учетной записи x, созданной роли для учетной записи Y, чтобы получить разрешение на чтение из потоков...
1 месяц, 1 неделя назад shivali
86
голосов
1
ответ
Я пытаюсь подключиться к Kinesis с Apache Spark 2.4.0 в автономном режиме. Я предоставляю свои учетные данные с помощью метода ниже: val cred = SparkAWSCredentials.builder.basicCredentials("{awsAcc...
1 месяц, 1 неделя назад razyel8
98
голосов
1
ответ
Как мы можем обрабатывать статические данные в кинезисе Amazon? Например, у меня есть данные в листах excel, и я хочу обработать их в Kinesis. Является ли это возможным? Если да, то как его достичь?
1 месяц, 1 неделя назад saumm
105
голосов
2
ответа
Я использую функцию GNIP PowerTrack для получения твитов в режиме реального времени, я хочу подключить поток к потоку Kinesis. Кто-нибудь пробовал это или знал какой-нибудь образец кода, который мо...
1 месяц, 1 неделя назад Alex Saidani
104
голоса
1
ответ
Я посылаю потоковое видео в реальном времени на консоль Amazon с помощью потокового видео Kinesis, теперь я хочу сохранить его в Amazon S3. Как сохранить это в S3, пожалуйста, объясните подробно. С...
1 месяц, 1 неделя назад MuhammadSannan
136
голосов
4
ответа
Я пытаюсь зафиксировать изменения таблицы DynamoDB с использованием потоков DynamoDB, а AWS предоставил Java DynamoDB потоки Kinesis-адаптера. Я работаю с SDK Java AWS в приложении Scala. Я начал с...
1 месяц, 1 неделя назад francis
86
голосов
1
ответ
Am использует Kinesis Client Library (KCL) для подписки на поток кинезий. Все журналы KCL печатаются на консоли. Мне нужно сбросить все журналы в файл. Я попытался добавить файлы log4j.properties и...
1 месяц, 1 неделя назад Sunil Gulabani
96
голосов
1
ответ
Учитывая API прокси-сервера Kinesis с использованием API-шлюза и пользовательский домен ( http://mycustomkinesis.foo.com/stream/events ), добавленный для до
1 месяц, 1 неделя назад suman j
60
голосов
1
ответ
Я использую Spark 2.2 для Databricks и пытаюсь реализовать приемник Kinesis для записи из Spark в поток Kinesis. Я использую следующий пример: https://docs.databricks.com/_static/notebooks/structur...
1 месяц, 1 неделя назад Eoin Lane
104
голоса
1
ответ
У нас есть приложение, которое обрабатывает данные из кинезиса и поддерживает некоторое состояние в течение нескольких секунд. Мы боимся, может ли поддерживаемое состояние повлиять на многопоточнос...
1 месяц, 1 неделя назад user3333553
113
голосов
1
ответ
Я постоянно публикую данные в dynamoDB с включенным потоком. Я читаю этот поток, используя apadter DynamoDB KCL. Я использую 1 сотрудника KCL с 5 арендами. Во время создания моя таблица Dynamo имел...
1 месяц, 1 неделя назад user2677679
85
голосов
1
ответ
У меня есть следующее на моем build.sbt в многопроектной компоновке. Все остальные зависимости решаются красиво, и я только начал работу над частью Kinesis моего проекта. У меня есть следующая стро...
1 месяц, 1 неделя назад summerNight
104
голоса
1
ответ
Мы используем spring -gration-aws-2.0.0 для подключения к kinesis для прослушивания потока. При остановке приложения всегда появляется следующее исключение. a.i.k.KinesisMessageDrivenChannelAdapter...
1 месяц, 2 недели назад Shafiul
86
голосов
1
ответ
У меня есть код java, который извлекает записи из Kinesis . Он отлично работает на моем ноутбуке (независимо от IP), но когда я пытаюсь запустить его на EC2, я получаю эту ошибку: Exception in thre...
1 месяц, 2 недели назад ethrbunny
61
голос
1
ответ
Я хочу получить список потоков кинезий с помощью команды cli aws kinesis list-streams дает мне список всех потоков кинезий, как я могу отфильтровать его с помощью команды cli?
1 месяц, 2 недели назад Steve
105
голосов
2
ответа
Я хочу записать потоковые данные из ведра S3 в Redshift через Firehose, поскольку данные передаются в реальном времени (600 файлов в минуту), и я не хочу потери данных. Как поместить данные с S3 в ...
1 месяц, 2 недели назад Vignesh
76
голосов
1
ответ
Поэтому я пытаюсь создать простой конвейер в Amazon AWS. Я хочу выполнить функцию шага, используя данные, генерируемые потоком, который запускает первую лямбда конечного автомата Я хочу сделать сле...
1 месяц, 2 недели назад Hassan Jalil
75
голосов
1
ответ
Мне трудно найти примеры того, что я пытаюсь сделать... Я хотел бы создать функцию Lambda в Java. Я думал, что всегда буду использовать Javascript для функций Lambda, но в этом случае я закончу пов...
1 месяц, 2 недели назад Meowts
128
голосов
1
ответ
Я новичок в Apache Spark Streaming. Попытка построить Spark для чтения ценности от Kinesis Stream. Это мой скрипт python import settings from pyspark import SparkContext from pyspark.streaming impo...
1 месяц, 2 недели назад Edmund Hee
112
голосов
2
ответа
У меня странная ошибка при запуске aws kinesis на hadoop (CDH 5.5.1). Я могу воспроизвести ошибку с помощью этого простого класса: import com.amazonaws.auth.AWSCredentials; import com.amazonaws.aut...
1 месяц, 2 недели назад cvx
74
голоса
1
ответ
Я пытаюсь сделать клиент-клиент Kinesis. Чтобы работать над этим, я просмотрел Руководство разработчика Kinesis и AWS Document http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor...
1 месяц, 2 недели назад Geek_To_Learn
74
голоса
1
ответ
Я немного запутался в документах AWS для размещения записей в потоке Kinesis здесь: https://docs.aws.amazon.com/kinesis/latest/APIReference/API_PutRecord.html#API_PutRecord_RequestSyntax В нем гово...
1 месяц, 2 недели назад EagleBeak
-6
голосов
1
ответ
При запуске предварительного запроса на кинези появляется следующая ошибка. Query 20151031_142753_00003_xxxxx не удалось: превышена скорость для потока xxxxx под учетной записью xxxxxx. (Сервис: Am...
1 месяц, 2 недели назад Rajesh
61
голос
1
ответ
Есть ли способ запросить AWS Kinesis Firehose для текущей статистики, такой как Количество записей в текущем буфере? сколько буфера потребляется?
1 месяц, 2 недели назад blueskin
60
голосов
1
ответ
Я столкнулся с проблемой. Я тестирую 3 потребителя и 1 производителя. Из всех нажатий клавиш производитель производит, потребители не могут получить все данные, отправляемые производителем. Что мож...
1 месяц, 2 недели назад Suhail Gupta
61
голос
2
ответа
Я проверил всю документацию AWS по Kinesis. Все, что я нашел, - это то, как Producer передает данные на потоки кинезий, и потребитель потребляет потоки при инициализации (тип модели FIFO). Если дан...
1 месяц, 2 недели назад ZZzzZZzz
104
голоса
1
ответ
Как мы можем использовать aws Kinesis для чтения из логсташа? Нужно ли устанавливать плагины для Kinesis в Logstash на EC2? Если да, то как?
1 месяц, 2 недели назад tarun kumar Sharma
106
голосов
1
ответ
недавно попробовал модернизировать снегоочиститель r65 до r85, все, кажется, работает нормально, но синхронизация с помощью снегоочистителя бросает ошибку bwlow. [pool-1-thread-1] WARN com.snowplow...
1 месяц, 2 недели назад John Deep
60
голосов
1
ответ
В клиентской библиотеке AWS Kinesis (KCL) есть образец произв
1 месяц, 2 недели назад Yannis
75
голосов
1
ответ
Я хочу написать процесс Java, который будет использовать STS, чтобы взять на себя роль в учетной записи. Чтение из Kinesis, а затем отправить события в поток Kinesis в учетной записи B. Как я могу ...
1 месяц, 2 недели назад user9951102
104
голоса
1
ответ
Я использую DynamoDB Streams + Kinesis Client Library (KCL). Как я могу измерить задержку между тем, когда событие было создано в потоке и когда оно было обработано на стороне KCL? Как я знаю, метр...
1 месяц, 3 недели назад Ivan Arkhipov
121
голос
1
ответ
У нас есть система, которая берет входную запись и применяет серию преобразований, используя серию потоков кинезий и lambdas, работающих на ней. KinesisStream → InputRecord → Lambda1/Lambda2 работа...
1 месяц, 3 недели назад user3153360
113
голосов
2
ответа
использование по умолчанию плана от пользователя кинезиса имеет следующую строку // Kinesis data is base64 encoded so decode here const payload = new Buffer(record.kinesis.data, 'base64').toString(...
1 месяц, 3 недели назад Aussie Guy
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема