Amazon-Kinesis-Firehose – вопросы и ответы

103
голоса
1
ответ
Я читал много похожих вопросов о добавлении символов новой строки в firehose, но они все вокруг о добавлении символа новой строки в источник. Проблема в том, что у меня нет доступа к источнику, а т...
1 месяц назад Matt Westlake
75
голосов
2
ответа
Моя система регистрации использует поток кинезий, прикрепленный к потоку доставки firehose, который записывается в ведро S3. Это можно настроить вручную через консоль AWS, установив атрибут "Источн...
1 месяц назад CAS
74
голоса
1
ответ
Я использую AWS Kinesis Stream, который содержит транзакции клиентов. Я хочу сделать резервную копию транзакций на S3, прежде чем приступить к их обработке. Как я могу использовать голый Kinesis Fi...
1 месяц назад Azeem
112
голосов
1
ответ
Я использую лямбда-функцию для отправки данных в kinesis-firehose, а затем вasticsearch. В моем журнале ElasticsearchDelivery я получаю следующую ошибку: {"type": "mapper_parsing_exception", "reaso...
1 месяц назад Kris
61
голос
2
ответа
Я создаю веб-приложение с бэкэндом служб AWS. Мне нужно получать уведомления из бэкэнд, когда данные изменяются в базе данных. Например, есть список комментариев, если кто-то публикует комментарии,...
1 месяц, 1 неделя назад Ildar
121
голос
1
ответ
У меня есть поток подачи кинезийных огнетушителей на s3 и красное смещение. Хотя я хочу продолжать помещать данные в s3, но я хочу временно прекратить отправку данных в redshift. Один трюк заключае...
1 месяц, 1 неделя назад sjishan
98
голосов
1
ответ
Как мы можем обрабатывать статические данные в кинезисе Amazon? Например, у меня есть данные в листах excel, и я хочу обработать их в Kinesis. Является ли это возможным? Если да, то как его достичь?
1 месяц, 1 неделя назад saumm
61
голос
2
ответа
Я новичок в AWS, и, пожалуйста, простите меня, если этот вопрос задан ранее. У меня есть REST API, который возвращает 2 параметра (имя, адрес электронной почты). Я хочу загрузить эти данные в Redsh...
1 месяц, 1 неделя назад Selva
85
голосов
1
ответ
Мы потребляем все наши каналы аналитики через API-шлюз> потоки Kinesis> Lambda> FireHose> таблицы Redshift. AWS Lambda - это наш Transformation footprint принимает записи потоков Kinesi...
1 месяц, 2 недели назад kadalamittai
61
голос
1
ответ
Есть ли способ запросить AWS Kinesis Firehose для текущей статистики, такой как Количество записей в текущем буфере? сколько буфера потребляется?
1 месяц, 2 недели назад blueskin
95
голосов
1
ответ
Я работаю над кинезисом POC. У меня есть небольшой скрипт python для генерации данных потока. Данные потоковой передачи передаются с помощью агента кинезита, кинезитового пожара и, наконец, данные ...
1 месяц, 3 недели назад Yuva
120
голосов
1
ответ
Я пытаюсь создать функцию преобразования AWS Lambda для потока Firehose, который отправляет записи непосредственно в кластер Elasticsearch. В настоящее время нет способа указать идентификатор докум...
1 месяц, 3 недели назад Kevin Cantwell
73
голоса
1
ответ
В настоящее время мы используем Minio в качестве нашего решения для S3 для локального развития, и мы ищем аналогичное решение для AWS FireHose. Кто-нибудь имел дело с этим, я не могу найти какие-ли...
1 месяц, 4 недели назад jonnie
86
голосов
1
ответ
У меня есть кинезитовый поток данных, подключенный к кинезиту, который сбрасывает данные в S3. Я использую библиотеку aws-sdk на стороне клиента javascript для aws-sdk записей в поток данных (напри...
1 месяц, 4 недели назад Christopher
115
голосов
1
ответ
В основном мы осуществляем массовую передачу входящих потоковых данных через сервис Kinesis Firehose. Наша система является мультитенантной платформой SaaS. Данные входящего потока кликов сохраняют...
11 месяцев назад Sriram V
97
голосов
1
ответ
Существует множество примеров того, как данные сохраняются AWS Firehose в корзину S3 и параллельно передаются в какое-либо приложение обработки (как на картинке выше). Но я не мог
11 месяцев назад Charlie4fun
104
голоса
1
ответ
Я использую агент Amazon Kinesis Agent для управления журналами доступа к журналу nginx с целью нажатия на журнал доступа к Kinesis, который в конечном итоге будет использоваться в Kinesis Analytic...
11 месяцев назад David Smith
60
голосов
3
ответа
Читая документацию обоих предложений (Firehose и Streams), похоже, что Firehose находится "рядом" в режиме реального времени с возможностью задержки 60 секунд между созданием сообщения для его испу...
11 месяцев, 1 неделя назад Joshua Hansen
86
голосов
1
ответ
Я храню данные, созданные из моего веб-приложения в формате Apache Avro. Данные кодируются и отправляются на Apache Kinesis Firehose, который буферизует и записывает данные на Amazon S3 каждые 300 ...
11 месяцев, 1 неделя назад Chris Miller
85
голосов
1
ответ
Я использую Kinesis Firehose для сжатия и сохранения событий на S3. Формат префикса - YYYY/MM/DD/HH в UTC. Эти события, отправленные в Firehose, также содержат время UTC в качестве поля. Используя ...
11 месяцев, 1 неделя назад Tudor Lapusan
61
голос
1
ответ
У меня есть шаблон CloudFormation. Предыдущие смены изменений успешно создали поток кинезий и все перечисленные роли. Теперь я хотел бы добавить поток доставки firehuse. Но мой набор изменений не р...
11 месяцев, 2 недели назад pvales
61
голос
1
ответ
У меня есть ведро, которое используется в качестве места назначения для потока Kinesis Firehose. Firehose автоматически создает префиксы на основе даты в этом ковше, используя формат yyyy/mm/dd/HH ...
11 месяцев, 2 недели назад Henrique Barcelos
61
голос
2
ответа
У меня есть следующее в agent.json { "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "", "flows": [ { "filePattern": "/home/ec2-user/ETLdata/contracts/Delta.csv", "kine...
11 месяцев, 2 недели назад Venkatesh Kandasamy
73
голоса
1
ответ
Я хочу использовать фиксированную версию API AWS Kinesis Firehose вместо того, чтобы использовать только "последние" для версии, где я могу найти список версий API для AWS Kinesis Firehose? return ...
11 месяцев, 2 недели назад EMChamp
85
голосов
2
ответа
Я использую Kinesis Firehose для буферизации данных IoT и записываю их в s3. Firehose записывает буферы в s3 в формате s3://bucket.me.com/YYYY/MM/DD/HH Данные, которые поступают в 10: 59a, могут бы...
11 месяцев, 2 недели назад rynop
96
голосов
2
ответа
Я создал новый поток AWS Kinesis Firehose и я хотел бы создать новый индекс на еженедельной основе. Для этого я должен использовать параметр " Index Rotation при настройке потока. Но должен ли я им...
11 месяцев, 3 недели назад johni
60
голосов
1
ответ
Каков наилучший и самый экономичный способ дедупликации событий, написанных с firehose на s3? Мой сценарий: у меня есть несколько источников, которые записывают свои события как JSON в поток кинези...
11 месяцев, 3 недели назад Chris
61
голос
1
ответ
Ну, у меня есть веб-страница (PHP), которая работает на месте и она доступна из разных стран. Я хотел бы поймать некоторые данные и сохранить их где-нибудь. Я могу обрабатывать внутри команды данны...
11 месяцев, 3 недели назад Andres Urrego Angel
-4
голоса
1
ответ
Я пытаюсь поместить некоторые данные в мой AWS Firehose Stream, но у меня есть некоторые трудности. Я также получаю сообщение об ошибке, что имя моего потока не может быть найдено, хотя оно определ...
11 месяцев, 3 недели назад user2411290
75
голосов
1
ответ
В связи с моим предыдущим вопросом, я заставил своего начальника пойти и позвольте мне настроить DMS из моих существующих postgres в наш новый redshift db для нашей аналитической команды. Следующий...
11 месяцев, 3 недели назад dragos_kai
87
голосов
1
ответ
Исходя из этого вопроса, AWS DynamoDB Stream в Redshift DynamoDB → DynamoDBStreams → Лямбда-функция → Kinesis Firehose → Redshift. Как настроить функцию Kinesis для получения источника функции Lamb...
11 месяцев, 3 недели назад SkyPool392
121
голос
1
ответ
Я пытаюсь сохранить данные в S3 через firehose, проксированные шлюзом API. Я создал конечную точку шлюза API, которая использует тип интеграции службы AWS и действие PutRecord для firehose. У меня ...
11 месяцев, 3 недели назад BBios
85
голосов
1
ответ
Я знаю, что этот вопрос задавался несколько раз в Stack Overflow, но ни один из ответов, которые я читал, не может решить то, что я испытываю. У меня есть сценарий Boto3 для копирования таблицы MyS...
11 месяцев, 3 недели назад Kelvin Low Ee Hahn
74
голоса
1
ответ
Я пытаюсь использовать новую функцию библиотеки KCL в Java для AWS Kinesis, чтобы сделать изящное завершение работы, зарегистрировавшись с помощью выключения, чтобы остановить все процессоры записе...
12 месяцев назад daviddecoding
104
голоса
1
ответ
Я пытаюсь создать поток доставки Firehose из экземпляра EC2 micro. AWS CLI сконфигурирован с ключами доступа для пользователя IAM ABC. У этого пользователя есть политики AWS с полным доступом к fir...
12 месяцев назад Paladin
128
голосов
3
ответа
В нашем проекте планируется использовать dynamo Db для хранения миллионов данных приложения. Затем у меня есть требование для поиска данных в реальном времени и аналитики (не в режиме реального вре...
12 месяцев назад user2891765
62
голоса
1
ответ
У меня есть прецедент, в котором я должен собирать тысячи записей в секунду от разных производителей и подталкивать их к эластичному поиску с использованием AWS firehose. Я также использую преобраз...
1 год назад user2736527
105
голосов
1
ответ
Я использую поток доставки Amazon kinesis firehose для копирования моих данных в redshift. Я использовал поток dynamoDB в качестве источника данных, использовал лямбда- функцию lambda-streams-to-fi...
1 год назад Akash Jain
74
голоса
1
ответ
Кто-нибудь знает о конечном руководстве по преобразованию облачности в yaml в Serverless v1.0? Я могу сделать несколько вещей, но я полностью зациклен на том, как настроить Firehose и позволить лям...
1 год назад jamesw
74
голоса
1
ответ
Я новичок в AWS и хочу отправить пример данных в корзину s3 с помощью Amazon Kinesis из приложения ASP.Net Core 2.2 Web Api. Но я не могу отправить данные. Ниже я попробовал. Шаги, которые я сделал...
1 год назад Unbreakable
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема