Apache-Kafka – вопросы и ответы

75
голосов
3
ответа
Я уже начал изучать Кафку. Попытка основных операций над ним. Я задумался над тем, что касается "брокеров". Моя кафка работает, но когда я хочу создать раздел. from kafka import TopicPartition (ERR...
2 месяца, 2 недели назад Beyhan Gül
97
голосов
1
ответ
Могу ли я удалить элемент из моей схемы AVRO, смотрите перечисление ниже, могу ли я удалить его? Причина в том, что я хочу добавить тип списка, который может принимать несколько значений из одного ...
2 месяца, 2 недели назад mrmannione
122
голоса
1
ответ
1 streaming и брокера Kafka версии 0.8.2.1, у меня есть отдельные серверы для искры и кафка на AWS. Использование val directKafkaStream = KafkaUtils.createDirectStream прямой подход val directKafka...
2 месяца, 2 недели назад shrikrishna utpat
61
голос
1
ответ
Я пытаюсь использовать kafka 0.11.0.1 с ssl + acls . Ниже приведены мои настройки. server.properties: broker.id=0 listeners=PLAINTEXT://127.0.0.1:9092,SSL://127.0.0.1:9093 advertised.listeners=SSL:...
2 месяца, 2 недели назад jewel
88
голосов
3
ответа
Я пытаюсь распечатать сообщения, полученные от Kafka через потоки Spark. Тем не менее, я продолжаю сталкиваться со следующей ошибкой: 16/09/04 16:03:33 ERROR ApplicationMaster: класс пользователя б...
2 месяца, 2 недели назад user3357381
76
голосов
1
ответ
Привет, я пытаюсь интегрировать Kafka с потоком Spark. Я хочу найти количество сообщений foreachRDD в JavaDStream. Пожалуйста, найдите приведенный ниже код и дайте мне несколько советов. public cla...
2 месяца, 2 недели назад Jagadeesh
122
голоса
1
ответ
Есть ли способ связать сообщение с порогом времени в Кафке. Например, потребитель вытаскивает сообщение из Kafka, но система не имеет достаточной информации для обработки. Поэтому я вернул сообщени...
2 месяца, 2 недели назад sc so
87
голосов
1
ответ
У нас есть поток данных, проходящих через тему Кафки. Я читал это, используя Spark Streaming. val ssc = new StreamingContext(l_sparkcontext, Seconds(30)) val kafkaStream = KafkaUtils.createStream(s...
2 месяца, 2 недели назад Balaji Krishnan
87
голосов
2
ответа
Мы каждый день получаем новые файлы из приложений в виде csv, которые хранятся на сервере Windows, скажем, c: /program files (x86)/webapps/apachetomcat/.csv, каждый файл имеет разные данные в нем, ...
2 месяца, 2 недели назад Deno George
62
голоса
1
ответ
Когда я пытаюсь использовать сообщение из темы kafka с использованием искрового потока, получившего следующую ошибку scala> val kafkaStream = KafkaUtils.createStream(ssc, "<ipaddress>:2181...
2 месяца, 2 недели назад Pragya Raj
62
голоса
1
ответ
В моей топологии учета времени в окне процесса скорость ввода составляет 2000 кортежей/с. Размер окна моего count_bolt составляет 3 с и 1 с лагом. Из пользовательского интерфейса видно, что существ...
2 месяца, 2 недели назад Cheng Jiang
76
голосов
1
ответ
Я работаю над проектом для бизнес-аналитики в реальном времени, и я использую эластичную стеклянную искровую струю и кафку? но мне интересно, могу ли я использовать redis вместо kafka, потому что к...
2 месяца, 2 недели назад Drissi Yazami
88
голосов
1
ответ
В последнее время я просматриваю обработку данных в реальном времени с помощью бури, флинка и т.д. Все архитектуры, которые я использовал, используют kafka как слой между источниками данных и поток...
2 месяца, 2 недели назад fady taher
77
голосов
1
ответ
Я работаю с простым kafka Consumer в одном из моих проектов, и моя желаемая логика заключается в том, что потребитель не смог обработать какое-либо сообщение, которое оно совершит последним правиль...
2 месяца, 2 недели назад mixermt
75
голосов
1
ответ
Я хочу использовать kafka connect и spark streaming для вставки в elasticsearch, а затем визуализировать с помощью kibana для использования BI-приложения, пожалуйста, вы можете помочь мне, я не зна...
2 месяца, 2 недели назад Drissi Yazami
86
голосов
2
ответа
Я хотел бы отправить и вернуть данные от Kafka в одном вызове API (см. диаграмму ниже). Возможно ли это? Я уже знаю, как сделать данные в одном направлении (например, Spark Streaming считывает данн...
2 месяца, 2 недели назад user554481
75
голосов
1
ответ
Я обрабатываю поток Kafka с помощью Flink SQL, где каждое сообщение извлекается из Kafka, обрабатывается с помощью flink sql и отправляется обратно в kafka. Я хотел, чтобы вложенные выходные данные...
2 месяца, 2 недели назад Mohit
97
голосов
3
ответа
Док кафки дает подход со следующим описанием: Один потребитель в потоке: простой вариант - предоставить каждому потоку собственный экземпляр пользователя. Мой код: public class KafkaConsumerRunner ...
2 месяца, 2 недели назад Acceml
62
голоса
1
ответ
Нам нужно сортировать использованные записи в искровом потоке потребительской части kafka. Можно ли узнать, что все опубликованные записи потребляются потребителем кафки?
2 месяца, 2 недели назад Rajan
114
голосов
1
ответ
Я собираюсь настроить экземпляр Amazon ec2 для kafka, и я собираюсь обработать около 100 сообщений в секунду (7 дней хранения). На данный момент я начну с одиночной машины (брокера). Я хочу знать, ...
2 месяца, 2 недели назад Mohammad Shahid
87
голосов
1
ответ
Я огляделся вокруг, но не нашел удовлетворительного ответа на это. Может быть, я что-то упустил. Пожалуйста, помогите. У нас есть приложение Spark streaming, использующее тему Kafka, которая должна...
2 месяца, 2 недели назад TroubleShooter
75
голосов
1
ответ
Я получил грязный код с дебезием: "doulist_name": "2013 豆ç"£ç"µå½±ã€�å�£ç¢‘榜】" Есть китайские слова в базе данных mysql, я использую debezium для отправки данных в kafka. Я нашел, что китайск...
2 месяца, 2 недели назад feng
62
голоса
1
ответ
Я использую следующие настройки Kafka: val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "10.30.3.41:9092,10.30.3.42:9092,10.30.3.43:9092", "key.deserializer" -> classOf[StringDes...
2 месяца, 2 недели назад marios
86
голосов
1
ответ
В настоящее время я пытаюсь использовать соединение KStream для KTable для обогащения темы Kafka. Для моего доказательства концепции у меня в настоящее время есть поток Kafka с примерно 600 000 зап...
2 месяца, 2 недели назад mattdonders
106
голосов
1
ответ
Я получил следующую архитектуру, которую я пытаюсь улучшить. Я получаю поток изменений БД, которые заканчиваются в сжатой теме. Поток - это в основном пары ключ/значение, а пространство ключей вели...
2 месяца, 2 недели назад user1549692
75
голосов
3
ответа
Это мой код Kafka для чтения из файла: public void run() throws ClassNotFoundException, FileNotFoundException, IOException, ParseException{ Properties prop = new Properties(); prop.put(ProducerConf...
2 месяца, 2 недели назад John
61
голос
1
ответ
У меня есть приложение, которое читается на страницах Kafka. Теперь мне нужно отправить их в HDFS с помощью соединителя Kafka: http://docs.confluent.io/2.0.0/connect/connect-hdfs/docs/index.html Дл...
2 месяца, 2 недели назад NoName
97
голосов
1
ответ
Я очень новичок в apache kafka, и я пытаюсь сделать разделы kafka, отправляя свою строку в kafka, делая то же самое, что и здесь public class Producer { public static void main(String[] argv)throws...
2 месяца, 2 недели назад Amith sharma
86
голосов
4
ответа
Привет, может кто-нибудь помочь в предоставлении соединений для этого Java-кода с помощью Kafka Connections Спасибо в Advance package example.producer; import java.io.BufferedReader; import java.io...
2 месяца, 2 недели назад syed jameer
75
голосов
3
ответа
Я работаю над внедрением решения Kafka для нашего приложения. Согласно документации Kafka, я понимаю, что один потребитель в группе потребителей (которая является потоком) внутренне сопоставляется ...
2 месяца, 2 недели назад Sudharsan
107
голосов
1
ответ
Я новичок в Docker. Также новинка для NiFi и Kafka... Вопрос: Как мне управлять Avro с помощью стека Docker? Я устанавливаю Avro для каждого изображения, которое я создаю в файле docker-compose.yml...
2 месяца, 2 недели назад PANDA Stack
76
голосов
3
ответа
Я фактически работаю над настройкой простой аутентификации Kafka с использованием SASL Plain Text и добавлением авторизации ACL. Но у меня проблема, когда я пытаюсь использовать данные. [main] INFO...
2 месяца, 2 недели назад M. Situation
61
голос
1
ответ
Я создаю приложение для электронной торговли, где в настоящее время я имею дело с двумя каналами данных: заказы на исполнение и нарушенные продажи. Сломанная продажа будет неправильным исполнением ...
2 месяца, 2 недели назад Jagannath Rajagopal
106
голосов
2
ответа
Может ли кто-то объяснить значение partition.duration.ms и flushsize в нижней конфигурации. Какова должна быть идея создания этих свойств? "connector.class": "io.confluent.connect.s3.S3SinkConnecto...
2 месяца, 2 недели назад Raghav salotra
97
голосов
2
ответа
У меня есть Kafka Producer, который отправляет записи Avro в "тестовую" тему. У меня также есть Schema Registry, в котором хранится каждая схема записи. После этого я использую команду kafka-avro-c...
2 месяца, 2 недели назад manuel mourato
61
голос
2
ответа
Мы устанавливаем ksql с помощью Docker. Но он бросает Exception in thread "main" io.confluent.ksql.util.KsqlException: Unable to check broker compatibility against a broker without any topics Это с...
2 месяца, 2 недели назад FatHang Wong
62
голоса
1
ответ
Я новичок в Kafka Streams. Сейчас я пытаюсь понять основные принципы этой системы. Это цитата из следующей статьи https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simp...
2 месяца, 2 недели назад alexanoid
96
голосов
1
ответ
В соответствии с документацией на kafka javadocs , если я: Подписаться на шаблон Создайте тему, соответствующую шаблону Должна произойти перебаланси
2 месяца, 2 недели назад user1118312
62
голоса
1
ответ
List<NewTopic> newKafkaTopicsList = new List<NewTopic>; NewTopic newTopic = new NewTopic("topicName", getPartitionCount(), getReplicationFactor()); newKafkaTopicsList.add(newTopic) Ниже...
2 месяца, 2 недели назад Bharat
129
голосов
1
ответ
Я использую Spring и Spring Kafka для пакетной службы, которая собирает данные из Kafka до тех пор, пока не будут выполнены определенные условия, а затем создает дамп данных. Я хочу подтвердить ком...
2 месяца, 2 недели назад Sherms
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема