Kafka-Consumer-Api – вопросы и ответы

75
голосов
3
ответа
Я уже начал изучать Кафку. Попытка основных операций над ним. Я задумался над тем, что касается "брокеров". Моя кафка работает, но когда я хочу создать раздел. from kafka import TopicPartition (ERR...
2 месяца, 2 недели назад Beyhan Gül
122
голоса
1
ответ
Есть ли способ связать сообщение с порогом времени в Кафке. Например, потребитель вытаскивает сообщение из Kafka, но система не имеет достаточной информации для обработки. Поэтому я вернул сообщени...
2 месяца, 2 недели назад sc so
76
голосов
1
ответ
Я работаю с простым kafka Consumer в одном из моих проектов, и моя желаемая логика заключается в том, что потребитель не смог обработать какое-либо сообщение, которое оно совершит последним правиль...
2 месяца, 2 недели назад mixermt
62
голоса
1
ответ
Нам нужно сортировать использованные записи в искровом потоке потребительской части kafka. Можно ли узнать, что все опубликованные записи потребляются потребителем кафки?
2 месяца, 2 недели назад Rajan
75
голосов
3
ответа
Я работаю над внедрением решения Kafka для нашего приложения. Согласно документации Kafka, я понимаю, что один потребитель в группе потребителей (которая является потоком) внутренне сопоставляется ...
2 месяца, 2 недели назад Sudharsan
96
голосов
1
ответ
В соответствии с документацией на kafka javadocs , если я: Подписаться на шаблон Создайте тему, соответствующую шаблону Должна произойти перебаланси
2 месяца, 2 недели назад user1118312
129
голосов
1
ответ
Я использую Spring и Spring Kafka для пакетной службы, которая собирает данные из Kafka до тех пор, пока не будут выполнены определенные условия, а затем создает дамп данных. Я хочу подтвердить ком...
2 месяца, 2 недели назад Sherms
87
голосов
1
ответ
Я очень новичок в Кафке. Мы пишем потребителю в нашем текущем приложении, которое использует тему и имеет некоторую обработку потребляемых данных. Я хочу понять, что происходит внутри, когда я пишу...
2 месяца, 2 недели назад Bhaskar
97
голосов
1
ответ
Должен ли я использовать Kafka Consumer API или Kafka Streams API для этого варианта использования? У меня есть тема с несколькими группами потребителей, потребляющими ее. Этот раздел содержит собы...
2 месяца, 2 недели назад mrmannione
61
голос
2
ответа
У меня есть очень простой случай использования kafka, где я сталкиваюсь с проблемой с распределением сообщений между 2 разделами. У меня есть 2 раздела по теме, и у меня есть 2 потребителя для кажд...
2 месяца, 2 недели назад Tukaram Bhosale
75
голосов
1
ответ
Я читал, что kafka предоставляет клиентскую библиотеку-потребитель, которая позволяет восстанавливать данные, сохраняя последнее смещение, прочитанное в zookeeper (не на 100% уверенное в том, где о...
2 месяца, 2 недели назад Jay Cee
86
голосов
2
ответа
Я только начал использовать Кафку. Я столкнулся с небольшой проблемой с потребителем. Я написал потребителя на Java. Я получаю это исключение - IllegalStateException Этот потребитель уже закрыт. Я ...
2 месяца, 2 недели назад Adarsh Trivedi
61
голос
1
ответ
Мой производитель Kafka отправляет данные в формате avro, и я читаю, что с помощью avro-schema (SpinsAvro) и пытается распечатать поток на консоль. Но вывод идет следующим образом: Key имеет значен...
2 месяца, 2 недели назад user8617180
86
голосов
1
ответ
Я хочу создать простое приложение, основанное на данных датчика, с Apache Kafka. Мой вопрос очень прост и связан с основной концепцией apache kafka. Я начинающий в Apache Kafka. Вот мое требование:...
2 месяца, 2 недели назад StM
96
голосов
1
ответ
Можно ли удалить потребительское смещение при использовании нового пользовательского API? bin/kafka-consumer-groups.sh : WARNING: Group deletion only works for old ZK-based consumer groups, and one...
2 месяца, 2 недели назад simao
96
голосов
1
ответ
Я использую Spring Kafka в своем проекте, поскольку это казалось естественным выбором в проекте Spring, чтобы потреблять сообщения Kafka. Чтобы использовать сообщения, я могу использовать интерфейс...
2 месяца, 2 недели назад C-Otto
115
голосов
3
ответа
Я пытаюсь подключить потоки kafka на одном из доступных типов аутентификации поставщиков kafka, это SASL_SSL ниже, это мое application.yml spring: cloud: stream: kafka: binder: brokers: ark-01.srvs...
2 месяца, 2 недели назад Bhanupratap Singh
106
голосов
1
ответ
Я должен войти время потребителя потребляется в весенний кафка. Так как метод kafkaListener выполняется для каждого сообщения, размещение регистратора там не работает. Также иногда несколько сообще...
2 месяца, 2 недели назад Sameer Sinha
62
голоса
1
ответ
Я хотел бы четко указать модель Kafka Parallelism для Mirror Maker. Для того, что я понял на стороне потребителя: CONSUMER GROUP - это набор потребителей. Каждый потребитель группы может читать одн...
2 месяца, 2 недели назад Beniamino Del Pizzo
62
голоса
1
ответ
У меня есть 1 производитель (PublishKafka_0_10 процессор) и 1 потребитель (процессор ConsumerKafka_0_10), чтобы получать потоковый файл из кластера Kafka. Я вижу в Nifi UI admin, общий объем произв...
2 месяца, 2 недели назад Ken Nguyen
122
голоса
1
ответ
Я новичок в Кафке. Пробовав некоторые руки, я столкнулся с двумя проблемами. Было бы очень полезно, если бы кто-нибудь мог посоветовать, как это понимать. Когда я запускаю Kafka из Eclipse, когда я...
2 месяца, 2 недели назад user5566364
61
голос
2
ответа
Можно ли настроить Spark с помощью библиотеки spark-streaming-kafka-0-10 для чтения нескольких разделов Kafka или цельной темы Kafka с одной задачей вместо создания другой задачи Spark для каждого ...
2 месяца, 2 недели назад David Kaczynski
105
голосов
1
ответ
У меня есть экземпляр потребителя Kafka, созданный внутри потока как часть конструктора, и внутри потока внутри метода запуска. Я вызываю различные веб-службы и поддерживаю блокировку вызова. Я исп...
2 месяца, 2 недели назад raghuram gururajan
61
голос
1
ответ
Я использую этот пример Flink CEP, где я отделяю данные, поскольку я создал одно приложение, которое отправляет приложение в Kafka и другое приложение, читающее из Kafka... Я создал производителя д...
2 месяца, 2 недели назад AKSHAY SHINGOTE
123
голоса
1
ответ
Вопрос: как я могу случайно выбрать старый кусок сообщений с заданным диапазоном определения [раздел, начальное смещение, конечное смещение]. Надеемся, что диапазон от нескольких разделов одновреме...
2 месяца, 2 недели назад naviram
88
голосов
1
ответ
Я использую кластер Kafka с 4 узлами, 1 производителем и 1 потребителем. Это работало нормально, пока потребитель не потерпел неудачу. Теперь, после перезапуска потребителя, он начинает потреблять ...
2 месяца, 2 недели назад slightlydev
87
голосов
2
ответа
Мне нужно записывать записи из раздела Kafka в несколько потоков с уникальными записями в каждом потоке для обработки. У меня есть следующий код, я не знаю, в чем была ошибка public class ConsumerT...
2 месяца, 2 недели назад Vigneshwaran
61
голос
1
ответ
нам нужно создавать компактные темы, которые необходимо уплотнять после определенного размера (segment.bytes), но САМ ВАЖНО после определенного времени (segment.ms) прошло (даже если сегмент.bytes ...
2 месяца, 2 недели назад robin bajaj
75
голосов
1
ответ
Я установил свежий zookeeper & kafka. Я начал их обоих. Затем, когда я хочу просмотреть список тем с помощью этой команды: bin/kafka-topics.sh --list --zookeeper localhost 2181 Это дает мне сое...
2 месяца, 2 недели назад Darpan27
62
голоса
1
ответ
Я использую клиентскую библиотеку .NET от Confluent. Мне нужно подключиться к теме и прочитать последнее сообщение, написанное в ней. Я не могу использовать абсолютное смещение, потому что я его не...
2 месяца, 2 недели назад Wasp
105
голосов
1
ответ
Были некоторые недостатки использования SimpleConsumer в предыдущих версиях Kafka 0.8 Вы должны следить за смещениями в своем приложении, чтобы знать, где вы перестали потреблять. Вы должны выяснит...
2 месяца, 3 недели назад Himalay Majumdar
75
голосов
1
ответ
когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Не могли бы вы рассказать мне, что не так с моими темами? (Я говорю с брокером кафки, который работает в ec2) #...
2 месяца, 3 недели назад Ratha
106
голосов
2
ответа
Я хочу создать несколько потребителей или группу потребителей для одной и той же темы. Поскольку мое требование - захватывать события из всех приложений. Если я разворачиваю свой проект в двух разн...
2 месяца, 3 недели назад Tejas 07
62
голоса
2
ответа
Создание темы Кафки не выполняется в следующих сценариях: Узел - кластер kafka: 4 Коэффициент репликации: 4 Количество узлов вверх и вниз в кластере: 3 Ниже приведена ошибка: ./kafka-topics.sh --zo...
2 месяца, 3 недели назад dcds
-4
голоса
1
ответ
Мы предлагаем арку, чтобы использовать kafka в качестве слоя для связи микросервисов с нашим веб-приложением. Но я понимаю, что мы не можем запрашивать или фильтровать данные, которые поступают из ...
2 месяца, 3 недели назад user3342209
105
голосов
1
ответ
Я очень новичок в Кафке. Я создаю две темы и публикую эти две темы от двух продюсеров. У меня есть один потребитель, который потребляет сообщения из обеих тем. Это потому, что я хочу обрабатывать в...
2 месяца, 3 недели назад aviundefined
87
голосов
1
ответ
У меня есть потребитель Kafka, который я хочу приостановить в определенном состоянии, а затем возобновить его позже, чтобы использовать все предыдущее сообщение. Одна идея заключается в использован...
2 месяца, 3 недели назад Rishi Saraf
123
голоса
1
ответ
Допустим, в Кафке у меня есть 4 раздела на тему "А", и у меня есть 20 потребителей группы потребителей "АС". Я не нуждаюсь ни в каком заказе, но я хочу обработать сообщения быстрее, масштабируя мои...
2 месяца, 3 недели назад Satish
75
голосов
2
ответа
Я использую модель производителя Kafka - потребитель в моей структуре. Запись, потребляемая на стороне потребителя, позже индексируется на elasticsearch. Здесь у меня есть прецедент, где, если ES о...
2 месяца, 3 недели назад Vishal Mahuli
75
голосов
1
ответ
Публикация на удаленном сервере kafka и попытка использовать сообщения с этого удаленного сервера. (Kafka v 0.90.1) Издательская деятельность отлично работает, но не потребляет. Издатель package or...
2 месяца, 3 недели назад Ratha
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема