Kafka-Consumer-Api – вопросы и ответы
75
голосов
3
ответа
Я уже начал изучать Кафку. Попытка основных операций над ним. Я задумался над тем, что касается "брокеров". Моя кафка работает, но когда я хочу создать раздел. from kafka import TopicPartition (ERR...
122
голоса
1
ответ
Есть ли способ связать сообщение с порогом времени в Кафке. Например, потребитель вытаскивает сообщение из Kafka, но система не имеет достаточной информации для обработки. Поэтому я вернул сообщени...
76
голосов
1
ответ
Я работаю с простым kafka Consumer в одном из моих проектов, и моя желаемая логика заключается в том, что потребитель не смог обработать какое-либо сообщение, которое оно совершит последним правиль...
62
голоса
1
ответ
Нам нужно сортировать использованные записи в искровом потоке потребительской части kafka. Можно ли узнать, что все опубликованные записи потребляются потребителем кафки?
75
голосов
3
ответа
Я работаю над внедрением решения Kafka для нашего приложения. Согласно документации Kafka, я понимаю, что один потребитель в группе потребителей (которая является потоком) внутренне сопоставляется ...
96
голосов
1
ответ
В соответствии с документацией на kafka javadocs , если я: Подписаться на шаблон Создайте тему, соответствующую шаблону Должна произойти перебаланси
129
голосов
1
ответ
Я использую Spring и Spring Kafka для пакетной службы, которая собирает данные из Kafka до тех пор, пока не будут выполнены определенные условия, а затем создает дамп данных. Я хочу подтвердить ком...
87
голосов
1
ответ
Я очень новичок в Кафке. Мы пишем потребителю в нашем текущем приложении, которое использует тему и имеет некоторую обработку потребляемых данных. Я хочу понять, что происходит внутри, когда я пишу...
97
голосов
1
ответ
Должен ли я использовать Kafka Consumer API или Kafka Streams API для этого варианта использования? У меня есть тема с несколькими группами потребителей, потребляющими ее. Этот раздел содержит собы...
61
голос
2
ответа
У меня есть очень простой случай использования kafka, где я сталкиваюсь с проблемой с распределением сообщений между 2 разделами. У меня есть 2 раздела по теме, и у меня есть 2 потребителя для кажд...
75
голосов
1
ответ
Я читал, что kafka предоставляет клиентскую библиотеку-потребитель, которая позволяет восстанавливать данные, сохраняя последнее смещение, прочитанное в zookeeper (не на 100% уверенное в том, где о...
86
голосов
2
ответа
Я только начал использовать Кафку. Я столкнулся с небольшой проблемой с потребителем. Я написал потребителя на Java. Я получаю это исключение - IllegalStateException Этот потребитель уже закрыт. Я ...
61
голос
1
ответ
Мой производитель Kafka отправляет данные в формате avro, и я читаю, что с помощью avro-schema (SpinsAvro) и пытается распечатать поток на консоль. Но вывод идет следующим образом: Key имеет значен...
86
голосов
1
ответ
Я хочу создать простое приложение, основанное на данных датчика, с Apache Kafka. Мой вопрос очень прост и связан с основной концепцией apache kafka. Я начинающий в Apache Kafka. Вот мое требование:...
96
голосов
1
ответ
Можно ли удалить потребительское смещение при использовании нового пользовательского API? bin/kafka-consumer-groups.sh : WARNING: Group deletion only works for old ZK-based consumer groups, and one...
96
голосов
1
ответ
Я использую Spring Kafka в своем проекте, поскольку это казалось естественным выбором в проекте Spring, чтобы потреблять сообщения Kafka. Чтобы использовать сообщения, я могу использовать интерфейс...
115
голосов
3
ответа
Я пытаюсь подключить потоки kafka на одном из доступных типов аутентификации поставщиков kafka, это SASL_SSL ниже, это мое application.yml spring: cloud: stream: kafka: binder: brokers: ark-01.srvs...
106
голосов
1
ответ
Я должен войти время потребителя потребляется в весенний кафка. Так как метод kafkaListener выполняется для каждого сообщения, размещение регистратора там не работает. Также иногда несколько сообще...
62
голоса
1
ответ
Я хотел бы четко указать модель Kafka Parallelism для Mirror Maker. Для того, что я понял на стороне потребителя: CONSUMER GROUP - это набор потребителей. Каждый потребитель группы может читать одн...
62
голоса
1
ответ
У меня есть 1 производитель (PublishKafka_0_10 процессор) и 1 потребитель (процессор ConsumerKafka_0_10), чтобы получать потоковый файл из кластера Kafka. Я вижу в Nifi UI admin, общий объем произв...
122
голоса
1
ответ
Я новичок в Кафке. Пробовав некоторые руки, я столкнулся с двумя проблемами. Было бы очень полезно, если бы кто-нибудь мог посоветовать, как это понимать. Когда я запускаю Kafka из Eclipse, когда я...
61
голос
2
ответа
Можно ли настроить Spark с помощью библиотеки spark-streaming-kafka-0-10 для чтения нескольких разделов Kafka или цельной темы Kafka с одной задачей вместо создания другой задачи Spark для каждого ...
105
голосов
1
ответ
У меня есть экземпляр потребителя Kafka, созданный внутри потока как часть конструктора, и внутри потока внутри метода запуска. Я вызываю различные веб-службы и поддерживаю блокировку вызова. Я исп...
61
голос
1
ответ
Я использую этот пример Flink CEP, где я отделяю данные, поскольку я создал одно приложение, которое отправляет приложение в Kafka и другое приложение, читающее из Kafka... Я создал производителя д...
123
голоса
1
ответ
Вопрос: как я могу случайно выбрать старый кусок сообщений с заданным диапазоном определения [раздел, начальное смещение, конечное смещение]. Надеемся, что диапазон от нескольких разделов одновреме...
88
голосов
1
ответ
Я использую кластер Kafka с 4 узлами, 1 производителем и 1 потребителем. Это работало нормально, пока потребитель не потерпел неудачу. Теперь, после перезапуска потребителя, он начинает потреблять ...
87
голосов
2
ответа
Мне нужно записывать записи из раздела Kafka в несколько потоков с уникальными записями в каждом потоке для обработки. У меня есть следующий код, я не знаю, в чем была ошибка public class ConsumerT...
61
голос
1
ответ
нам нужно создавать компактные темы, которые необходимо уплотнять после определенного размера (segment.bytes), но САМ ВАЖНО после определенного времени (segment.ms) прошло (даже если сегмент.bytes ...
75
голосов
1
ответ
Я установил свежий zookeeper & kafka. Я начал их обоих. Затем, когда я хочу просмотреть список тем с помощью этой команды: bin/kafka-topics.sh --list --zookeeper localhost 2181 Это дает мне сое...
62
голоса
1
ответ
Я использую клиентскую библиотеку .NET от Confluent. Мне нужно подключиться к теме и прочитать последнее сообщение, написанное в ней. Я не могу использовать абсолютное смещение, потому что я его не...
105
голосов
1
ответ
Были некоторые недостатки использования SimpleConsumer в предыдущих версиях Kafka 0.8 Вы должны следить за смещениями в своем приложении, чтобы знать, где вы перестали потреблять. Вы должны выяснит...
75
голосов
1
ответ
когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Не могли бы вы рассказать мне, что не так с моими темами? (Я говорю с брокером кафки, который работает в ec2) #...
106
голосов
2
ответа
Я хочу создать несколько потребителей или группу потребителей для одной и той же темы. Поскольку мое требование - захватывать события из всех приложений. Если я разворачиваю свой проект в двух разн...
62
голоса
2
ответа
Создание темы Кафки не выполняется в следующих сценариях: Узел - кластер kafka: 4 Коэффициент репликации: 4 Количество узлов вверх и вниз в кластере: 3 Ниже приведена ошибка: ./kafka-topics.sh --zo...
-4
голоса
1
ответ
Мы предлагаем арку, чтобы использовать kafka в качестве слоя для связи микросервисов с нашим веб-приложением. Но я понимаю, что мы не можем запрашивать или фильтровать данные, которые поступают из ...
105
голосов
1
ответ
Я очень новичок в Кафке. Я создаю две темы и публикую эти две темы от двух продюсеров. У меня есть один потребитель, который потребляет сообщения из обеих тем. Это потому, что я хочу обрабатывать в...
87
голосов
1
ответ
У меня есть потребитель Kafka, который я хочу приостановить в определенном состоянии, а затем возобновить его позже, чтобы использовать все предыдущее сообщение. Одна идея заключается в использован...
123
голоса
1
ответ
Можно ли сделать так, чтобы все потребители группы потребляли сообщения со всех разделов темы кафки?
Допустим, в Кафке у меня есть 4 раздела на тему "А", и у меня есть 20 потребителей группы потребителей "АС". Я не нуждаюсь ни в каком заказе, но я хочу обработать сообщения быстрее, масштабируя мои...
75
голосов
2
ответа
Я использую модель производителя Kafka - потребитель в моей структуре. Запись, потребляемая на стороне потребителя, позже индексируется на elasticsearch. Здесь у меня есть прецедент, где, если ES о...
75
голосов
1
ответ
Публикация на удаленном сервере kafka и попытка использовать сообщения с этого удаленного сервера. (Kafka v 0.90.1) Издательская деятельность отлично работает, но не потребляет. Издатель package or...