Kafka-Producer-Api – вопросы и ответы

75
голосов
3
ответа
Я уже начал изучать Кафку. Попытка основных операций над ним. Я задумался над тем, что касается "брокеров". Моя кафка работает, но когда я хочу создать раздел. from kafka import TopicPartition (ERR...
2 месяца, 2 недели назад Beyhan Gül
61
голос
1
ответ
Я пытаюсь использовать kafka 0.11.0.1 с ssl + acls . Ниже приведены мои настройки. server.properties: broker.id=0 listeners=PLAINTEXT://127.0.0.1:9092,SSL://127.0.0.1:9093 advertised.listeners=SSL:...
2 месяца, 2 недели назад jewel
62
голоса
1
ответ
Нам нужно сортировать использованные записи в искровом потоке потребительской части kafka. Можно ли узнать, что все опубликованные записи потребляются потребителем кафки?
2 месяца, 2 недели назад Rajan
75
голосов
3
ответа
Это мой код Kafka для чтения из файла: public void run() throws ClassNotFoundException, FileNotFoundException, IOException, ParseException{ Properties prop = new Properties(); prop.put(ProducerConf...
2 месяца, 2 недели назад John
86
голосов
1
ответ
Мой продюсер Apache Kafka (0.9.0.1) периодически бросает org.apache.kafka.common.errors.NotLeaderForPartitionException Мой код, который выполняет Kafka send, напоминает это final Future<RecordMe...
2 месяца, 2 недели назад Hector
62
голоса
1
ответ
Я пытаюсь разработать приложение на основе IoT, где несколько устройств будут генерировать данные и отправлять их брокеру Kafka. Возможное количество устройств будет около 60-70 тысяч. Может быть 5...
2 месяца, 2 недели назад Avinash
61
голос
1
ответ
Мой производитель Kafka отправляет данные в формате avro, и я читаю, что с помощью avro-schema (SpinsAvro) и пытается распечатать поток на консоль. Но вывод идет следующим образом: Key имеет значен...
2 месяца, 2 недели назад user8617180
86
голосов
1
ответ
Я хочу создать простое приложение, основанное на данных датчика, с Apache Kafka. Мой вопрос очень прост и связан с основной концепцией apache kafka. Я начинающий в Apache Kafka. Вот мое требование:...
2 месяца, 2 недели назад StM
62
голоса
1
ответ
Я хотел бы четко указать модель Kafka Parallelism для Mirror Maker. Для того, что я понял на стороне потребителя: CONSUMER GROUP - это набор потребителей. Каждый потребитель группы может читать одн...
2 месяца, 2 недели назад Beniamino Del Pizzo
62
голоса
2
ответа
Я пишу продюсера Кафки Он должен читать данные из локальной папки Linux и писать на мою тему Можно ли сделать что-то подобное? Каким будет мой фрагмент кода здесь (в Scala) Бизнес-кейс - Данные в р...
2 месяца, 2 недели назад akash sharma
116
голосов
1
ответ
Im очень новый для Kafka и начал работать над моделью Producer-Consumer. Я написал программу для продюсера Kafka, которая будет читать таблицу из MySQL, и я читаю эти сообщения в командной строке. ...
2 месяца, 2 недели назад Metadata
75
голосов
1
ответ
Я установил свежий zookeeper & kafka. Я начал их обоих. Затем, когда я хочу просмотреть список тем с помощью этой команды: bin/kafka-topics.sh --list --zookeeper localhost 2181 Это дает мне сое...
2 месяца, 2 недели назад Darpan27
96
голосов
1
ответ
Я получаю следующую ошибку в журналах при попытке опубликовать первое сообщение в новой теме. [WARN] [oakafka.clients.NetworkClient] [[Производитель clientId = производитель-1] Ошибка при извлечени...
2 месяца, 2 недели назад enator
97
голосов
1
ответ
Я пытаюсь читать из Kafka и передавать данные в другую очередь kakfa с помощью Spark. Мой первоначальный подход заключается в создании объекта KafkaProducer для каждой записи в разделе RDD, и он ра...
2 месяца, 3 недели назад AKC
75
голосов
1
ответ
когда я запускаю следующую команду с kafka 0.9.0.1, я получаю это предупреждение [1]. Не могли бы вы рассказать мне, что не так с моими темами? (Я говорю с брокером кафки, который работает в ec2) #...
2 месяца, 3 недели назад Ratha
62
голоса
2
ответа
Это вопрос из двух частей. У меня есть список, который будет иметь один элемент в списке listA=["12345"] Я хочу использовать элемент в этом списке для моего postgres поиска. код выглядит так: cur.e...
2 месяца, 3 недели назад Chris X
62
голоса
2
ответа
Создание темы Кафки не выполняется в следующих сценариях: Узел - кластер kafka: 4 Коэффициент репликации: 4 Количество узлов вверх и вниз в кластере: 3 Ниже приведена ошибка: ./kafka-topics.sh --zo...
2 месяца, 3 недели назад dcds
61
голос
1
ответ
мы используем kafka для обработки потока в нашей системе. Структура входных данных\сообщение очень сложна. поэтому как определить структуру входного сообщения. который является наиболее подходящей ...
2 месяца, 3 недели назад Sainse
62
голоса
1
ответ
Мы наблюдаем очень слабую работу с клиентом Java Kafka Producer 0.9 при отправке небольших сообщений. Сообщения не накапливаются в большую пакет запросов, и поэтому каждая небольшая запись отправля...
2 месяца, 3 недели назад Gary Gershon
75
голосов
1
ответ
Публикация на удаленном сервере kafka и попытка использовать сообщения с этого удаленного сервера. (Kafka v 0.90.1) Издательская деятельность отлично работает, но не потребляет. Издатель package or...
2 месяца, 3 недели назад Ratha
62
голоса
1
ответ
Я пытаюсь заставить простого пользователя Kafka работать с использованием Java API v0.9.0.1. Сервер kafka, который я использую, является контейнером докеров, а также версией 0.9.0.1. Ниже приведен ...
2 месяца, 3 недели назад cacois
150
голосов
4
ответа
Я сталкиваюсь с некоторыми серьезными проблемами, пытаясь найти решение для своих нужд, касающееся KafkaConsumer (> = 0,9). Представьте, что у меня есть функция, которая должна читать только n с...
2 месяца, 3 недели назад Asier Aranbarri
62
голоса
1
ответ
Я совершенно новичок в Кафке, поэтому, пожалуйста, несите меня. Вот моя настройка. У меня есть кафка, размещенная на коробке unix. Кластерный. и в домене говорят, что клиент находится на окнах. и я...
2 месяца, 3 недели назад KaSh
124
голоса
1
ответ
Я создал тему с множеством разделов. Используя консольный продюсер, я хочу отправлять сообщения на определенные разделы и просматривать через консольного пользователя. На консольном продюсере я про...
2 месяца, 3 недели назад Amrutha J Raj
114
голосов
1
ответ
У меня следующая проблема: Я установил как можно более базовую конфлюэнтную платформу на AWS, используя только 1 рабочий и брокерский узел. Когда я пытаюсь создавать сообщения, относящиеся к моей т...
2 месяца, 3 недели назад Olivier Thierie
87
голосов
1
ответ
У меня есть прецедент, когда мне нужно создать 3 пользователя, которые могут читать все сообщения из одного или нескольких разделов, отправленных производителем. Мне нужно, чтобы мои 3 потребителя ...
2 месяца, 3 недели назад pratik dhamanekar
75
голосов
1
ответ
Я использую следующий код C++ для создания сообщений в Kafka : #include <thread> #include <cppkafka/producer.h> using namespace cppkafka; int main() { for(int i = 0 ; i < 100 ; i++) ...
2 месяца, 3 недели назад waas1919
62
голоса
1
ответ
У меня есть кластер kafka с определенной темой, в котором было слишком мало разделов, поэтому было собрано большое количество сообщений. После того, как я добавил дополнительные разделы, только нов...
2 месяца, 3 недели назад jaaz jozz
87
голосов
1
ответ
Я хотел бы знать сжатый размер сообщения в кафке. Я использую kafka 1.1.0 и java kafka-connect 1.1.0 для отправки сообщений от моего продюсера на тему. Если сообщение слишком велико для моего продю...
2 месяца, 3 недели назад user1451252
97
голосов
1
ответ
Я пытаюсь записать данные из файла в тему кафки. Мой код выглядит так: Properties properties = new Properties(); properties.put("bootstrap.servers", <bootstrapServers>); properties.put("key.s...
2 месяца, 3 недели назад vatsal mevada
75
голосов
2
ответа
Я пытаюсь создать простого производителя, который создает тему с некоторыми разделами, предоставленными конфигурацией. В соответствии с настройкой Doc Alpakka Producer любое свойство из org.apache....
2 месяца, 3 недели назад Sergio Rodríguez Calvo
62
голоса
2
ответа
Скажем, я публикую и потребляю разные типы java-объектов. Для каждого я должен определить собственные реализации сериализатора. Как мы можем предоставить все реализации в файле свойств kobka/произв...
2 месяца, 3 недели назад Ratha
87
голосов
1
ответ
Я совершенно не знаком с Kafka, и мне нужно настроить ACL для темы, и я пробовал ниже: ./kafka-acls.sh --authorizer-properties zookeeper.connect=localhost:2181 \ --add --allow-principal User:Bob \ ...
2 месяца, 3 недели назад Apollo
75
голосов
1
ответ
Я создаю приложение для потоковой аналитики, в котором каждая аналитика/функциональность будет реализовываться как Microservice, чтобы эта аналитика смогла использовать в другом проекте позже. Я ис...
2 месяца, 3 недели назад Madiha Khalid
87
голосов
1
ответ
питон: 2.6.6 Кафка-питон: 1.4.3 я запустил продюсер кафки, но он всегда подсказывает мне эту ошибку: Traceback (последний последний вызов): Файл "KafkaOperation.py", строка 11, в из кафки импорт Ka...
2 месяца, 3 недели назад Carol Jack
87
голосов
2
ответа
Привет, у меня есть архитектура, похожая на изображение, показанное ниже. У меня есть два производителя кафки, которые будут отправлять сообщения в тему кафки с частыми дублирующимися сообщениями. ...
2 месяца, 3 недели назад ankush reddy
61
голос
1
ответ
Perl kafka Producer, Kafka :: Производитель открывает сокет для каждого сообщения, опубликованного в kafka. Есть ли способ, которого можно избежать. Вот мой код, $connection = Kafka::Connection->...
2 месяца, 4 недели назад RaghavendraB
-4
голоса
1
ответ
Я использую Kafka версии 0.11.0.0 и пытаюсь создать входной поток, загружая данные из файла avro. Но это не позволяет создать экземпляр Producer за исключением: [main] INFO org.apache.kafka.clients...
2 месяца, 4 недели назад Anant Pathak
62
голоса
1
ответ
Я только начал изучать Кафку. Поэтому пытаюсь создать веб-приложение для социальных сетей. Я достаточно четко понимаю, как использовать Kafka для моего бэкэнд (обмениваться данными с базами данных ...
2 месяца, 4 недели назад user3271166
114
голосов
2
ответа
Я написал программу Java, которая использует библиотеки Kafka, я слышал, что у Kafka Producer есть внутренний буфер для хранения сообщения, чтобы он мог повторить его позже. Поэтому я создал Idempo...
2 месяца, 4 недели назад priyam singh
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема