Kafka-Python – вопросы и ответы

75
голосов
3
ответа
Я уже начал изучать Кафку. Попытка основных операций над ним. Я задумался над тем, что касается "брокеров". Моя кафка работает, но когда я хочу создать раздел. from kafka import TopicPartition (ERR...
2 месяца, 2 недели назад Beyhan Gül
150
голосов
4
ответа
Я сталкиваюсь с некоторыми серьезными проблемами, пытаясь найти решение для своих нужд, касающееся KafkaConsumer (> = 0,9). Представьте, что у меня есть функция, которая должна читать только n с...
2 месяца, 3 недели назад Asier Aranbarri
62
голоса
1
ответ
Мне нужно периодически выгружать вывод потребителя kafka в файл excel. Я использую следующий код: from kafka import KafkaConsumer from kafka import KafkaProducer import json,time from xlutils.copy ...
2 месяца, 4 недели назад user2867237
107
голосов
1
ответ
В PubMed Data Source мне нужно нажать Output в очередь Kafka. Каждый источник можно рассматривать как тему Kafka. (Я знаю понятия в Кафке и изучал Кафку с помощью Python) Я могу просматривать PubMe...
3 месяца назад Soundarya Thiagarajan
98
голосов
1
ответ
Я использую модуль python-kaka для использования от брокера kafka. Я хочу использовать одну и ту же тему с параллельным числом разделов 'x'. В документации есть следующее: # Use multiple consumers ...
3 месяца назад red_devil
76
голосов
1
ответ
Я использую тему Python Kafka. Есть ли какой-либо продюсер, который может обновить сообщение в очереди в Kafka и снова добавить его в начало очереди? Согласно спецификации Кафки, это не представляе...
3 месяца назад Prannoy Mittal
62
голоса
1
ответ
Я пытаюсь постоянно потреблять события от кафки. Это же приложение также использует эти потребляемые данные, чтобы выполнить некоторый анализ и обновить базу данных с n-секундными интервалами (пред...
3 месяца, 1 неделя назад anonuser0428
87
голосов
1
ответ
Я пытаюсь установить Kafka-Python в свой MacBook, но не могу этого сделать. Ниже приведена версия программного обеспечения, установленного на моем MacBook. Mac Sierra Python 3.7.0a4 Python 2.7.10(D...
3 месяца, 1 неделя назад Chandan
122
голоса
1
ответ
Я хотел бы знать, как проверить связь с кафкой: позвольте мне объяснить лучше: У меня есть один KafkaConsumer, который ждет, чтобы потреблять сообщения, пусть предположим, что соединение kafka пока...
3 месяца, 1 неделя назад Prisco
115
голосов
1
ответ
Я использую пакет kafka-python для публикации сообщений в облачном кластере kafka. Мой код выглядит следующим образом: from kafka import KafkaProducer producer=KafkaProducer( bootstrap_servers='pkc...
3 месяца, 1 неделя назад Luckylukee
106
голосов
1
ответ
Я использовал потоки Kafka в Java. Я не мог найти аналогичный API в python. Поддерживает ли Apache Kafka обработку потока в python?
3 месяца, 1 неделя назад user3126637
61
голос
1
ответ
У меня возникла проблема с подключением к моему серверу kafka, когда мое приложение для фляшек работает с uwsgi/nginx. Когда я запускаю приложение с помощью python в командной строке, все проходит ...
3 месяца, 1 неделя назад Matt Viss
86
голосов
1
ответ
У меня есть следующий сценарий pyspark, который предположительно подключается к локальному кластеру kafka: from pyspark import SparkConf, SparkContext from operator import add import sys from pyspa...
3 месяца, 2 недели назад Eugene Goldberg
167
голосов
7
ответов
До сих пор я не видел клиента python, который явно реализует создание темы без использования параметра конфигурации для автоматического создания тем.
1 год назад jpgerek
75
голосов
2
ответа
У меня есть кластер Kafka10 с SASL_SSL (аутентификация (JAAS) и авторизация). Возможность подключения через SASL с использованием клиента Java с нижерасположенными реквизитами. ssl.keystore.locatio...
1 год назад user1578872
88
голосов
3
ответа
Я пытаюсь отправить очень простой объект JSON через Kafka и прочитать его с другой стороны, используя Python и kafka-python. Тем не менее, я продолжаю видеть следующую ошибку: 2017-04-07 10:28:52,0...
1 год назад jencoston
76
голосов
1
ответ
Следующее приложение представляет собой простой потребитель, который печатает все сообщения на консоли. #!/usr/bin/env python import confluent_kafka consumer = confluent_kafka.Consumer({ 'bootstrap...
1 год назад Christian Will
107
голосов
1
ответ
У меня есть производитель kafka, принадлежащий клиенту с clientid - "p1", а квота - 50 Мбит/с. Теперь я тестировал производительность моего продюсера, используя "bin/kafka-producer-perf-test.sh", и...
1 год назад brokendreams
75
голосов
3
ответа
Я пытаюсь запустить простое приложение python, которое общается с kafka. Я ищу для этого использование альпийского контейнера. Здесь мой текущий файл докеров (он не оптимален... просто пытается зас...
1 год назад ashic
86
голосов
1
ответ
Некоторые из моих потребителей Kafka (но не все) показывают интересную картину их отставания. На следующем рисунке показаны два хороших примера:
1 год назад Tobias Hermann
62
голоса
1
ответ
У меня есть работающий и протестированный кластер Kafka, и я пытаюсь использовать скрипт Python для отправки сообщений брокерам. Это работает, когда я использую оболочку Python3 и вызываю метод про...
1 год назад Tex
62
голоса
2
ответа
Я пытаюсь настроить многоуровневый кластер Kafka-0.8.2.2 с 1 производителем, 1 потребителем и 3 брокерами на разных машинах. При создании темы на producer я получаю сообщение об ошибке как org.apac...
1 год назад Moinuddin Quadri
62
голоса
1
ответ
У меня проблемы с опросом сообщений от Kafka в группе потребителей. Мой потребительский объект присваивает заданный раздел с self.ps = TopicPartition(topic, partition ) и после этого потребитель пр...
1 год, 1 месяц назад soa
115
голосов
1
ответ
нижеприведенный ниже потребительский потребитель con работает отлично, когда я пытаюсь получать сообщения из моей темы; однако, это создает мне проблемы, когда я пытаюсь изменить смещение с помощью...
1 год, 1 месяц назад r2d2oid
62
голоса
1
ответ
Я перемолвил смещение выборки для одного потребителя Kafka в группе G1 до off1 следующим кодом: consumer1.set_topic_partitions((topic, partition, off1)) В вышеприведенной строке off1 смещен самым с...
1 год, 1 месяц назад Joy
76
голосов
1
ответ
У меня есть приложение, которое использует Kafka 1.0 в качестве очереди. Тема Kafka состоит из 80 разделов и 80 пользователей. (Потребители Kafka-python). Запустив команду: ./bin/kafka-consumer-gro...
1 год, 1 месяц назад ashdnik
75
голосов
2
ответа
Недавно я попытался использовать сообщения из темы Kafka и был встречен следующим сообщением об ошибке: [2016-08-15 17:56:05,025] INFO Closing socket connection to /192.168.34.11. (kafka.network.Pr...
1 год, 1 месяц назад mchen.ja
172
голоса
5
ответов
Я использую Python высокого уровня для Kafka и хочу знать последние смещения для каждого раздела темы. Однако я не могу заставить его работать. from kafka import TopicPartition from kafka.consumer ...
1 год, 1 месяц назад Saket
97
голосов
1
ответ
Я новичок в кафке, поэтому простите меня, если этот вопрос тривиален. У меня очень простая настройка для проведения тестов времени: Машина A → пишет в тему 1 (Брокер) → Машина B читает из темы 1 Ма...
1 год, 1 месяц назад Mohammad Ahmad
62
голоса
1
ответ
Как включить enable.idempotency или изменить параметр processing.guarantee на exact_once в python3.6 для confluent kafka v0.11.4. Многие документы из конфлюентной кафки говорят только о Scala и Jav...
1 год, 1 месяц назад Hridesh
87
голосов
1
ответ
При попытке подключения с ssl к kafka с помощью kafka-python Im получает следующую ошибку: Traceback (most recent call last): File "server.py", line 23, in <module> kafka_producer = SimpleKaf...
1 год, 1 месяц назад Urban48
76
голосов
1
ответ
Я использую многопроцессор Python (2.7) для передачи данных в очередь Kafka с помощью kafka-python (1.3.5) KafkaProducer. from kafka import KafkaProducer import multiprocessing # other imports clas...
1 год, 1 месяц назад user_565656
87
голосов
3
ответа
Я пытаюсь передать данные с кафки, чтобы исправить поток. Это то, что я сделал до сих пор: Установлены как kafka , так и spark Начинается zookeeper со свойствами по умолчанию config Начинается kafk...
1 год, 1 месяц назад HackCode
87
голосов
1
ответ
env: centos, python2.7.9 kafka-python == 0.9.3 six == 1.9.0 Я новичок в kafka, я просто пытаюсь пример программы и становлюсь ниже ошибки. Любая помощь будет оценена по достоинству. Код вызывает ош...
1 год, 1 месяц назад Ao.L
96
голосов
1
ответ
Я пытаюсь создать приложение с kafka-python, где потребитель читает данные из целого ряда тем. Крайне важно, чтобы потребитель никогда не читал одно и то же сообщение дважды, но также никогда не пр...
1 год, 1 месяц назад Steven Van Dorpe
63
голоса
2
ответа
У меня есть простой объект JSON, например: d = { 'tag ': 'blah', 'name' : 'sam', 'score': {'row1': 100, 'row2': 200 } } Ниже приведен код Python, который отправляет сообщения Kafka from kafka impor...
5 лет, 8 месяцев назад Rahul
87
голосов
3
ответа
Из примера AvroProducer в AvroProducer confluent-kafka-python представляется, что схема ключа/значения загружается из файлов. То есть из этого кода: from confluent_kafka import avro from confluent_...
3 года, 11 месяцев назад Kode Charlie
62
голоса
1
ответ
Я использую Kafka ( kafka-python ) версию 3.0.0-1.3.0.0.p0.40. Мне нужно настроить потребителя для темы "симуляция" в Python. Когда я не укажу group_id, т.е. group_id = None, он получает сообщения ...
2 года, 6 месяцев назад Alexander Komarov
62
голоса
1
ответ
У меня есть ошибка при подключении к kafka brokers в конфлюентном журнале консоли. [2018-03-22 11:46:03,545] WARN Failed to send SSL Close message (org.apache.kafka.common.network.SslTransportLayer...
3 года назад Carlos Osvaldo Chao Cortes
-4
голоса
0
ответов
Мой брокер kafka продолжает пересылать одно и то же сообщение снова и снова, хотя в моем коде нет сбоев. После устранения неполадок я понял, что это происходит только с сообщениями, которые мой пот...
2 года, 2 месяца назад user6434902
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема