Apache-Kafka – вопросы и ответы

64
голоса
1
ответ
У меня мало вопросов об искровом потоке с Kafka и HBase. Ниже моя программа для искрообразования, здесь я использую конфигурации zookeeper для подключения к Kafka и Hbase. Нам действительно нужна э...
1 месяц, 3 недели назад nilesh1212
76
голосов
2
ответа
Я пытаюсь присоединиться к 2 KTables. KTable<String, RecordBean> recordsTable = builder.table(Serdes.String(), new JsonPOJOSerde<>(RecordBean.class), bidTopic, RECORDS_STORE); KTable<...
1 месяц, 3 недели назад Дмитрий Карпов
266
голосов
11
ответов
Мне нужно удалить тему test в Apache Kafka 0.8.1.1. Как указано в документации здесь , я выполнил: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Однако это приводит к следующ...
1 месяц, 3 недели назад EmPak5
83
голоса
1
ответ
Я пытаюсь реализовать способ произвольного доступа к сообщениям из Kafka, используя KafkaConsumer.assign (раздел), KafkaConsumer.seek (раздел, смещение). А затем прочитайте опрос для одного сообщен...
1 месяц, 3 недели назад vlast3k
106
голосов
2
ответа
Я пытаюсь экспериментировать с группами потребителей Вот мой фрагмент кода public final class App { private static final int INTERVAL = 5000; public static void main(String[] args) throws Exception...
1 месяц, 3 недели назад venkat sam
130
голосов
3
ответа
Spark 2.2 представил структурированный потоковый источник Kafka. Насколько я понимаю, он полагается на контрольную точку HDFS для хранения смещений и гарантирует доставку сообщений "точно один раз"...
1 месяц, 3 недели назад dnaumenko
66
голосов
1
ответ
Я новичок в Кафке, и есть некоторые вещи, которые мне непонятно. Брокер Kafka снизится, и производитель снизится. Брокер Kafka снизится, потребитель пойдет вниз. Если мы начнем со смещения, которог...
1 месяц, 3 недели назад Vaishu13
52
голоса
2
ответа
У меня есть изображение камуфляжа, которое работает на Pod на кластере minikube k8 на моем mac. У меня есть 2 разных сервиса, чтобы открыть порт 8081 для реестра схем и 9092 для брокера. Я сопостав...
1 месяц, 3 недели назад Akhilanand Benkal Venkanna
82
голоса
6
ответов
Как загрузить данные таблицы оракула в тему кафки? я сделал некоторые исследования и узнал, я должен использовать CDC-инструмент, но все инструменты CDC - это платная версия, может ли кто-нибудь пр...
1 месяц, 3 недели назад Priyanka Marihal
75
голосов
1
ответ
Я использую Spring Boot 2.1.4, Kafka и React в качестве пользовательского интерфейса. У меня есть процесс регистрации пользователя из пользовательского интерфейса, который требует бэкэнд-процесс и ...
1 месяц, 3 недели назад Swordfish
83
голоса
1
ответ
Я пытаюсь создать Kafka Producer в karaf 4.0.3. ClassLoader currentLoader; try{ currentLoader = Thread.currentThread().getContextClassLoader(); Thread.currentThread().setContextClassLoader(null); P...
1 месяц, 3 недели назад Sanjeev
65
голосов
1
ответ
Мы модифицировали Kafka Connect JDBC для поддержки настраиваемого конвертера, который преобразует один SinkRecord в несколько SinkRecords, чтобы поддерживать транзакционные вставки. При создании пр...
1 месяц, 3 недели назад Edmondo1984
98
голосов
2
ответа
Мне нужно установить экземпляр потока данных Spring Cloud на сам мастер-сервер, или это устанавливается автоматически "как часть развертывания"? Это не совсем понятно из описания на
1 месяц, 3 недели назад benjist
93
голоса
1
ответ
Возможно ли, чтобы один экземпляр производителя Kafka делился между несколькими потоками для отправки сообщений на несколько тем? Есть ли проблема параллелизма, о которой я мог бы знать раньше?
1 месяц, 3 недели назад preetham
74
голоса
1
ответ
У меня есть тема, состоящая из n разделов. Чтобы распределенная обработка создала два процесса на разных машинах. Они подписываются на тему с одинаковым идентификатором groupd и выделяют n/2 потока...
1 месяц, 3 недели назад Sumit Jain
53
голоса
1
ответ
Просто интересно, какие проблемы я могу столкнуться при написании слоя сохранения с помощью Kafka Streams Builder или каких-либо предложений по использованию, таких как Kafka Connect JDBC (Sink)?
1 месяц, 3 недели назад Evilguy
89
голосов
1
ответ
Мой ниже код дает ошибку row.key и row.value при чтении формата AVRO от производителя в потоке искровой структуры. помогите решить проблему. Я получаю ошибку, поскольку символ row.key и row.value н...
1 месяц, 3 недели назад pawan likhi
53
голоса
1
ответ
У меня есть кластер kafka, получающий сообщения. message - это байтовый массив zip файла. zip файл содержит двоичные файлы данных protobuf в качестве записей. Я читаю zip файл и пытаюсь десериализо...
1 месяц, 3 недели назад vector
64
голоса
1
ответ
Я пытаюсь прочитать строку, переданную из kafka через Spark streaming. Входящая запись имеет 4 столбца, а один из столбцов имеет символы новой строки, а в ней - двойные кавычки пример a ,b , "hi ho...
1 месяц, 3 недели назад brucewayne
53
голоса
1
ответ
Я не могу удалить/переназначить/внести изменения в темы без лидера воспроизведения: Создать тему с ReplicationFactor = 1 Завершение работы только одного брокера Используйте kafka-topic --delete, чт...
1 месяц, 3 недели назад Peter Chan
105
голосов
1
ответ
Я читаю следующий документ: и пытаюсь запустить код: @SpringBootApplication public class Application implements CommandLineRunner { public static Logger logger = LoggerFactory.getLogger(Application...
1 месяц, 3 недели назад gstackoverflow
83
голоса
1
ответ
Я использую низкоуровневый процессор API. У меня есть тема с 6 разделами. В классе, реализующем Processor<K,V> , я определил некоторые переменные класса (нестатические). Я понимаю, что будет ...
1 месяц, 3 недели назад Raman
63
голоса
2
ответа
Предоставлен раздел, содержащий n разделов. Есть ли способ, с помощью которого слушатель Spring KafkaConsumer прослушивает несколько сообщений из одного/одного раздела за один раз? Я попробовал Con...
1 месяц, 3 недели назад Rites
55
голосов
1
ответ
У меня есть искровой кадр данных с приведенной ниже схемой и пытаюсь передать этот файл данных кафке с помощью Avro '''root |-- clientTag: struct (nullable = true) | |-- key: string (nullable = tru...
1 месяц, 3 недели назад Vinil
84
голоса
1
ответ
Я тестирую элементарный транзакционный случай, но он остается на production.initTransaction(); Может ли какая-либо конфигурация быть неправильной? public static void main(String[] argv) throws Exce...
1 месяц, 3 недели назад Silvio Papa
90
голосов
2
ответа
У меня есть работа flink, которая читает данные из Kafka, выполняет определенные агрегации и записывает результаты в индексы эластичного поиска. Я вижу высокое противодавление на источнике. Высокое...
1 месяц, 3 недели назад aarora
104
голоса
1
ответ
Я собираюсь использовать kafka как систему обмена сообщениями. Все еще не хватает следующих точек в моем сознании. Сколько брокеров я могу получить на одной машине? Имеет ли смысл иметь больше #rep...
1 месяц, 3 недели назад Hello lad
77
голосов
1
ответ
Архитектура похожа на это, существует несколько приложений, которые обращаются к некоторому набору реляционных баз данных. Но некоторые приложения требуют больших объединений, что увеличивает время...
1 месяц, 3 недели назад Akshay Arora
90
голосов
1
ответ
connect-standalone.properties connector.class=io.confluent.connect.jdbc.JdbcSourceConnector bootstrap.servers=10.33.62.20:9092,10.33.62.110:9092,10.33.62.200:9092 key.converter=org.apache.kafka.con...
1 месяц, 3 недели назад mukul
66
голосов
1
ответ
Я работаю над случаем использования kafka, где мне нужно иметь транзакционную семантику на стороне производителя и потребителя. Я могу публиковать транзакционные сообщения с использованием API тран...
1 месяц, 3 недели назад Sagar Kadu
92
голоса
3
ответа
Я новый пользователь Apache Kafka, и я все еще узнаю внутренности. В моем случае мне нужно увеличить количество разделов темы динамически от клиента Kafka Producer. Я нашел другое подобное question...
1 месяц, 3 недели назад kudoXI
195
голосов
1
ответ
Я играю с Kafka-Connect . У меня HDFS connector работает как в автономном режиме, так и в
1 месяц, 3 недели назад hba
77
голосов
1
ответ
Есть ли способ запустить потребителя из определенного смещения, используя начальные свойства, которые мы передаем Я знаю, что есть props.put("auto.offset.reset", "самый ранний"), но это приводит ме...
1 месяц, 3 недели назад Arafat Nalkhande
53
голоса
1
ответ
Я использую kafka как event-store. Хотя события никогда не должны удаляться, я хочу знать лучшую стратегию удаления конкретных событий от kafka в случаях, когда журналы растут слишком сильно. Событ...
1 месяц, 3 недели назад user2108278
83
голоса
1
ответ
Я использую искрообразование с Kafk, и я пытаюсь получить тему сообщения Kafka, используя этот подход: val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, Tup...
1 месяц, 3 недели назад Clairton Menezes
66
голосов
2
ответа
У меня есть брокер kafka, обновленный с 0,8 до 0,11, и теперь я пытаюсь обновить код ошибки искрообразования, чтобы быть совместимым с новым kafka -I am, используя искру 1.6. 2-. Я много искал для ...
1 месяц, 3 недели назад Karim Tawfik
93
голоса
3
ответа
Интересно, можем ли мы предоставить некоторые API REST от Kafka, которые можно использовать для проверки работоспособности или что-то в этом роде? Если не нашли ни одного блога, дающего соответству...
1 месяц, 3 недели назад the_way
66
голосов
1
ответ
Одна из моих тем содержит строку-json в качестве ключа - {"city": "X", "id": 22}. В моем заявлении ksql я хочу извлечь его в 2 разных поля, а не один, чтобы потом фильтровать и присоединяться. В до...
1 месяц, 3 недели назад andrew shved
111
голосов
2
ответа
Я подключаюсь к базе данных Microsoft SQL Server с использованием стандартного соединителя JDBC Confluent и драйвера Microsoft JDBC. Для одной конкретной таблицы, устанавливаю ли я свой mode=timest...
1 месяц, 3 недели назад Collin
-4
голоса
1
ответ
У меня есть приложение загрузки весны, которое имеет слушателя следующим образом: @KafkaListener(id = "demo", topics = "demo", containerFactory = "retryKafkaListenerContainerFactory") public void r...
1 месяц, 3 недели назад Venu Chitta
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема