Apache-Kafka – вопросы и ответы

0
голосов
1
ответ
Когда я использую kafka для запуска Kylin Stream, я получил следующее исключение в качестве изображения, надеюсь, что кто-то может мне помочь, очень спасибо: введите описание изображения здесь
2 года, 5 месяцев назад Jun Pan
1
голос
0
ответов
Я пытаюсь запустить этот образец кода производителя kafka в scala SBT, но я все равно получаю эту ошибку. Я вижу, что класс доступен у kafka-клиентов версии 0.11.0.0. Я новичок в SBT и KAFKA, и я п...
2 года, 4 месяца назад Ashish Kumar
4
голоса
1
ответ
Пытался запустить производителя Кафки на одной машине и потребителя на другой машине. Задайте следующие свойства: advertised.host.name advertised.port Но получив следующую ошибку для пользователя к...
3 года, 10 месяцев назад GKVM
0
голосов
0
ответов
Я создал сервис SpringBoot, который использует SpringCloud @StreamListener для обработки сообщений kafka. Предположим, у меня есть тема кафки, по которой уже опубликовано много сообщений. Мой потре...
9 месяцев, 2 недели назад OlivierTerrien
0
голосов
1
ответ
Недавно я работал над проектом, в котором я должен собирать данные для изменения в кэше postgres db. После некоторого поиска я обнаружил, что могу использовать Embedded-Debezium для обнаружения все...
2 года, 7 месяцев назад larnouch
2
голоса
1
ответ
Я создаю кластер apache для своих нужд, и большинство из них без гражданства. Но есть одна ситуация, из-за которой мне действительно нужно состояние. Чтобы объяснить, скажем, я храню каждый открывш...
2 года, 10 месяцев назад Mohammedparvez Shaikh
0
голосов
1
ответ
Я пытаюсь использовать прецедент с Kafka и Spark с помощью Scala. Я построил потребитель и продюсер, используя kafka libs, и теперь я создаю процессор данных для подсчета слов, используя Spark. Вот...
1 год, 11 месяцев назад Felipe Oliveira Gutierrez
1
голос
1
ответ
Я пытаюсь интегрировать Flume и Kafka, где Flume берет файл данных и толкает в Kafka, а затем в Spark. Я видел этот файл конфигурации из блога и назывался flafka.conf: tier1.sources = source1 tier1...
4 года назад Katie
2
голоса
1
ответ
Я пытаюсь отправить сообщение через продюсер консоли kafka. Но я не могу набирать сообщения более 4095 символов. Пробовал искать, есть ли какое-либо свойство, связанное с этим на производителе или ...
3 года, 5 месяцев назад user2714361
0
голосов
0
ответов
Я пытаюсь разработать систему Pub/Sub с Apache Kafka. API Rest написано в NodeJS. Я использую библиотеку No-Kafka . Пользователь переходит в тему и смещение (начальное местоположение) очереди, из к...
3 года, 6 месяцев назад LearningToCode
0
голосов
0
ответов
Я пытаюсь создать тему kafka из приложения scala, и в качестве части этого мне нужно создать zkClient, который требует передать его ZKStringSerializer в качестве параметра. Это работало отлично, и ...
1 год, 4 месяца назад Zachary Oldham
2
голоса
1
ответ
Я сохраняю световой блок данных как файл паркета, а в dataframe строятся строки, созданные из объекта avro. Точный код для этого же здесь - qaru.site/questions/2383899/... Задача, с которой я сталк...
2 года, 10 месяцев назад SunitaKoppar
1
голос
0
ответов
В нашей компании мы пытаемся настроить кластер 3node Kafka с использованием SSL-шифрования и аутентификации SASL/Kerberos. Вот что я сделал. broker1, broker2, broker3 - это мои имена хостов для 3 с...
1 год, 6 месяцев назад Rishi Reddy
1
голос
1
ответ
У меня есть блок данных искры, который я хотел бы написать Кафке. Я пробовал ниже фрагмент, from kafka import KafkaProducer producer = KafkaProducer(bootstrap_servers = util.get_broker_metadata()) ...
1 год, 10 месяцев назад Nachiket Kate
0
голосов
1
ответ
Файлы загружаются через клиентскую папку. он постоянно загружает файлы с другого клиента, используя TUS API (File resumeabl upload). размер файлов составляет от 5 до 100 мб. Теперь я хочу асинхронн...
1 год, 1 месяц назад cns kumar
1
голос
0
ответов
Я создал Kafka Consumer в приложении Spring Boot, используя патч-шаблоны из документов Spring Kafka. Он работал, пока мы не загрузили темы. Затем смещения не обновлялись, и он обрабатывал одну и ту...
3 года назад T. Harty
0
голосов
3
ответа
Я понимаю, что в Apache Kafka я могу написать Продюсера и Partitioner таким образом, что сообщения TypeA отправляются в PartitionA, а сообщения TypeB отправляются в PartitionB. И я также могу напис...
2 года, 3 месяца назад CrystalCarbon
0
голосов
2
ответа
Я пытаюсь добавить Interceptor для проверки на сообщения, опубликованные продюсером на тему Kafka. Мне нужно сделать несколько проверок в дополнение к проверке схемы, которая выполняется по теме Ка...
3 года, 2 месяца назад Vijay Rai
0
голосов
0
ответов
Я ищу, как читать сообщения Avro, которая имеет сложную структуру из Кафки с использованием потоковой структуры Spark Затем я хочу проанализировать эти сообщения и сравнить их со ссылочными значени...
9 месяцев, 4 недели назад Kim
-1
голос
1
ответ
У меня есть требование, чтобы прочитать XML-документ (преобразованный с помощью COBOL) с помощью Kafka. Мы используем kafka connect tool и не знакомы с остальными прокси. Команда мэйнфреймов заполн...
7 месяцев назад Deepak
0
голосов
0
ответов
Сообщения не публикуются в теме вывода. Существует ли какая-либо конфигурация уровня кластера для использования API потоков Kafka. для информации версия Кафки> 0.10.0.0
2 года, 3 месяца назад Megha
0
голосов
1
ответ
Я передаю данные в реальном времени от Kafka. Но данные в формате Avro. Невозможно десериализоваться как Json. Iam с использованием API-интерфейсов API уровня Kafka Stream. Как десериализовать запи...
1 год, 1 месяц назад Mourish Khan
0
голосов
1
ответ
Мне нужно написать Scala или Java-клиент для чтения сообщения Kafka из темы, сообщения которой закодированы в Avro, а схема изменяется динамически. Пожалуйста, предложите решение для чтения этих со...
1 год, 10 месяцев назад Nagaraj Vittal
1
голос
1
ответ
Я получаю исключение при попытке материализовать магазин. Я запускаю Kafka 1.0, Confluent Schema Registry 4.0 и Avro 1.8.2. Я создал Pojo с плагином Avro maven и развернул схему на Confluent-сервер...
1 год, 8 месяцев назад cscan
0
голосов
0
ответов
Я использую camel-kafka для отправки сообщений моему кафкин-брокеру. Я использую sampleTemplate. StringBuilder sb = new StringBuilder("kafka:hostname:port?topic=test1&producerType=async&ser...
1 год, 11 месяцев назад Mino De Raj
0
голосов
1
ответ
Im реализует RestFul api с использованием весеннего загрузочного приложения. Основываясь на реквестере, мне нужно выбрать тему и получить данные из этой темы. Скажем, если я удалю url requester1/da...
1 год, 7 месяцев назад user1752082
0
голосов
0
ответов
Я заполняю сообщения журнала аудита HDFS в тему Kafka, используя logstash. образцовое сообщение, которое я получаю в теме Кафки, имеет такой формат: allowed=true ugi={myuser} (auth:SIMPLE) ip={/x.x...
2 года, 6 месяцев назад Ehsan
1
голос
1
ответ
В основном я использую Kafka для обмена традиционными сообщениями, но мне также нравится возможность потреблять небольшие темы в пакетном режиме, то есть подключаться к теме, потреблять все сообщен...
4 года, 4 месяца назад Max Sang
-1
голос
1
ответ
версия kafka: 0.9.0.1 Если n = 20, я должен получить последние 20 сообщений по теме. сейчас я использую kafkaConsumer.seekToBeginning(); Я получаю все сообщения. Я пишу некоторую логику, чтобы полу...
7 месяцев назад praveen kumar
0
голосов
1
ответ
Запустите инструмент переназначения разделов, чтобы расширить разделы более чем на 5 брокеров вместо 5. Kafka 2.1 на Docker. Он попадает в точку, где один из узлов ведет себя хаотично. Другие (испр...
10 месяцев, 3 недели назад xmar
0
голосов
3
ответа
У меня много тем Kafka с 1 разделом, каждый из которых производится и потребляется в/из (REST API - Kafka - SQL-сервер). Но теперь я хочу, чтобы периодические дампы этих данных сохранялись в HDFS д...
1 год, 7 месяцев назад Havnar
1
голос
1
ответ
Тема, которую я использую для создания GlobalKTable, очень активна. В документации к соединению KStream-GlobalKTable я читаю GlobalKTable полностью загружается после (повторного) запуска экзем
2 года, 4 месяца назад Tim Van Laer
0
голосов
1
ответ
У нас есть события, приходящие в Кафку, и с использованием kafka connect мы синхронизируем эти события с aws s3. Данные видны в s3 в нижерасположенной структуре: bucket_name/sub_folder/ Partition=0...
1 год, 1 месяц назад Raghav salotra
3
голоса
1
ответ
В любом случае я могу настроить нору для отправки уведомлений по электронной почте, когда lag = 0 в очереди kafka. это моя конфигурация. [general] logdir=log logconfig=config/logging.cfg pidfile=bu...
2 года, 9 месяцев назад Tharanga Abeyseela
0
голосов
1
ответ
Я пытался развернуть Кафку, используя схемы Хелма . Поэтому я определил сервис NodePort для стручков Кафки. Я проверил производителя и потребителя консоли Kafka с одинаковыми хостами и портами - он...
9 месяцев, 4 недели назад Cassie
0
голосов
0
ответов
Я пытаюсь отправить сообщение в тему Кафки. Тема создана на экземпляре AWS EC2. Когда я отправляю сообщение в тему со своей машины (localhost), ничего не происходит. Однако, когда я попытался выдви...
9 месяцев, 3 недели назад Islam
0
голосов
2
ответа
Создает ли Kafka Connect тему на лету, если она не существует (но предоставляется как место назначения) или не копирует в нее сообщения? Мне нужно создавать такие темы на лету или программно (Java ...
1 год назад yevtsy
2
голоса
1
ответ
Я хочу передавать данные из IBM MQ. Я пробовал этот код, который я нашел на Github. Я могу передавать данные из очереди, но каждый раз, когда он транслируется, он берет все данные из него. Я просто...
1 год, 4 месяца назад Subin Thankachan
0
голосов
1
ответ
У меня есть сценарий, в котором у меня есть соединение, созданное поверх 10 таблиц. Это отлично работает, когда соединение выполняется в базе данных. Теперь эти таблицы передают данные по темам Kaf...
1 год, 1 месяц назад user123
5
голосов
0
ответов
Я пытаюсь вытащить данные из каналов Flume в кластер Kafka, используя Kafka sink, и я могу видеть связанные данные в связанную тему, но одновременно наблюдаю слишком часто наблюдаемую трассировку и...
2 года, 8 месяцев назад Ritesh Sharma
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема