Потоки Кафки: ручка Старение событий в потоке по истечении срока действия окна

75
7

В настоящее время я использую потоки kafka для сопоставления связанных событий внутри окна. В случае, если все связанные события не попадают в окно, есть ли способ в потоках Kafka, где мы получаем дескриптор событий, срок действия которых истек. Это помогло бы в обработке/уведомлении нисходящего приложения о том, что все связанные события не пришли для сортировки. Цените свой ответ.
Ниже приведены примеры
Пример-1:
- GroupID: g1
- Прибытие событий: E1,10am; E2 10:01 утра и E3 10:02 утра
- Окно: окно сеанса бездействия 5 минут.
- Результат: все события успешно отсортированы.

Пример-2:
- Прибытие событий: E1,10am; E2 10:01 утра и E3 не поступают
- Окно: окно сеанса бездействия 5 минут.
- Результат: Запустить действие или получить уведомление через прослушиватель для частичной сортировки по истечении срока действия окна для E1 и E2 в 10:06

спросил(а) 2021-01-19T19:55:31+03:00 2 месяца, 3 недели назад
1
Решение
62

Окна в потоках Kafka "не истекают", но остаются открытыми, чтобы разрешить обработку поздних прибывающих данных.

Сравните Как отправить итоговый результат агрегации кафка-потоков из окна KTable с временным окном?

Невозможно зарегистрировать обратный вызов,

    не для случая, когда "время потока" продвигается и проходит "время окончания окна", не в том случае, если окно окончательно упало (т.е. после того, как прошло время хранения)

ответил(а) 2021-01-19T19:55:31+03:00 2 месяца, 3 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема