Определить выходные файлы по пожарному шлангу той же партии

86
11

Мы видим, что в общем случае firehose поддерживает последовательность заказа, но когда мы увеличиваем пропускную способность firehose, он генерирует несколько файлов и разбивает последовательность заказа, потому что запросы на размещение произвольно (или циклически перебрасываются) подаются в несколько сегментов, каждый из которых имеет отдельный выход.

Например, пожарный шланг с 10 осколками будет выводить не менее 10 файлов каждую минуту (при условии 60-секундного буферного интервала). Эти 10 файлов не попадают в S3 в одно и то же время, есть некоторая разница во времени. Нам нужно поддерживать последовательность, поэтому, если бы мы могли объединить все эти 10 файлов, мы могли бы упорядочить файл по порядку. Даже если мы увеличим интервал буфера, скажем, до 5 минут, даже тогда, из-за ограничения размера буфера, мы никогда не сможем быть уверены, что выходной результат будет всегда через 5 минут.

Наша проблема в том, что мы не можем определить, какие 10 файлов относятся к одному и тому же набору выходных данных. Как определить выходные файлы одной и той же партии?

спросил(а) 2019-05-02T13:07:00+03:00 1 год, 10 месяцев назад
0
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема