Насколько велика будет окно искрового потока?

86
10

Мне нужно вычислить некоторые потоки данных. Я думаю об использовании искрового потока для выполнения этой работы. Но есть одна вещь, о которой я не уверен и беспокоюсь.


Мои требования:


Данные поступают в виде файлов CSV каждые 5 минут. Мне нужен отчет по данным за последние 5 минут, 1 час и 1 день. Поэтому, если я настрою искровой поток, чтобы сделать этот расчет. Мне нужен интервал в 5 минут. Также мне нужно настроить два окна 1 час и 1 день.


Каждые 5 минут поступает 1 ГБ данных. Таким образом, одночасовое окно рассчитает данные 12 ГБ (60/5), а однодневное окно рассчитает данные 288 ГБ (24 * 60/5).


У меня нет опыта в искре. Так меня это беспокоит.


    Может ли обработать такое большое окно?


    Сколько оперативной памяти необходимо вычислить для этих 288 ГБ данных? Более 288 ГБ оперативной памяти? (Я знаю, это может зависеть от моего ввода/вывода на диск, процессора и шаблона расчета. Но я просто хочу, чтобы какой-то оценочный ответ основывался на опыте)


    Если расчет на один день/один час слишком дорог по потоку. У вас есть лучшее предложение?


спросил(а) 2016-04-22T05:11:00+03:00 4 года, 10 месяцев назад
0
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема