Каковы преимущества и недостатки наличия большего количества редукторов в MapReduce?

63
10

MapReduce программирует все о параллельной обработке, то почему мы начинаем с отдельных редукторов во многих случаях. Каковы преимущества и недостатки наличия большего количества редукторов в MapReduce?

спросил(а) 2021-01-19T14:37:17+03:00 2 месяца, 3 недели назад
1
Решение
75

Один редуктор может работать на одном или нескольких разделах, поэтому он ограничивает распараллеливание именно тем, что он только один.

Слишком много редукторов приведут к созданию слишком большого количества небольших файлов HDFS (выходных), что не очень хорошо, и окажет давление на HDFS, поскольку необходимо провести домашнее хозяйство.

ответил(а) 2021-01-19T14:37:17+03:00 2 месяца, 3 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема