Должны ли параллельно выполняться две попытки одинаковых задач сокращения?

89
11

Действия в моей сокращенной задаче имеют внешние эффекты, и они не являются идемпотентными. И я наблюдал в трекере задачи, что один редуктор был предпринят, а затем был восстановлен еще один редуктор для того же набора ключей, не убив оригинальную. Я настроил что-то неправильно?

Вот таблица для этой задачи сокращения:

enter image description here

спросил(а) 2021-01-25T18:02:02+03:00 4 месяца, 4 недели назад
1
Решение
63

Это связано с спекулятивным исполнением в хауопе. Это опция Hadoop для задания задач резервного копирования, если она обнаруживает, что на нескольких узлах кластера есть несколько медленных задач. Задачи резервного копирования будут предпочтительно назначаться на более быстрых узлах. Независимо от того, что из двух повторяющихся задач заканчивается, первым становится тот, который используется в дальнейших операциях.

вы можете отключить это, установив следующий параметр как false

mapred.reduce.tasks.speculative.execution 

ответил(а) 2021-01-25T18:02:02+03:00 4 месяца, 4 недели назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема