Обновите часть документа в Elasticsearch от Kafka

81
12

У меня есть несколько Kafka Connectors и Topics, в которых размещаются разные источники данных, но все они содержат ссылку на один и тот же первичный ключ (позволяет вызвать "id"). Можете ли вы обновить Elasticsearch, используя этот же идентификатор?

Например, источник 1 имеет следующую схему

{
"id": 123
"some_value": "yo"
"details": {}
}

Источник 2 имеет следующее

{
"id": 123
"reference": 1
},
{
"id": 123
"reference": 2
}

Есть ли способ, которым я могу создать ожидаемый результат в ES, чтобы имитировать следующее

{
"id": 123
"some_value": "yo"
"details": [
{
"id": 123
"reference": 1
},
{
"id": 123
"reference": 2
}
]
}

Я попытался использовать преобразования Кафки с помощью hoistfield, но не был успешным

спросил(а) 2018-12-05T00:41:00+03:00 1 год назад
0
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема