Скрипт Python не отвечает за запросы Cassandra большого объема

78
8

Когда я запускал скрипт python для получения данных из Cassandra, используя

SELECT * FROM my_keyspace LIMIT 5000000;

используя предел в 5 миллионов, тогда записи отображаются после времени обработки 22 минуты. Но когда я устанавливаю лимит на 10 миллионов записей и запускаю запрос, сценарий продолжает ждать очень долгое время, и я еще не получил ответ. В чем может быть проблема?

спросил(а) 2016-04-19T15:20:00+03:00 3 года, 10 месяцев назад
1
Решение
50

Вы не указали ключ раздела в запросе, поэтому узел-координатор должен запросить все узлы для получения данных. Кроме того, координатор будет собирать все миллионы строк, прежде чем передать результат в ваш скрипт python, и это может вызвать много сборов сбора мусора на координаторе.

Вы должны избегать запросов без ключей раздела, чтобы не иметь проблем с производительностью.

Пожалуйста, ознакомьтесь с Cassandra Read Path для получения более подробной информации.

ответил(а) 2016-04-20T12:08:00+03:00 3 года, 10 месяцев назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема