Вкладка Kibana discovery не отражает журналы в реальном времени.

100
8

У меня есть настройка ELK с Elastic Search, LogStash и Kibana, работающими на одной виртуальной машине. Журналы отправляются из другой службы с использованием filebeat из другой виртуальной машины.

Версия Elastic Search: 0: 6.2.4-1

Я включил автообновление в Kibana с обновлением каждые 5 секунд, а также выбрал последнее 15-минутное окно для отображения журналов.

Вопросы:

Когда бит файла запущен, он сразу же начинает отправлять журналы. Я вижу это из журнала бит файла. Однако новые журналы будут отображаться в Kibana только через некоторое время с задержкой. Поведение несовместимо, и я вижу задержку до 30 минут в некоторых случаях. Ожидается ли это?

Если при обновлении экрана Kibana отключен (т.е. С 5 секунд до "выкл."), Подождите 15 минут, а затем включите обновление (от "off" до 5 секунд). Каким должно быть поведение? Все эти 15 минут, журнал stash и ES фактически получают журналы, только что обновление Kibana отключено. а) будет ли он быстро показывать журналы за предыдущие 15 минут и начать показывать новые журналы в режиме реального времени? б) или эта 15-минутная задержка по-прежнему существует? Я имею в виду, отныне мы всегда видим журналы на Кибане с задержкой в 15 минут?

Когда процесс извлечения файлов остановлен, Kibana все еще показывает некоторые журналы и продолжает освежать. Я ожидаю, что после того, как бит файла остановлен, обновление журнала на кибане также должно быть остановлено с небольшой задержкой (в секундах). Но я вижу, что обновление журналов продолжает происходить в течение следующих 1 часа или около того. Почему у Кибаны такое поведение? Я что-то пропустил? Я также заметил, что, когда у Kibana нет новых журналов, я думаю, что он показывает старые журналы. Не 100% уверен, но может ли это случиться?

Я искал google и стекал по потоку, но не смог получить какую-либо полезную информацию. Либо быстрое объяснение и решение, либо любые указатели/ссылки, чтобы помочь в этом, будут полезны для меня.

Благодарю.

спросил(а) 2018-05-15T04:38:00+03:00 2 года, 1 месяц назад
1
Решение
66

    logstash получать журналы (в вашем случае, из filebeats) и отправлять их в elasticsearch, возможно, делая некоторую фильтрацию или анализ журналов. По умолчанию журнал будет сохранен в elasticsearch с датой, когда журнал был получен logstash; эту дату по умолчанию можно заменить на дату, проанализированную из журнала (в timestamp поля). elasticsearch сохраняет журналы и может возвращать их по требованию kibana извлекает в elasticsearch журналы в соответствии с его параметрами, в вашем случае журналы с timestamp за последние 15 минут

Чтобы ответить на ваши вопросы:

Я не знаю, почему именно, мне нужна дополнительная информация. Вы должны задать вопрос с более подробной информацией (конфигурации, примеры журналов, данные, показанные в Kibana) Last 15 min кибаны просят elasticsearch для журналов с timestamp между сейчас и сейчас - 15 мин. Таким образом, это будет c) kibana показывает журналы в режиме реального времени, игнорируя полученные до 15 минут. Обновление журнала в Kibana будет продолжаться до тех пор, пока вы не попросите его остановить, что остановка логстаста, получающая новый журнал, не остановит автоматическое обновление кибаны. Kibana будет продолжать запрашивать elasticsearch для журналов с timestamp между сейчас и сейчас - 15 мин. Поэтому, если kibana продолжает показывать журналы через 15 минут после того, как filebeat был остановлен, это означает, что есть журналы, которые были отмечены в будущем.

Для вашей информации вы не должны задавать несколько вопросов в одном вопросе StackOverflow.

ответил(а) 2018-05-15T12:42:00+03:00 2 года, 1 месяц назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема