Воздушный поток - не проваливается

82
12

python: 27

Я только что установил поток воздуха на новом vm GCP с бэкэндом mysql. (sudo pip install apache-airflow и sudo pip install apache-airflow [mysql])

Я не создал никаких собственных даг, но пытаюсь запустить примеры, чтобы узнать, как это работает.

Я изменил конфигурацию, чтобы использовать

executor = LocalExecutor

и сделано

export AIRFLOW_HOME='pwd'/airflow  (in both shells)
airflow initdb

Веб-сервер запускается как "веб-сервер воздушного потока", а в другой оболочке я начал "планировщик воздушного потока".

Я попытался войти в веб-приложение ui в stat, нажав кнопку "DAG", а затем кнопку "Пуск". (где открывается диалоговое окно с вопросом, хочу ли я запускать сейчас)

Те, которые я пробовал, это "example_bash_operator, example_http_operator, example_python_operator", они теперь отображаются как запущенные. Но государство не меняется. Я также нажал так, чтобы 3 DAG отображались как "включено".

Когда я перехожу к обзору → экземплярам задачи и смотрю первые, которые должны запускаться, это показывает:

All dependencies are met but the task instance is not running. 
In most cases this just means that the task will probably be scheduled soon unless:
.......

Мои серверы не дают каких-либо значимых результатов. Мой планировщик просто выводит

[2017-11-20 13:42:37,460] {jobs.py:1407} INFO - Heartbeating the process manager
[2017-11-20 13:42:37,460] {jobs.py:1443} INFO - Heartbeating the executor

спросил(а) 2017-11-20T16:51:00+03:00 2 года, 10 месяцев назад
1
Решение
57

Я знаю, что это немного поздно, но я также столкнулся с той же проблемой, и поэтому я хочу, чтобы там был ответ для других людей, стоящих перед этой проблемой.

Таким образом, проблема заключается в том, что планировщик воздушного потока ищет dags для запуска в папке, указанной переменной dags_folder в airflow.cfg. Примеры dags хранятся там, где установлена библиотека воздушного потока, и именно поэтому планировщик не собирает ничего для запуска. Чтобы исправить это, просто измените значение для dags_folder в файле airlfow.cfg, чтобы указать на папку, содержащую пример dags. Чтобы найти пример запуска папки dag find | grep 'example_bash_operator' find | grep 'example_bash_operator' из корневого каталога

ответил(а) 2018-05-29T01:27:00+03:00 2 года, 4 месяца назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема