запросы исчезают после очередей в режиме

101
17

Кажется, что Scrapy завершена без обработки всех запросов. Я знаю это, потому что я регистрирую до и после очереди запроса, и я ясно вижу это.

Я регистрирую как методы разбора, так и методы обратного вызова, и ни один из них не был вызван для тех отсутствующих запросов.

Как я могу отладить, что случилось с этими запросами?

спросил(а) 2017-09-28T13:01:00+03:00 3 года назад
1
Решение
90

Вам нужно добавить dont_filter=True при повторной очереди запроса. Хотя запрос может не совпадать с другим запросом, но Scrapy помнит, какие запросы он уже сделал, и он будет отфильтровываться, если вы переустановите его. Предполагается, что это было по ошибке.

ответил(а) 2017-09-28T13:27:00+03:00 3 года назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема