запросы исчезают после очередей в режиме
101
17
Кажется, что Scrapy завершена без обработки всех запросов. Я знаю это, потому что я регистрирую до и после очереди запроса, и я ясно вижу это.
Я регистрирую как методы разбора, так и методы обратного вызова, и ни один из них не был вызван для тех отсутствующих запросов.
Как я могу отладить, что случилось с этими запросами?
спросил(а)
3 года назад
добавить комментарий
пожаловаться
Решение
90
Вам нужно добавить dont_filter=True при повторной очереди запроса. Хотя запрос может не совпадать с другим запросом, но Scrapy помнит, какие запросы он уже сделал, и он будет отфильтровываться, если вы переустановите его. Предполагается, что это было по ошибке.
ответил(а)
3 года назад
добавить комментарий
пожаловаться
Ваш ответ