Содержимое защищенных файлов безопасности не читается с помощью wget

98
7

Я пытаюсь загрузить некоторые URL-адреса с помощью wget. Я получаю файлы без каких-либо проблем, кроме этой ссылки Offensive-Security-ICQ и любой другой ссылки на www.offensive-security.com.

Я пробовал как в Linux, так и в Windows со многими испытаниями и большим количеством поисков, но напрасно.

Я использую эту команду "wget https://www.offensive-security.com/pwbonline/icq.html "

Приведенный файл показывает эти символы и декодируется ANSI enter image description here

Как я могу решить эту проблему??

спросил(а) 2021-01-25T15:05:23+03:00 5 месяцев назад
1
Решение
63

По какой-то причине сервер не возвращает html-страницу, кроме ее версии в виде zipped. Полученный файл идентифицируется как сжатые данные gzip:

$ file icq.html
icq.html: gzip compressed data, from Unix

Поэтому вы можете просто разархивировать его, и вы получите правильную страницу html.

Почему сервер делает это: не уверен, но это, вероятно, какой-то параметр по умолчанию, который был оставлен как есть, поэтому вы можете скачать быстрее.

Как можно напрямую загрузить содержимое html: возможно, посылая некоторый общий пользовательский агент и заголовок, чтобы сервер думал, что его общий веб-браузер выполняет запрос вместо инструмента загрузки.

Это можно сделать с помощью wget используя некоторые параметры, например, это должно работать:

wget --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" https://www.offensive-security.com/pwbonline/icq.html

ответил(а) 2021-01-25T15:05:23+03:00 5 месяцев назад
Ваш ответ
Введите минимум 50 символов
Чтобы , пожалуйста,
Выберите тему жалобы:

Другая проблема