Як швидко перерахувати всі URL-адреси, пов’язані з веб-сайтом

Отже, вам потрібен список, що містить усі URL-адреси веб-сайту? Ви, можливо, перенаправляєте? Досягли ліміту на файли XML Sitemap? Класно, я теж. У мене є лише інструмент для вас, який дозволить зробити це приблизно з такою ж швидкістю, як і файли XML Sitemaps, але ви будете виглядати набагато крутіше.

Звідки насправді починається підручник

Щоб отримати ваш список URL-адрес, ми використовуємо Wget!

Що таке Frigg - це Wget?

"Wget - це безкоштовний програмний пакет для отримання файлів за допомогою HTTP, HTTPS та FTP, найбільш широко використовуваних Інтернет-протоколів". - Варити ‍Формули

А також ви можете використовувати його для запиту великого списку URL-адрес, пов’язаних із доменом

‍1. Встановлення Wget

Щоб встановити Wget, якщо ви цього ще не зробили, вам спочатку потрібно буде встановити HomeBrew; він же Brew. ? Brew - це менеджер пакетів, тобто він встановлює для вас програмне забезпечення та керує ним. Ви можете переглянути інструкції на їх веб-сайті або просто слідувати наведеним нижче.

Встановіть Brew

Вставте це в підказку терміналу та натисніть клавішу Enter двічі ⮐ (Це може запитати у вас пароль.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Встановіть Wget

Тепер, коли ви встановили Brew, настав час встановити Wget. Вставте це в підказку терміналу та натисніть Enter ⮐

brew install wget

2. Час отримати "Dem URL"

Тепер, коли встановлено Wget, ми просто завантажуємо веб-сайт, а потім відображаємо всі його URL-адреси. Почніть із завантаження веб-сайту, з яким хочете

Wget -r www.shutterandcode.com

Потім після завершення завантаження ми перелічимо URL-адреси

Find www.shutterandcode.com

(Обов’язково використовуйте той самий домен веб-сайту, що й завантажений).

Висновок

Після низки випадкових тестів, які порівнюють Wget із XML-файлами Sitemap за допомогою невеликих веб-сайтів, я виявив, що вони обидва знаходяться на рівні між собою. Іноді одна була швидшою за іншу, але загалом вони обидва мали однакову швидкість. ”

Якщо ви хочете дізнатись більше про команди Wget, просто введіть це у своєму запиті

wget --help

Сподіваюся, вам сподобалось це читати! Не забудьте поставити лайк, коментувати та підписуватися! ?

ps насправді не відчувають себе зобов’язаними подобатись, коментувати та передплачувати, бо це просто жарт для користувачів YouTube :)

ОНОВЛЕННЯ: якщо ви не хочете, щоб сайт фактично завантажувався на ваш комп'ютер, додайте "- spider" після "wget", наприклад
wget -r --spider www.example.com

Перегляньте оригінальну публікацію та решту фрагментів! серія за адресою

Затвор і код - Le Blog