teljes oldalak letöltése a wget alkalmazással

Éppen az fáradozom, hogy oldalak tartalmát teljes egészen lementsem a gépemre.
Most nagyon jól jön!
Találtam egy remek kis parancssoros eszközt, ami automatikusan az egész oldalt letölti!
 

A wget letölti az egész oldalt, de kell egy kis trükközés, mert sok oldalüzemeltető nem szereti, ha valaki lehúzza az egész oldalát, ha ezt a szerver észreveszi feketelistára tesznek :)

A -p paraméter annyit csinál, hogy minden fájlt és képet letölt a program.

Random időközönként tölti le a különböző aloldalakat és  mozilla böngészőnek adja ki magát.

 

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

forrás: http://stackoverflow.com/questions/11124292/why-does-wget-only-download-the-index-html-for-some-websites