Website-Scraper gesucht

Dieser Thread ist Teil einer Diskussion zu einem Artikel:  Zum News-Artikel gehen

__matthi__

Stammgast
Hallo zusammen
Für mein Studium hat sich die Uni eine Seite zugelegt, welche alle PDFs und andere Dateien in eigenen Unterseiten abgespeichert werden (pro Seite werden dann mehrere Dateien angeboten) welche ich mir gerne alle herunterladen würde. Ich habe scho mit HTTrack und verschiedenn Addons versucht, jedoch funktioniert dies immer nur mit der "obersten Ebene". JDownloader usw. funktionieren aufgrund des Logins nicht. Ich benötige also ein Programm/Addon, welches die Webseite mit allen Unterseiten durchgeht und am besten gleich in derselben Ordnerstruktur ablegt. Kennt jemand so etwas?
 

soundnet

Stammgast
Hi

Wenn du das Web nach Web Scraping durchsuchst, findest du da Einiges. Allerdings ist aufgrund des Logins (was bedeutet, dass die Seiten nicht allgemein zugänglich sind) an der Legalität deines Vorhabens Zweifel anzumelden.

Gruss aus dem Süden
Fido
 

__matthi__

Stammgast
Hallo Fido
Vielen Dank für die Antwort. Es gibt die Möglichkeit, mehrere Dateien mit einem Häkchen zu versehen und somit alle Dateien herunterzuladen. Das Problem ist nur, dass ich dann einen Zip-Ordner mit allen Dateien an einem Ort habe. Ich möchte sie aber in der richtigen Ordnerstruktur haben. Dann werde ich wohl von Hand die jeweiligen Dateien ordnerweise herunterladen.
 
Oben