Pagina 1 van 1
download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 10:57
door ygeffens
Hi
Ik zoek een manier om een volledige website te downloaden, dus niet een enkele pagina.
De tool moet dus recursief tewerk gaan.
Bij voorkeur een extensie van een browser, want je moet inloggen op de website.
De Chrome extensies die ik al heb bekeken kunnen enkel maar elementen van een webpagina, of slechts 1 pagina.
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 12:52
door murdock447
met Httrack kun je een site volledig gaan downloaden voor offline gebruik
http://www.httrack.com/
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 15:11
door ygeffens
Bedankt
Ondertussen Xcode en MacPorts geïnstalleerd
daarna ./configure gedaan en dit eindigt met
Code: Selecteer alles
...
checking zlib.h presence... yes
checking for zlib.h... yes
checking for inflateEnd in -lz... (cached) yes
checking zlib in /usr... ok
checking whether to enable https support... yes
checking for EVP_get_digestbyname in -lcrypto... no
checking for SSL_CTX_new in -lssl... no
configure: error: not available
En daar eindigt mijn kennis om dat op te lossen...
Hierna lukt 'make' niet bij gebrek aan make-file.
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 15:51
door bdeblier
Ontbrekende "libssl" library, ofwel een te oude versie. Caveat: het is al veel te lang geleden dat ik nog op Mac ontwikkeld heb.
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 16:36
door Stroper
ygeffens schreef:Bedankt
Ondertussen Xcode en MacPorts geïnstalleerd
En daar eindigt mijn kennis om dat op te lossen...
Hierna lukt 'make' niet bij gebrek aan make-file.
Is het dan niet eenvoudiger om het via
homebrew te installeren.
Al is het niet aan te raden beiden tezelfdertijd te gebruiken.
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 22:28
door ygeffens
Ondertussen via homebrew aan 't proberen, maar ik zie niet hoe mij dat gaat helpen.
Ik moet eerst kunnen inloggen op een website, voor ik de pagina's kan zien die ik wil downloaden.
Dus ik heb nog een tip nodig om in te kunnen loggen binnen httrack zelf.
user:pass@url is niet de oplossing, ik moet inloggen via Onelogin
Re: download volledige website die achter een login-pagina zit
Geplaatst: 19 nov 2020, 23:00
door GuntherDW
Als de pagina niet achter een cloudflare zit kan je een ouderwetse "wget -m" gebruiken. Of inderdaad httrack. (of eenders welke andere spider eigenlijk)
Je neemt dan gewoon de cookies over welke in je browser zitten en gaan maar.
Als het achter cloudflare zit werkt het een klein beetje anders maar kost het iets meer moeite.
Re: download volledige website die achter een login-pagina zit
Geplaatst: 20 nov 2020, 08:59
door ygeffens
Ik gebruik Chrome op mijn mac, daarbij blijken de cookies in een sql-database te zitten. En in safari het het 1 binary-file voor allemaal.
Hoe krijg ik "die ene die ik nodig heb" naar httrack ?