wget 웹페이지 다운로드

지금까지 우리가 본 예는 공개적으로 사용할 수 있는 파일을 다운로드 커버. 그러나 로그인 보호 된 페이지에서 파일을 다운로드 해야 하는 경우가 있습니다. 이러한 상황에서 CurlWget (크롬) 또는 cliget (파이어 폭스) 같은 브라우저 확장을 사용할 수 있습니다. 파일을 다운로드 하려고 할 때, 이러한 확장 파일을 다운로드 하는 데 사용할 수 있는 완전 한 wget 명령을 생성 합니다. 이 문서에서는, 우리는 CurlWget에 대해 설명 합니다, cliget은 비슷한 방식으로 작동 하지만. 핑 백: wget-justnorris와 완전 한 단일 페이지를 다운로드 Wget는 FTP에 대 한 같은 방법으로 작동-당신은 인수로 FTP URL을 제공 합니다: 수동 페이지 wget 사용자가 시스템에서 로그 아웃 한 경우에도 사용할 수 있습니다. 이렇게 하려면 nohup 명령을 사용 합니다. Wget은 “웹 스파이더” 기능, 그 페이지를 페치 하지만 그들을 저장 하지 않습니다. 이는 웹 사이트에서 끊어진 링크를 확인 해야 하는 경우에 유용 합니다. 이 옵션을 제대로 사용 하려면 “재귀 다운로드”를 사용 하 여 wget 문서를 스캔 하 고 트래버스할 링크를 찾을 수 있도록 해야 합니다. 다음과 같이 페이지의 모든 링크를 로컬로 다운로드 하는 것을 가리키도록-k 스위치를 사용 하 여이 문제를 해결할 수 있습니다.

당신은 크롬에 CurlWget을 설치 한 후, 확장 설정으로 머리와에서 도구 옵션을 변경 ” “wget”에 컬. 다음, 머리를 다운로드 설정 (세 개의 점 메뉴 > 설정 > 고급)를 선택 하 고 옵션 “다운로드 하기 전에 각 파일을 저장 하는 방법”. 이렇게 하면 페이지를 재귀적으로 최대 5 레벨까지 다운로드 합니다. 다음, 크롬 내에서 파일을 다운로드 하려고. 다운로드 위치를 묻는 대화 상자를 닫고 도구 모음에서 CurlWget 아이콘을 클릭 합니다. 이것은 다음과 같이 사용자 에이전트, 쿠키 및 기타 헤더가 설정 된 wget 명령을 제공 합니다: 예를 들어, 영어 위키백과의 페이지를 재귀적으로 다운로드 하려면 다음을 사용 하십시오. Wget은 당신이 찾고 있는 경우에 유용한 기능이 될 수 있습니다 그들을 저장 하지 않고 페이지를 가져올 수 웹 사이트의 끊어진 링크. Wget 문서를 스캔 하 고 트래버스할 수 있는 링크를 찾을 수 있도록 재귀 모드를 사용 하도록 설정 하는 것을 잊지 마십시오. 아마도 당신은 새로운 웹 호스트로 이동 해야 하며, 이미지 또는 CSV 파일과 같은 파일을 다운로드 하 고 백업 할 수 있는 몇 가지 작업이 있습니다.

아마도 정적 웹 사이트 이며 HTML의 모든 페이지의 아카이브를 만들어야 합니다. 아마도 어떤 식으로든 인터넷에서 리소스를 미러링 해야 하지만 어떤 도구를 사용할 수 있는지 확실 하지 않습니다. 따라서, wget 덜 인터넷을 서핑 하는 데 필요한 모든입니다. Wget의 힘은 당신이 또한 모든 페이지 (및 이미지 및 기타 데이터)를 얻을 의미 재귀 사이트를 다운로드 할 수 있다는 것입니다 페이지에 연결: 다운로드 하 고 마우스 오른쪽 단추로 클릭 하 고 싶은 페이지 또는 파일을 방문 하십시오. 상황에 맞는 메뉴 cliget 라는 표시 됩니다 그리고 거기에 옵션이 있을 것입니다 “wget에 복사” 및 “curl에 복사”.