Wget은 인터넷에서 사용할 수 있는 거의 모든 것을 다운로드하는 데 사용할 수 있는 명령줄 유틸리티입니다. 문제는 HTTP, HTTPS 또는 FTP 프로토콜을 통해 사용할 수 있어야 한다는 것입니다. 그렇지 않으면 Wget에서 다운로드할 수 없습니다. Wget을 사용하는 방법에는 여러 가지가 있습니다. 예를 들어 Wget을 사용하여 웹사이트의 모든 이미지를 다운로드하거나 단일 파일을 다운로드할 수도 있습니다. Wget은 가능한 경우 다운로드를 재개할 수도 있습니다. 따라서 Wget이 어떻게 작동하고 무엇을 할 수 있는지 궁금하다면 Wget을 사용하는 방법은 다음과 같습니다.
Wget 설치
1. macOS Sierra에 Wget 설치하기
Wget 사용을 시작하기 전에 시스템에 설치해야 합니다. 이제 다행스럽게도 대부분의 Linux 배포판에는 Wget이 사전 설치된 상태로 제공되므로 추가 작업을 수행할 필요가 없습니다. 그러나 Mac을 사용하는 경우 Wget을 설치해야 합니다. 이것은 Homebrew(다운로드)를 사용하여 쉽게 수행할 수 있습니다. 도움이 필요한 경우 따라야 할 단계는 다음과 같습니다.
- 먼저 Wget을 다운로드하려면 Mac에 Homebrew를 설치해야 합니다. 이렇게 하려면 터미널을 시작하고 다음 명령을 입력하십시오.
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
- 명령이 완료되면 Homebrew가 시스템에 설치됩니다. 이제 Homebrew를 사용하여 Wget과 같은 패키지를 설치할 수 있습니다. 터미널에서 다음 명령을 실행하기만 하면 됩니다.
brew install wget
- Homebrew는 자동으로 시스템에 Wget 다운로드, 압축 풀기 및 설치를 시작합니다. 이 단계는 네트워크 속도에 따라 다소 시간이 걸릴 수 있으므로 기다려 주십시오. 명령이 완료되면 Mac에서 Wget을 사용할 수 있습니다. 설치되었는지 확인하려면 다음 명령을 사용하십시오.
wget -V
2. Windows에 Wget 설치
Windows에 Wget을 설치하려면 약간의 노력이 필요하지만 쉽게 수행할 수 있습니다. Windows PC에 Wget을 설치하려면 다음 단계를 따르십시오.
- 먼저 Cygwin을 다운로드한 후 다운로드한 설치 파일을 실행합니다.
- 기본 다운로드 소스를 묻는 메시지가 나타나면 “인터넷에서 설치” 옵션을 선택하고 “다음”을 클릭합니다.
-
Cygwin의 설치 디렉토리와 유틸리티 설치를 위한 패키지 파일을 저장할 디렉토리를 선택하십시오.
- 다음 화면에서 인터넷 연결을 선택해야 합니다. 프록시를 사용하는 경우 프록시 유형을 선택하고 세부 정보를 입력합니다. 그러나 대부분의 사용자는 “직접 연결”을 선택합니다.
- 그런 다음 미러 목록이 표시되면 이 중 하나를 선택하여 Cygwin을 다운로드합니다. 다운로드에 실패하면 다른 미러로 다시 시도할 수 있습니다.
- 다음 창에서 “wget”을 검색하고 나타나는 목록에서 “web” 옆에 있는 더하기를 클릭합니다. 여기서 “wget” 옆의 확인란이 자동으로 선택됩니다. “다음”을 클릭하기만 하면 됩니다.
- 다음 화면에는 다운로드해야 하는 패키지가 표시됩니다. “다음”을 클릭하면 됩니다.
- 설치가 완료되면 바탕 화면 아이콘을 만들 것인지 및/또는 시작 메뉴에 항목을 추가할 것인지 묻는 메시지가 표시됩니다. 이것은 전적으로 개인적인 취향의 문제이지만, 쉽게 찾을 수 있도록 최소한 시작 메뉴에 추가하는 것이 좋습니다.
그게 다야 이제 Wget이 Windows PC에 설치되었습니다. 그러나 명령 프롬프트에서는 실행할 수 없습니다. 대신 Cygwin 터미널을 시작하고 거기에서 Wget을 사용해야 합니다.
Wget을 사용하는 방법
이제 Wget이 시스템에서 실행되고 있으므로 Wget을 사용하여 인터넷에서 파일, 폴더 및 전체 웹 사이트를 다운로드할 수 있는 모든 멋진 방법을 살펴보겠습니다. 다음은 시스템에서 Wget으로 할 수 있는 몇 가지 흥미로운 작업입니다.
메모: macOS Sierra 10.12.3 베타를 실행하는 MacBook Air에서 Wget을 사용하고 있습니다. 그러나 우리가 사용하는 유틸리티는 동일하기 때문에(Wget), 명령은 Wget을 사용하는 모든 운영 체제에서 동일합니다.
1. Wget을 사용하여 파일 다운로드
Wget을 사용하여 인터넷에서 쉽게 파일을 다운로드할 수 있습니다. 다음 명령을 사용하십시오.
wget <url>
- 파일을 다운로드하고 특정 파일 이름으로 저장
서버에 있는 파일은 때때로 가장 이상한 이름을 가지고 있으며, 파일을 다운로드하고 Wget이 자동으로 이름을 더 이해하기 쉬운 이름으로 바꾸도록 할 수 있습니다. 이렇게하려면 다음 명령을 사용하십시오.
wget -o <output_file.extension> <url_to_download>
- 특정 파일 형식만 다운로드
웹 서버는 다양한 파일을 호스팅할 수 있습니다. 서버에 있는 모든 PDF 또는 모든 GIF만 다운로드하려면 어떻게 해야 할까요? 다음 명령을 사용하기만 하면 됩니다.
wget -r -A pdf <url_to_download>
이 특정 명령은 Mark Zuckerberg가 하버드 기숙사 방에서 단 하나의 명령으로 모든 이미지를 다운로드하고 악명 높은 웹사이트 “facesmash.com”을 구축하는 데 사용되었습니다.
wget -r -A jpg, jpeg, png, bmp <url_to_download>
2. Wget을 사용하여 여러 URL에서 파일 다운로드
인터넷의 여러 위치에서 파일을 다운로드해야 한다고 가정해 보겠습니다. url1에는 PDF 파일, url2에는 중요한 ZIP 파일, url3에는 다른 파일이 있을 수 있습니다. 기존 방식으로 Wget을 사용한 경우 세 번 실행해야 합니다. 그러나 이 작업을 수행하는 훨씬 쉬운 방법이 있습니다.
- 먼저 데이터를 다운로드하는 데 필요한 모든 URL이 포함된 파일을 만듭니다. 각 URL을 자체 행에 유지해야 합니다. 파일을 저장하고 이름을 기억하고 있는지 확인하십시오.
- 터미널에서 다음 명령을 사용하여 모든 URL에서 파일을 다운로드합니다.
wget -i <file_name>
여기서 “file_name”은 다운로드하는 데 필요한 모든 URL로 만든 파일의 이름입니다.
3. Wget으로 전체 웹사이트 다운로드
네, 제대로 읽으셨습니다. Wget을 사용하여 전체 웹사이트의 콘텐츠도 다운로드할 수 있습니다. 분명히 웹 사이트가 너무 크면 이 명령을 완료하는 데 많은 시간이 소요되며 시스템에서 많은 공간을 차지하게 됩니다. 즉, Wget을 사용하여 전체 웹 사이트를 다운로드하려면 다음 명령을 사용하면 됩니다.
wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL
그러면 전체 웹사이트가 작업 디렉토리 내의 “LOCAL-DIR” 폴더에 다운로드됩니다. 웹사이트의 파일은 “WEBSITE-URL” 덕분에 웹사이트와 동일한 이름의 폴더에 저장됩니다.
4. Wget을 웹 스파이더로 사용
Wget이 웹 크롤러(또는 웹 스파이더)처럼 작동하도록 만들 수도 있습니다. 다운로드하려는 파일의 URL이 유효한지 확인하려는 경우에 유용합니다. Wget을 웹 스파이더로 사용하고 URL의 유효성을 확인하려면 다음 명령을 사용하십시오.
wget --spider <url>
이렇게 하면 언급한 URL이 존재하는지 확인하고 확인 결과를 알려주는 응답을 받게 됩니다.
- 긍정적 인 반응:
- 부정적인 응답:
5. 불완전한 다운로드 계속하기
이것은 Wget이 할 수 있는 또 다른 정말 멋진 일입니다. Wget을 사용하여 파일을 다운로드했지만 어떤 이유로 랩톱을 종료해야 한다고 가정해 보겠습니다. 다음에 동일한 파일을 다운로드하려고 하면 Wget이 실제로 다운로드를 계속할 수 있습니다. 마지막으로 파일을 다운로드한 동일한 폴더에 있는지 확인한 후 다음 명령을 사용하기만 하면 됩니다.
wget -c <url>
Wget은 파일의 일부가 이미 시스템에 있음을 확인하면 자동으로 다운로드를 계속합니다.
메모: 마지막으로 다운로드를 시도한 이후로 서버의 파일이 변경된 경우 이 명령을 사용하면 안 됩니다. 파일이 손상되어 읽을 수 없게 되기 때문입니다.
또한 서버가 지속적인 다운로드를 허용하지 않으면 Wget은 처음부터 다운로드 시작을 거부합니다. 다운로드를 처음부터 시작하려면 먼저 시스템에서 부분적으로 다운로드한 파일을 삭제해야 합니다.
이 인수를 사용하는 데는 몇 가지 조건이 더 있으며 이에 대한 자세한 내용은 Wget 매뉴얼 페이지에서 읽을 수 있습니다.
6. 다운로드 속도 제한
Wget을 사용하여 파일을 다운로드하고 함께 인터넷을 탐색하는 경우 Wget이 모든 대역폭을 사용하는 것을 원하지 않을 것입니다. 다행히 Wget에는 Wget이 시스템에서 파일을 다운로드하는 데 사용할 수 있는 대역폭의 양을 제한하는 데 사용할 수 있는 인수가 포함되어 있습니다.
wget --limit-rate=<speed> <url>
메모: 속도는 Bits가 아닌 Bytes로 표시됩니다. 따라서 Wget –limit-rate=20k를 사용하면 대역폭 사용량이 20kb가 아닌 20kb로 제한됩니다.
7. Wget을 사용하여 FTP 서버에서 파일 다운로드
FTP 서버에서 파일을 다운로드해야 하는 경우 Wget으로도 수행할 수 있습니다. 다음 명령을 사용하여 FTP 서버에서 파일을 다운로드하기만 하면 됩니다.
wget <ftp_url>
- 로그인으로 FTP 서버에서 파일 다운로드
FTP 서버에서 파일 다운로드를 허용하기 위해 로그인이 필요한 경우 Wget으로 자격 증명을 전달하기만 하면 됩니다. 다음 명령을 사용하십시오.
wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>
쉽게 Wget을 사용하여 인터넷에서 파일 다운로드
Wget을 사용하여 인터넷 어디에서나 파일을 다운로드할 수 있습니다. 그러나 Wget은 거의 항상 작동하지만 Wget에 대한 액세스를 방지하는 특정 서버가 있습니다. 이 경우 Wget 명령에 대해 –user-agent를 변경해 볼 수 있습니다. 그러나 수행 중인 작업을 절대적으로 알고 있지 않는 한 권장되는 조치는 아닙니다. 대부분의 경우 Wget을 사용하면 파일과 해당 URL에 액세스할 수 있는 한 인터넷에서 모든 파일을 다운로드할 수 있습니다.
Wget을 사용하여 인터넷에서 파일을 다운로드한 적이 있습니까? HTTP, HTTPS 및 FTP 프로토콜을 통해 Wget을 사용하여 파일을 다운로드한 경험에 대해 알려주십시오. 또한 이 목록에 포함될 가치가 있다고 생각하는 Wget의 다른 용도를 알고 있는 경우 아래 설명 섹션에서 이에 대해 알려주십시오.