OSX – Shell para descarga automática de archivos con wget

Debido a que tuve que realizar una tarea que automatizara la descarga de archivos desde un sitio web me pareció que podría documentarlo en el blog al ser una tarea bastante común. De tal manera que en esta entrada documentaré de qué manera podemos descargar de manera automática el listado de archivos contenidos en un documento csv.

Primer paso. Instalar wget.

WGet es un programa open source creado para descargar archivos de forma automatizada, es por ello que se recomienda su uso en shells. Para instalarlo en Osx haremos uso de brew con el siguiente comando:

brew install wget –with-libressl

Se nos mostrará en pantalla algo como esto.

Una vez instalado seleccionaremos un archivo csv para realizar la prueba y para ello recurriré a la base de datos de imágenes de dominio público Raise. Del sitio del proyecto podemos descargar un csv con la siguiente estructura:

Dado que vamos a descargar la lista de archivos de la segunda columna, crearemos una lista única de enlaces con el siguiente comando:

awk -F "\"*,\"*" '{print $2}' RAISE_1k.csv > descargar.txt

con lo que se genera el siguiente archivo:

Finalmente, con este listado de archivos, procedemos a realizar la descarga automática de cada uno de ellos con wget usando el siguiente comando:

wget -i ../descargar.txt

 

 

 

 

Sé el primero en comentar

Deja un comentario