Presentación
El día martes 30 de Junio se continuo con el curso de Web y Datos, hablando de herramientas de mucha utilidad para la automatización de procesos de todo tipo, como la navegación y descarga de archivos desde la web de manera repetitiva, búsqueda de información dentro de un trozo de texto, busqueda de etiquetas dentro de un código html, etc.
Herramientas
Web-get es un software que permite descargar cualquier tipo de documentos desde la internet; este software no tiene una interfaz gráfica, es decir que funciona solo en la terminal o consola. Viene instalado por defecto en casi todos los sistemas operativos basados en UNIX.
Uso
- Descargar un archivo
|
1 2 |
<span class="gp">$ </span>wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz |
- Descargar un archivo renombrando el original
|
1 2 |
<span class="gp">$ </span>wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz |
- Descargar varios archivos mediante enlaces contenidos en un archivo de texto
|
1 2 3 4 |
<span class="gp">$ </span><span class="nb">echo </span>http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz >> enlaces.txt <span class="gp">$ </span><span class="nb">echo </span>ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig >> enlaces.txt <span class="gp">$ </span>wget -i enlaces.txt |
- Resumir descargas
|
1 2 |
<span class="gp">$ </span>wget -c http://cdimage.debian.org/debian-cd/8.1.0/amd64/iso-dvd/debian-8.1.0-amd64-DVD-1.iso |
- Descargar en segundo plano y registrar los eventos en un archivo
|
1 2 |
<span class="gp">$ </span>wget -b log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso |
- Descargar con límite de velocidad y registrar los eventos en un archivo
|
1 2 |
<span class="gp">$ </span>wget -c --limit-rate<span class="o">=</span>100k log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso |
Curl soporta transferencia bajo distintos protocolos FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, Telnet, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP, RTMP y RTSP. Wget HTTP , soporte HTTPS y FTP.
Curl soporta tambien certificados SSL, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, kerberos…) reaunudacion de descargas , proxy tunneling entre otros.
Curl puede ser compilado y funcional en más plataformas que wget.
Uso
- Descargar un archivo
|
1 2 |
<span class="gp">$ </span>curl http://www.centos.org > centos-org.html |
- Descargar mutltiples archivos
|
1 2 |
<span class="gp">$ </span>curl -O http://www.gnu.org/software/gettext/manual/html_node/index.html -O http://www.gnu.org/software/gettext/manual/gettext.html |
- Resumir descargas
|
1 2 |
<span class="gp">$ </span>curl -O http://www.gnu.org/software/gettext/manual/html_node/index.html -O http://www.gnu.org/software/gettext/manual/gettext.html |
- Autenticarse mediante la terminal
|
1 2 |
<span class="gp">$ </span>curl -u username:password URL |
- Descargar archivos con autenticación por FTP
|
1 2 |
<span class="gp">$ </span>curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/ |
- Subir archivos a un servidor FTP
|
1 2 |
<span class="gp">$ </span>curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com |
- Observar el intercambio de información
|
1 2 |
<span class="gp">$ </span>curl -v http://www.google.com |
- Enviar correos web
|
1 2 |
<span class="gp">$ </span>curl --mail-from blah@test.com --mail-rcpt foo@test.com smtp://mailserver.com |
Grep es un comando muy útil que sirve para realizar búsqueda de texto en algun tipo de regitro, en un trozo de texto o dentro del contenido de un archivo.
Uso
- Buscar texto en un archivo
|
1 2 |
<span class="gp">$ </span>grep <span class="s1">'blog'</span> texto.txt |
- Buscar texto en un mensaje registro
|
1 2 |
<span class="gp">$ </span>dmesg | grep <span class="s1">'usb'</span> |
Beautiful Soup es una libreria de Python, gracias a este conjunto de librerias podemos parsear código HTML o XML y visualizarlo de una manera más amigable. También se pueden localizar etiquetas en concreto dentro de cualquier archivo HTML, como ser enlaces o cabeceras.
Uso
- Mostrar un archivo de manera amigable
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 |
<span class="n">html_doc</span> <span class="o">=</span> <span class="s">""" <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """</span> <span class="kn">from</span> <span class="nn">bs4</span> <span class="kn">import</span> <span class="n">BeautifulSoup</span> <span class="n">soup</span> <span class="o">=</span> <span class="n">BeautifulSoup</span><span class="p">(</span><span class="n">html_doc</span><span class="p">,</span> <span class="s">'html.parser'</span><span class="p">)</span> <span class="k">print</span><span class="p">(</span><span class="n">soup</span><span class="o">.</span><span class="n">prettify</span><span class="p">())</span> <span class="c"># <html></span> <span class="c"># <head></span> <span class="c"># <title></span> <span class="c"># The Dormouse's story</span> <span class="c"># </title></span> <span class="c"># </head></span> <span class="c"># <body></span> <span class="c"># <p class="title"></span> <span class="c"># <b></span> <span class="c"># The Dormouse's story</span> <span class="c"># </b></span> <span class="c"># </p></span> <span class="c"># <p class="story"></span> <span class="c"># Once upon a time there were three little sisters; and their names were</span> <span class="c"># <a class="sister" href="http://example.com/elsie" id="link1"></span> <span class="c"># Elsie</span> <span class="c"># </a></span> <span class="c"># ,</span> <span class="c"># <a class="sister" href="http://example.com/lacie" id="link2"></span> <span class="c"># Lacie</span> <span class="c"># </a></span> <span class="c"># and</span> <span class="c"># <a class="sister" href="http://example.com/tillie" id="link2"></span> <span class="c"># Tillie</span> <span class="c"># </a></span> <span class="c"># ; and they lived at the bottom of a well.</span> <span class="c"># </p></span> <span class="c"># <p class="story"></span> <span class="c"># ...</span> <span class="c"># </p></span> <span class="c"># </body></span> <span class="c"># </html></span> |
- Mostrar contenido de una etiqueta de HTML
|
1 2 3 |
<span class="n">soup</span><span class="o">.</span><span class="n">title</span> <span class="c"># <title>The Dormouse's story</title></span> |
- Buscar todos los enlaces
python for link in soup.find_all('a'): print(link.get('href')) # http://example.com/elsie # http://example.com/lacie # http://example.com/tillie
Tika es un software muy útil en el ámbito del análisis de documentos. Se usa en tareas de indexación, análisis de contenidos, traducción y muchas otras tareas.
Imágenes del la clase
