Curso Web y Datos – Clase 2 / Blog AGETIC

Presentación

El día martes 30 de Junio se continuo con el curso de Web y Datos, hablando de herramientas de mucha utilidad para la automatización de procesos de todo tipo, como la navegación y descarga de archivos desde la web de manera repetitiva, búsqueda de información dentro de un trozo de texto, busqueda de etiquetas dentro de un código html, etc.

Herramientas

Wget

Web-get es un software que permite descargar cualquier tipo de documentos desde la internet; este software no tiene una interfaz gráfica, es decir que funciona solo en la terminal o consola. Viene instalado por defecto en casi todos los sistemas operativos basados en UNIX.

Uso

Descargar un archivo

$ wget http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

Descargar un archivo renombrando el original

$ wget -O wget.zip http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz

Descargar varios archivos mediante enlaces contenidos en un archivo de texto

$ echo http://ftp.gnu.org/gnu/wget/wget-1.5.3.tar.gz >> enlaces.txt
$ echo ftp://ftp.gnu.org/gnu/wget/wget-1.10.1.tar.gz.sig >> enlaces.txt
$ wget -i enlaces.txt

Resumir descargas

$ wget -c http://cdimage.debian.org/debian-cd/8.1.0/amd64/iso-dvd/debian-8.1.0-amd64-DVD-1.iso

Descargar en segundo plano y registrar los eventos en un archivo

$ wget -b log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso

Descargar con límite de velocidad y registrar los eventos en un archivo

$ wget -c --limit-rate=100k log.txt ftp://ftp.iinet.net.au/debian/debian-cd/6.0.5/i386/iso-dvd/debian-6.0.5-i386-DVD-1.iso

Curl

Curl soporta transferencia bajo distintos protocolos FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, Telnet, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP, RTMP y RTSP. Wget HTTP , soporte HTTPS y FTP.

Curl soporta tambien certificados SSL, HTTP POST, HTTP PUT, FTP uploading, HTTP form based upload, proxies, cookies, user+password authentication (Basic, Digest, NTLM, Negotiate, kerberos…) reaunudacion de descargas , proxy tunneling entre otros.

Curl puede ser compilado y funcional en más plataformas que wget.

Uso

Descargar un archivo

$ curl http://www.centos.org > centos-org.html

Descargar mutltiples archivos

$ curl -O http://www.gnu.org/software/gettext/manual/html_node/index.html -O http://www.gnu.org/software/gettext/manual/gettext.html

Resumir descargas

$ curl -O http://www.gnu.org/software/gettext/manual/html_node/index.html -O http://www.gnu.org/software/gettext/manual/gettext.html

Autenticarse mediante la terminal

$ curl -u username:password URL

Descargar archivos con autenticación por FTP

$ curl -u ftpuser:ftppass -O ftp://ftp_server/public_html/

Subir archivos a un servidor FTP

$ curl -u ftpuser:ftppass -T myfile.txt ftp://ftp.testserver.com

Observar el intercambio de información

$ curl -v http://www.google.com

Enviar correos web

$ curl --mail-from blah@test.com --mail-rcpt foo@test.com smtp://mailserver.com

Grep

Grep es un comando muy útil que sirve para realizar búsqueda de texto en algun tipo de regitro, en un trozo de texto o dentro del contenido de un archivo.

Uso

Buscar texto en un archivo

$ grep 'blog' texto.txt

Buscar texto en un mensaje registro

$ dmesg | grep 'usb'

Beautiful Soup 4

Beautiful Soup es una libreria de Python, gracias a este conjunto de librerias podemos parsear código HTML o XML y visualizarlo de una manera más amigable. También se pueden localizar etiquetas en concreto dentro de cualquier archivo HTML, como ser enlaces o cabeceras.

Uso

Mostrar un archivo de manera amigable

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>

<p class="story">...</p>
"""

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

print(soup.prettify())
# <html>
#  <head>
#   <title>
#    The Dormouse's story
#   </title>
#  </head>
#  <body>
#   <p class="title">
#    <b>
#     The Dormouse's story
#    </b>
#   </p>
#   <p class="story">
#    Once upon a time there were three little sisters; and their names were
#    <a class="sister" href="http://example.com/elsie" id="link1">
#     Elsie
#    </a>
#    ,
#    <a class="sister" href="http://example.com/lacie" id="link2">
#     Lacie
#    </a>
#    and
#    <a class="sister" href="http://example.com/tillie" id="link2">
#     Tillie
#    </a>
#    ; and they lived at the bottom of a well.
#   </p>
#   <p class="story">
#    ...
#   </p>
#  </body>
# </html>

Mostrar contenido de una etiqueta de HTML

soup.title
# <title>The Dormouse's story</title>

Buscar todos los enlaces python for link in soup.find_all('a'): print(link.get('href')) # http://example.com/elsie # http://example.com/lacie # http://example.com/tillie

tika

Tika es un software muy útil en el ámbito del análisis de documentos. Se usa en tareas de indexación, análisis de contenidos, traducción y muchas otras tareas.