Search

Scraping con Selenium y BeautifulSoup

El pasado fin de semana estuve leyendo sobre Selenium, y se me ocurrió una idea para un nuevo post.

El tema iba de hacer un ejemplo con un modelo de Machine Learning. Y claro, necesitaba unos datos que tuvieran relación con la temática del artículo.

Como primer paso, necesitaba nombres del universo Star Wars.

Así que estuve buscando por Internet un generador de nombres. Una simple búsqueda en Google y aparecen unos cuantos. El problema que me encontré es que la mayoría te generan nombres de uno en uno. Hasta que di con este:

The Star Wars Random Name Generator

En esta web puedes elegir si quieres nombres masculinos, femeninos o de ambos. Y lo mejor, la cantidad. Hasta 100 nombres haciendo un simple click.

Oh, oh, problema. ¿Cómo leches hago ese simple click?

Pues aquí entra en juego Selenium, y no, no es el elemento químico.

Selenium es una herramienta para automatizar pruebas en aplicaciones web. Selenium lo integran varios componentes. El que vamos a utilizar nosotros se llama Selenium WebDriver. Con él podemos realizar acciones como si fueramos un usuario que está navegando por la web, pero de manera automática. Para poder utilizar la potencia de Selenium WebDriver debemos instalar el controlador correspondiente al navegador con el que vayamos a realizar las acciones. Nosotros utilizaremos Mozilla Firefox. Además, deberemos instalar el paquete de Selenium para Python.

La instalación de el driver puede resultar un poco confusa. Lo voy a explicar para Windows, para Ubuntu es similar. Primero tienes que descargarte el driver del navegador que vayas a utilizar. Nosotros, como he dicho antes, utilizaremos el driver para Firefox. Viene en un archivo comprimido. Descomprimes, y el archivo .exe (en Windows) lo colocas en la carpeta que te parezca bien, y te copias la ruta.

A continuación, añadimos a nuestra variable de sistema llamada Path, una nueva entrada, con la ruta al archivo.

Y ya casi estaría. Solo quedaría instalar el paquete de selenium para python, algo tan sencillo como hacer, por ejemplo:

Así pues, con la ayuda de Selenium y BeautifulSoup, vamos a ‘escrapear’ 100000 nombres del mundo Star Wars.

La url que vamos a atacar tiene esta pinta:

Examinando el código html, podemos ver que los elementos que activar son:

  • El radio button con valor 100, que tiene como propiedades name = “choice y value=”100”.
  • El botón Generate!, que tiene como propiedades name=”submit” y value=”Generate!”.

Con éstas propiedades podremos identificar los objetos y lanzar acciones sobre ellos.

Para buscar los elementos a través del código html, utilizaremos la función find_element_by_xpath que nos proporciona Selenium Driver, y a la que le pasaremos como parámetros las propiedades de los objetos.

Una vez encontrado el objeto, utilizaremos la función click.

Al hacer click en el botón Generate!, se crea una tabla con los nombres. Haremos un scraping para obtener los nombres de la tabla utilizando BeautifulSoup, como ya hicimos aquí.

Resumiendo, el script realizará un loop, en el que Selenium automatizará el siguiente proceso:

  1. Selecciona la opción de 100 nombres.
  2. Hace click en el botón Generate.

Y gracias a BeautifulSoup captaremos los nombres de la tabla generada y los iremos añadiendo a una lista, evitando repeticiones. A continuación, pasaremos la lista a un dataframe y lo guardaremos en un csv.

El código quedaría así:

Como podéis observar, le llevó una hora y tres cuartos finalizar el proceso.

Además, ya que estaba, me puse a  ‘escrapear’ también los planetas y las razas del universo Star Wars.

Los planetas los he ‘escrapeado’ de esta web, y con este script:

Y las razas las he obtenido de estas 5 webs: 1, 2, 3, 4, 5. Y este es el script:

Os dejo a vosotros investigar qué hacen los scripts para obtener los planetas y las razas.

Ahora a preparar el post donde utilizaré toda esta info ‘scrapeada’.

¡Estad atentos!

Puedes descargarte el código de mi 

Deja un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.