miércoles, 21 de enero de 2015

Instalar scrapy crawler en centOS


Scrapy es un crawler (araña) desarrollado en python para poder extraer datos de la red de forma automatizada para que posteriormente puedan ser analizados. Es sencillo y útil, es muy utilizado en portales como similarto.us para extraer datos de webs y detectar páginas con servicios similares entre ellos, aunque claro, las posibilidades son infinitas, y como dijo Albert Einstein: "La imaginación es más importante que el conocimiento".

Aquí expongo los pasos para instalar scrapy 0.24 en centOS 6.4 con python 2.7, aunque seguramente siguiendo estos pasos similares pasos puedas hacerlo correr en cualquier otra máquina gnu-linux como Ubuntu

1. Instalación de Python 2.7

 yum groupinstall -y 'development tools'  

 wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
 tar -xvf Python-2.7.6.tar.xz
 cd Python-2.7.6
 ./configure
 make
 make altinstall


2. Si todo ha ido bien, deberiamos de poder ejecutar python 2.7 introduciendo (pulsen CRTL+Z para salir):

 python2.7  


3. Ahora instalamos easy_install con lo siguiente:

 curl –O http://pypi.python.org/packages/source/d/distribute/distribute-0.6.49.tar.gz     

 tar -xzvf distribute-0.6.49.tar.gz  
 cd distribute-0.6.49  
 python setup.py install


4. Y finalmente instalamos scrapy

 easy_install-2.7 scrapy  


Voila!

No hay comentarios:

Publicar un comentario

Gracias por frikear con nosotros!