Scrapy es un crawler (araña) desarrollado en python para poder extraer datos de la red de forma automatizada para que posteriormente puedan ser analizados. Es sencillo y útil, es muy utilizado en portales como similarto.us para extraer datos de webs y detectar páginas con servicios similares entre ellos, aunque claro, las posibilidades son infinitas, y como dijo Albert Einstein: "La imaginación es más importante que el conocimiento".
Aquí expongo los pasos para instalar scrapy 0.24 en centOS 6.4 con python 2.7, aunque seguramente siguiendo estos pasos similares pasos puedas hacerlo correr en cualquier otra máquina gnu-linux como Ubuntu
1. Instalación de Python 2.7
yum groupinstall -y 'development tools'
wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tar.xz
tar -xvf Python-2.7.6.tar.xz
cd Python-2.7.6
./configure
make
make altinstall
2. Si todo ha ido bien, deberiamos de poder ejecutar python 2.7 introduciendo (pulsen CRTL+Z para salir):
python2.7
3. Ahora instalamos easy_install con lo siguiente:
curl –O http://pypi.python.org/packages/source/d/distribute/distribute-0.6.49.tar.gz
tar -xzvf distribute-0.6.49.tar.gz
cd distribute-0.6.49
python setup.py install
4. Y finalmente instalamos scrapy
easy_install-2.7 scrapy
Voila!
No hay comentarios:
Publicar un comentario
Gracias por frikear con nosotros!