关于CentOS安装scrapy碰到的一些问题

scrapy是一个用python写的爬虫,可以方便的进行二次开发和部署,下面说说开发时的几个问题,让本人也是大费周章。

安装前最后先安装以下软件包:yum install libxml2 libxml2-devel libxslt libxslt-devel

 

问题1:执行pip install scrapy后出现




解决办法:yum安装openssl和openssl-devel。然后重新编译python

yum install openssl openssl-devel

 

问题2:再次执行pip install scrapy



解决办法:手动安装 Twisted

wget https://pypi.python.org/packages/source/T/Twisted/Twisted-14.0.2.tar.bz2
tar jxvf Twisted-14.0.2.tar.bz2
python setup.py install

 

问题3:No package 'libffi' found




解决办法:yum install libffi-devel

 

问题4:File "/usr/local/bin/scrapy", line 11, in <module>...from OpenSSL import SSL





解决办法:pip install pyOpenSSL cryptography cffi pycparser

 

 

热门标签