都说windows下的python3不支持scrapy,这里给出解决方案

1,引言

Scrapy的架构初探》一文讲解了Scrapy的架构,本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子,完整的代码可以在github上下载。

2,运行环境配置

  • 本次测试的环境是:Windows10, Python3.4.3 32bit
  • 安装Scrapy : $ pip install Scrapy #实际安装时,由于服务器状态的不稳定,出现好几次中途退出的情况

3,编写运行第一个Scrapy爬虫

3.1. 生成一个新项目:tutorial

项目目录结构如下:
windows7 Python3 环境运行 Scrapy-安全者
3.2. 定义要抓取的item

3.3. 定义Spider

3.4. 运行

1) 结果报错:
A) ImportError: cannot import name '_win32stdio'
B) ImportError: No module named 'win32api'

2) 查错过程:查看官方的FAQstackoverflow上的信息,原来是scrapy在python3上测试还不充分,还有小问题。

3) 解决过程:
A) 需要手工去下载twisted/internet下的 _win32stdio 和 _pollingfile,存放到python目录的lib\sitepackages\twisted\internet下
B) 下载并安装pywin32

再次运行,成功!在控制台上可以看到scrapy的输出信息,待运行完成退出后,到项目目录打开结果文件items.json, 可以看到里面以json格式存储的爬取结果。

第一次运行scrapy的测试成功。

4,接下来的工作

接下来,我将使用GooSeeker API来实现网络爬虫,省掉对每个item人工去生成和测试xpath的工作量。目前有2个计划:

  1. 在gsExtractor中封装一个方法:从xslt内容中自动提取每个item的xpath
  2. 从gsExtractor的提取结果中自动提取每个item的结果

具体选择哪个方案,将在接下来的实验中确定,并发布到gsExtractor新版本中
5,文档修改历史

2016-06-11:V1.0,首次发布

作者:华天清
链接:https://zhuanlan.zhihu.com/p/21335106
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。