Windonws 与 Ubuntu 下Python3.6安装Scrapy的快捷方法 - 触屏版 - 阿里云
Windonws 与 Ubuntu 下Python3.6安装Scrapy的快捷方法
发布时间：
来源：网络
上传者：用户
序言:通常使用pip install scrapy 安装scrapy包时会出现各种问题,导致安装失败。我将使用最快捷的方法安装scrapy
在windows平台下
安装twisted 先下载 twisted 的 wheel安装包 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 例如python3.6版本,win10 64位操作系统,下载文件为Twisted-17.9.0-cp36-cp36m-win_amd64.whl,然后在该文件的指定目录下安装,使用管理员身份打开window powershell 或 cmd,指向该目录,例如我下载在 F:/Python/libs 这个目录
cd F:/Python/libspip install ./Twisted-17.5.0-cp36-cp36m-win_amd64.whl
使用豆瓣源安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
在Ubuntu平台
安装依赖库
sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
安装twisted
wget https://pypi.python.org/packages/a2/37/298fd75aacc63aa4bbcf7b5fdd099d2/Twisted-17.9.0.tar.bz2#md5=6dbedb918f0cf59393ecf8-- 19:13:42--
https://pypi.python.org/packages/a2/37/298fd75aacc63aa4bbcf7b5fdd099d2/Twisted-17.9.0.tar.bz2bzip2 -d Twisted-17.9.0.tar.bz2tar xvf Twisted-17.9.0.tarsudo pip install ./Twisted-17.9.0
使用豆瓣源安装scrapy
sudo pip install -i https://pypi.douban.com/simple scrapy
以上是的内容，更多
的内容，请您使用功能获取相关信息。
本文内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果你发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：zixun-group@service.aliyun.com 进行举报，并提供相关证据，工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。1569人阅读
python-爬虫教程
Python3.6安装Scrapy爬虫框架
Windows10 64位系统安装Scrapy版本
安装zope.interface
*安装pyOpenSSL
安装Twisted
安装pywin32
安装Scrapy
Python3.6版本，windows 10系统下，在（）找到lxml-3.8.0-cp36-cp36m-win_amd64.whl，采用pip方式安装。
pip install lxml-3.8.0-cp36-cp36m-win_amd64.whl
安装zope.interface
在（）下载zope.interface对应版本的wheel文件，然后pip安装，下载zope.interface-4.4.2-cp36-cp36m-win_amd64.whl
pip install zope.interface-4.4.2-cp36-cp36m-win_amd64.whl
安装pyOpenSSL
官方网站下载wheel文件，，如当前最新版本名称是pyOpenSSL-16.2.0-py2.py3-none-any.whl，下载后安装即可。
pip install pyOpenSSL-16.2.0-py2.py3-none-any.whl
安装Twisted
同理，下载wheel文件，利用pip安装即可。
如Python 3.6版本，Windows 64位系统，下载
Twisted-17.5.0-cp36-cp36m-win_amd64.whl，然后pip安装。
pip install Twisted-17.5.0-cp36-cp36m-win_amd64.whl
安装pywin32
从官方网站
下载对应版本的安装包安装即可。
但是容易出现问题，就是在安装时会出现提示python3.6-32在注册表中不存在。首先根据()把Python写入注册表，在HKEY-CURRENT_USER–Software–Python–PythonCore–会发现3.6文件夹，把这个文件夹导出并重命名为3.6-32，然后导入注册表。就可以安装Pywin32了。
安装Scrapy
也是采用wheel形式安装Scrapy-1.4.0-py2.py3-none-any.whl
pip install Scrapy-1.4.0-py2.py3-none-any.whlPython之Scrapy爬虫框架安装及使用详解
转载 & & 作者：leerh
这篇文章主要为大家详细介绍了Python Scrapy爬虫框架安装及简单使用，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
题记：早已听闻python爬虫框架的大名。近些天学习了下其中的Scrapy爬虫框架，将自己理解的跟大家分享。有表述不当之处，望大神们斧正。
一、初窥Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了
(更确切来说,
)所设计的， 也可以应用在获取API所返回的数据(例如
) 或者通用的网络爬虫。
本文档将通过介绍Scrapy背后的概念使您对其工作原理有所了解， 并确定Scrapy是否是您所需要的。
当您准备好开始您的项目后，您可以参考
二、Scrapy安装介绍
Scrapy框架运行平台及相关辅助工具
2.7（Python最新版3.5，这里选择了2.7版本）
Python Package: pip and
现在 pip 依赖 setuptools ，如果未安装，则会自动安装setuptools 。
大多数Linux发行版自带了lxml。如果缺失，请查看
除了Windows(请查看 )之外的系统都已经提供。
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).
pip install Scrapy
Windows下安装流程：
1、安装Python 2.7之后，您需要修改 PATH 环境变量，将Python的可执行程序及额外的脚本添加到系统路径中。将以下路径添加到 PATH 中:
&C:\Python27\;C:\Python27\Scripts\;
除此之外，还可以用cmd命令来设置Path：
c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py
安装配置完成之后，可以执行命令python --version查看安装的python版本。（如图所示）
安装 pywin32
请确认下载符合您系统的版本(win32或者amd64)
3、打开命令行窗口，确认 pip 被正确安装:
pip --version
4、到目前为止Python 2.7 及 pip 已经可以正确运行了。接下来安装Scrapy:
pip install Scrapy
至此windows下Scrapy安装已经结束。
三、Scrapy入门教程
1、在cmd中创建Scrapy项目工程。
&scrapy startproject tutorial
H:\python\scrapyDemo&scrapy startproject tutorial
New Scrapy project 'tutorial', using template directory 'f:\\python27\\lib\\site-packages\\scrapy\\templates\\project', created in:
H:\python\scrapyDemo\tutorial
You can start your first spider with:
cd tutorial
scrapy genspider example example.com
2、文件目录结构如下：
解析scrapy框架结构：
scrapy.cfg: 项目的配置文件。
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件。
tutorial/pipelines.py: 项目中的pipelines文件。
tutorial/settings.py: 项目的设置文件。
tutorial/spiders/: 放置spider代码的目录。
3、编写简单的爬虫
1）、在item.py中配置需采集页面的字段实例。
# -*- coding: utf-8 -*-
# Define here the models for your scraped items
# See documentation in:
# http://doc.scrapy.org/en/latest/topics/items.html
import scrapy
from scrapy.item import Item, Field
class TutorialItem(Item):
title = Field()
author = Field()
releasedate = Field()
2）、在tutorial/spiders/spider.py中书写要采集的网站以及分别采集各字段。
# -*-coding:utf-8-*-
import sys
from scrapy.linkextractors.sgml import SgmlLinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from tutorial.items import TutorialItem
reload(sys)
sys.setdefaultencoding("utf-8")
class ListSpider(CrawlSpider):
# 爬虫名称
name = "tutorial"
# 设置下载延时
download_delay = 1
# 允许域名
allowed_domains = ["news.cnblogs.com"]
start_urls = [
"https://news.cnblogs.com"
# 爬取规则,不带callback表示向该类url递归爬取
Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/page/\d',))),
Rule(SgmlLinkExtractor(allow=(r'https://news.cnblogs.com/n/\d+',)), callback='parse_content'),
# 解析内容函数
def parse_content(self, response):
item = TutorialItem()
title = response.selector.xpath('//div[@id="news_title"]')[0].extract().decode('utf-8')
item['title'] = title
author = response.selector.xpath('//div[@id="news_info"]/span/a/text()')[0].extract().decode('utf-8')
item['author'] = author
releasedate = response.selector.xpath('//div[@id="news_info"]/span[@class="time"]/text()')[0].extract().decode(
item['releasedate'] = releasedate
yield item
3、在tutorial/pipelines.py管道中保存数据。
# -*- coding: utf-8 -*-
# Define your item pipelines here
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json
import codecs
class TutorialPipeline(object):
def __init__(self):
self.file = codecs.open('data.json', mode='wb', encoding='utf-8')#数据存储到data.json
def process_item(self, item, spider):
line = json.dumps(dict(item)) + "\n"
self.file.write(line.decode("unicode_escape"))
return item
4、tutorial/settings.py中配置执行环境。
# -*- coding: utf-8 -*-
BOT_NAME = 'tutorial'
SPIDER_MODULES = ['tutorial.spiders']
NEWSPIDER_MODULE = 'tutorial.spiders'
# 禁止cookies,防止被ban
COOKIES_ENABLED = False
COOKIES_ENABLES = False
# 设置Pipeline,此处实现数据写入文件
ITEM_PIPELINES = {
'tutorial.pipelines.TutorialPipeline': 300
# 设置爬虫爬取的最大深度
DEPTH_LIMIT = 100
5、新建main文件执行爬虫代码。
from scrapy import cmdline
cmdline.execute("scrapy crawl tutorial".split())
最终，执行main.py后在data.json文件中获取到采集结果的json数据。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
您可能感兴趣的文章:
大家感兴趣的内容
12345678910
最近更新的内容
常用在线小工具Python3安装scrapy相关问题（windows平台）我的平台是windows8.1，python版本是3.5，今天开始学习爬虫的时候，看到scrapy这个库，但是在安装scrapy的时候，发现总是安装失败，折腾了好一会儿才搞定，特此把安装过程写下来，希望会对未来遇到同样困难的人有所帮助。首先，像常规用包管理器安装，结果失败google这个错误的解决办法，大部分的解决方案是1. 安装wheel，命令行运行：pip install wheel2.下载对应的.whl文件，不要改文件名Ctrl + F，输入lxml，找到下面这段, a binding for the
libraries.lxml-3.6.4-cp27-cp27m-win32.whllxml-3.6.4-cp27-cp27m-win_amd64.whllxml-3.6.4-cp34-cp34m-win32.whllxml-3.6.4-cp34-cp34m-win_amd64.whllxml-3.6.4-cp35-cp35m-win32.whllxml-3.6.4-cp35-cp35m-win_amd64.whllxml-3.6.4-cp36-cp36m-win32.whllxml-3.6.4-cp36-cp36m-win_amd64.whllxml-3.7.0-cp27-cp27m-win32.whllxml-3.7.0-cp27-cp27m-win_amd64.whllxml-3.7.0-cp34-cp34m-win32.whllxml-3.7.0-cp34-cp34m-win_amd64.whllxml-3.7.0-cp35-cp35m-win32.whllxml-3.7.0-cp35-cp35m-win_amd64.whllxml-3.7.0-cp36-cp36m-win32.whllxml-3.7.0-cp36-cp36m-win_amd64.whlcp后面的数字代表python版本，35就是python3.5，跟据你的Python版本选择下载。3. 进入.whl所在的文件夹，执行命令即可完成安装pip install 带后缀的完整文件名4、安装scrapy，命令行安装pip install scrapy如果经过上面的步骤能解决你的问题，就不用往下看了。有一部分人按上面的方法搞定了，但是我把上面的步骤来一遍后，还是提示同样的错误于是我继续又在网上找了好久，才最终解决问题，方法如下：如果上面的步骤来一遍后没有成功，那么你很可能是缺一个包：Twisted1、按上面第二步的方法下载安装Twisted包，下载地址: 2、安装scrapypip install scrapy大功告成！86 条评论分享收藏