写一个抓取天气网站的爬虫
一、准备：
1、安装scrapy（sudo pip install scrapy）。
2、新建scrapy项目，命令行执行scrapy startproject weather，这时会在某个目录下建立该项目。
这些文件分别是：
scrapy.cfg：项目的配置文件
weather/：该项目的python模块，之后在此加入代码
weather/items.py：项目的items文件
weather/pipelines.py：项目的pipelines文件
weather/settings.py：项目的设置文件
weather/spiders/：防止spider代码目录
1、定义item
item是保存爬取到的数据的容器，其使用方法和python字典类似，并且提供额外保护机制来避免拼写错误导致的未定义字段错误。
首先根据需要从网站获取到的数据对item进行建模，需要从.cn中获取当前城市名，后续9天的日期，天气描述和温度等信息。对此，在item中定义相关字段，编辑weather目录中的items.py文件。
2、编写获取天气数据的爬虫（Spider）
Spider使用户编写用于从单个网站或者一些网站爬去数据的类，器包含了一个用于下载的初始URL，如何跟进网页中的链接以及如何分析页面中的内容，提起item的方法。
为了创建一个Spider，必须继承scrapy.Spider类，且定义以下三个属性：
（1）name：用于区别Spider。该名字必须是惟一的，不可以为不同的Spider设置相同的名字。
（2）start_urls：包含了Spider在启动时进行爬去的url列表，因此，第一个被获取到的页面将是其中之一，后续的URL则从初始的URL获取到的数据中提取。
（3）parse()是spider的一个方法，被调用是，每个厨师URL完成下载后生成的Response对象将会作为惟一的参数传递给该函数，该方法负责解析返回的数据（response
data），提取数据（生成item）以及生成需要进一步处理的URL的Request对象。
Spider代码如下，保存在weather/spiders目录下颚localweather.py文件中。
3、运行爬虫，对数据进行验证
验证一下爬虫是否能正常工作（技能否取到我们想要的数据），验证的方法就是在命令行（重要：在项目的scrapy.cfg文件同级目录运行命令，下同）中运行下面的代码：
scrapy crawl myweather -o
wea.json这行命令的意思就是运行名字为myweather的爬虫，然后把结果以json格式保存在wea.json文件中，结果如下。
然后查看当前目录下的wea.json问津，正常情况下应该有数据了，只是数据是以Unicode方式编码的。
4、保存爬取到的数据
上面只是把数据保存到json文件中了，如果我们想要保存在文件或数据库中，如何操作？
这里就要用到Item Pipeline了，这又是什么呢？
当Item在Spider中被手机之后，他将会床底到Item
Pipeline中，一些组件会按照一定的顺序执行对Item的处理。
Pipeline组件是实现简单方法的python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃二不再进行处理。
item pipeline 的典型应用有：
清理HTML数据
验证爬去的数据（检查item包含某些字段）
查重（并丢弃）
将爬去到的结果保存到文件或数据库中
pipeline组件都需要调用procedd_item方法，这个方法必须返回一个Item（或任何继承类）对象，或是抛出DropItem异常，被丢弃的Item将不会被之后的pipeline组件处理。
pipeline.py文件在创建项目时已经自动被创建好，我们在其中加上保存到文件的代码：
5、把ITEM_PIPELINES添加到设置中
写好ITEM_PIPELINRS后，还有很重要的一步，就是把ITEM_PIPELINES添加到设置文件的setting.py中。
另外，有些网站对爬虫进行了阻止，我们可以在设置中修改一下爬虫的USER_AGENT和Referer信息，增加爬虫请求的响应时间，整个setting.py文件内容如下。
6、运行爬虫
到这里代码主要部分完成了，在项目的scrapy.cfg同级目录下用下面的命令运行爬虫：
scrapy crawl myweather
然后在当前目录项会多一个wea.txt文件。(目前没有这个文件呢，在找问题)
原文地址：/courses/running
beautifulsoup和scrapy的关系
前者是一个html\xml解析模块，后者是一个框架可以单独运行，轮子和车子的关系。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。当前位置： →
→ 使用WebService接口做自己网站的天气预报提示
使用WebService接口做自己网站的天气预报提示
& 作者及来源： MyKings - 博客园 &
&收藏到→_→：
摘要: 使用WebService接口做自己网站的天气预报提示
"使用WebService接口做自己网站的天气预报提示"：：
　　今天一朋友问我webservice接口调用的问题，主要是她做网站的时候，需要网站显示当地的天气预报。以前记得研究过，不过好长时间没有做。几乎忘记的差不多了。自己有研究了一个小时，算是弄好了。特意整理一下，方便自己查看，大家也方便学习。
　　首先，我用的是.cn/zh_cn/index.aspx网站提供的接口。操作比较简单。首先创建一个webapplication项目。如下图。
这里要说明一点，.cn/zh_cn/index.aspx网站提供了一个接口帮助文档的使用说明书，这里是下载地址（我会打包在我的demo中）。
右键&webapplication1&项目 --&添加服务引用&-- 在&地址&中输入：.cn/webservices/weatherws.asmx?disco点击&前进&，界面如下图：
　　在&&输入"weatherwebservice"，点击确定。这样一个webservice接口我们就添加好了。
　　接下来添加一个default.aspx页面，打开default.aspx.cs页面。在page_load里面开始编写代码。
右键default.aspx，&在浏览器中查看&。效果如下图。
ok了。这里是demo的下载地址。搜索此文相关文章： Service接口做自己网站的天气预报提示此文来自: 马开东博客
网址: 站长QQ
使用WebService接口做自己网站的天气预报提示_博客园相关文章
博客园_总排行榜
博客园_最新
博客园_月排行榜
博客园_周排行榜
博客园_日排行榜求助，调用天气预报和时间的问题。_html吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：64,482贴子：
求助，调用天气预报和时间的问题。收藏
如图，我需要在网页上添加时间和天气预报，时间要显示北京时间。比如在美洲欧洲打开这个网页也显示的是北京时间而不是调用电脑时间；另外没有后台怎么样自定义天气预报的格式，就像上图一样。我在网上查的代码都不能自定义天气预报的形式。。求帮帮忙
0基础电脑培训——变身高富帅!
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或2273人阅读
我的相关技术日志（10）
第一种：<span style="color:#ff天气根据IP自动获得当地的天气情况
&iframe src=& & width=&160& height=&54&
frameborder=&no& border=&0& marginwidth=&0& marginheight=&0& scrolling=&no&&&/iframe&
第二种：QQ天气预报代码（二)
&IFRAME ID='ifm2' WIDTH='189' HEIGHT='190' ALIGN='CENTER' MARGIN
WIDTH='0' MARGINHEIGHT='0' HSPACE='0' VSPACE='0' FRAMEBORDER='0' SCROLLING='NO'
SRC='/inc/ss258.htm'&&/IFRAME&
第三种：新浪天气预报代码(一)
&IFRAME ID='ifm2' WIDTH='260' HEIGHT='70' ALIGN='CENTER' MARGINWIDTH='0'
MARGINHEIGHT='0' HSPACE='0' VSPACE='0' FRAMEBORDER='0'
SCROLLING='NO' src=& &
&&&&&&&新浪天气预报代码（二）
&IFRAME ID=''ifm2'' WIDTH=''240'' HEIGHT=''160'' ALIGN=''CENTER'' MARGINWIDTH=''0'' MARGINHEIGHT=''0'' HSPACE=''0'' VSPACE=''0'' FRAMEBORDER=''0'' SCROLLING=''NO'' src=&
&IFRAME ID='ifm1' WIDTH='405' HEIGHT='332' ALIGN='center'
MARGINWIDTH='0' MARGINHEIGHT='0' HSPACE='0' VSPACE='0' FRAMEBORDER='0'
SCROLLING='NO' SRC=& &
第五种：QQ天气预报代码（一）
&iframe width=&145& height=&130& border=&0& align=&center& marginwidth=&0&
marginheight=&0& hspace=&0& vspace=&0& frameborder=&0& scrolling=&no&
src=& & allowTransparency=&true&&&/iframe&
大家可根据自己的爱好，把代码插入要显示的位置即可。本站采用第二种，虽然颜色不是太协调，但也凑合用吧，另外需要注意一下，以前很流行的一段代码（在Google上搜到的９０％都是这一段），现在已经不能用了，特此写出来，以免大家浪费精力：
第六种：郑州天气预报：
&iframe src=& & width=&245& height=&110&
& marginwidth=&0& marginheight=&0& hspace=&0& vspace=&0& frameborder=&0& scrolling=&no&&
& &/iframe&//(测试好使)
&iframe src=& & allowTransparency=&true& width=&220& height=&22& marginwidth=&0& marginheight=&0& hspace=&0& vspace=&0& frameborder=&0& scrolling=&No&&&/iframe&
第七种：天津天气预报
&&iframe width=&420& scrolling=&no& height=&60& frameborder=&0& allowtransparency=&true& src=&&
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
(1)(1)(1)(1)(1)(2)(2)(9)(1)