网页开发者的20款FIREFOX插件 - 王朝网络 -
分享&&&&&当前位置: &&&&&&&&网页开发者的20款FIREFOX插件&&&　　本文集合了20款为开发者而生的优质插件，在这些插件的帮助下，网页开发者可以创造出令人惊艳、极富创意的网站页面。接下来，让我们一起看看这些插件吧。　　1. Firebug　　作为开发领域最著名的插件，Firebug可以让你在浏览器重实时运行HTML、CSS等代码。Firebug内置有强大的javascript调试工具，可以让你随时暂停JS动画，观察静态的细节。如果你觉得效果比较生硬，你还可以使用JS分析器来分析校准，找到症结所在。　　2. Ghostery　　Ghostery是用来检测&隐形网站&用的，检测跟踪器，网站漏洞，审视像素，监测Facebook和Google
Analytics以及其他超过1000家网络广告供应商、行为数据供应商和内容供应商等所有与你网站相关的活动数据。　　3. Web Developer　　Web
Developer提供了覆盖面广泛的菜单和自定义工具，这些工具允许你进行控制和管理，分析、验证、优化网页。你可以管理CSS，HTML，表格，测量特定部位的尺寸，实时编辑页面，等等。　　4. Flagfox　　Flagfox是一款能用小旗标明服务器物理地址的插件。拥有这个插件之后，你会更清楚自己的浏览器连接到了什么地方，并且你也可以借此明确服务器所在的地区和语言，查查服务器所在地的法律法规是否有特殊限制等等。当然，你还可以通过外部操作了解更多的信息，也可以自己添加自定义的操作，并且设置快速访问或者设定键盘快捷键。　　5. Fireftp　　Fireftp除了能快速有效地传输文件，还拥有更多进阶功能，包括目录比较，同步导航，SFTP，SSL加密，搜索和过滤，完整性检查，远程编辑，鼠标拖放等等。　　6. Colorzilla　　在Colorzilla的帮助下，你可以让你所浏览的页面更加多彩，这款插件可以快速取色并粘贴到其他程序中。此外，Colorzilla可以帮你放大正在查看的页面，测量页面上任意两点之间的距离。Colorzilla内置了调色板，一方面可以方便用户获取预设的色彩，也可以保存自己从网页中抓取的色彩。DOM
Spying功能能帮你监测DOM元素的各种信息。　　7. Quick Java　　拥有Quick Java插件之后，你无需打开系统设置和插件管理就可以快速管理浏览器的功能，这其中包括Java, Javascript,
Cookies, animated Images, Flash, silverlight, stylesheets,
poxy，以及图片自动加载等功能。对于进阶用户，这个插件可能是他们的菜。　　8. SQLite Manger　　这个插件可以帮你管理系统中的SQLite数据库，方便浏览数据，搜索表，能进行添加、删除、编辑等一系列操作。通过SQLite
Manger你可以在操作面板中进行常用操作，便捷地访问工具栏，按钮和菜单。　　9. Table Tool 2　　这是一款针对网页表格而设计的工具，你可以通过它对HTML表格进行复杂的操作，包括复制表/行/列/单元格，可以进行排序，基于正则表达式进行搜索，过滤筛选，生成图表，统计数据，合并，以及比较。操作也非常简单，选中你需要操作的表格，右键菜单，点击&Table
Tool 2&选项即可。　　10. No Script Security Suit　　这款插件会帮你控制Java和Javascript以及其他可执行的内容在你所信任和允许的域当中运行，比如特定的银行站点。它可以帮你抵抗跨站脚本攻击(XSS)，跨域DNS绑定和CSRF攻击(攻击路由器)，反劫持，并且内置独特的ClearClick技术。　　11. DOM Inspector　　DOM查看器是一个用来检查和编辑网页或者XUL应用程序的DOM工具，在它的两栏式编辑器当中，你可以以多种不同的视图来查看文档中的节点。　　12. Modify Header　　Header编辑器可以为你添加、替换和过滤HTTP中的header部分，然后发送到服务器端。这一工具多用于移动互联网开发、HTTP测试。　　13. Awesome Screenshot　　这款截图工具可以帮你截取整个网页，或者部分网页，可以进行标注、添加文字，添加图形、箭头，可以让敏感信息模糊化。截图和处理之后，还可以一键上传分享。　　14. JavaScript Debugger　　经常写Javascript代码的同学可能会喜欢这款JS调试工具。　　15. Cookies Manager　　这款Cookie管理器允许你查看、编辑和新建Cookie，同时也方便你查询一些额外的信息，可以一次编辑多个Cookie，并且一键备份/恢复。　　16. Yslow　　Yslow可以用来分析网页，并且提供改善网页和提升体验的建议。　　17. HTML Validator　　这款HTML验证工具会根据Firefox的内部验证机制来监测网页，并且将网页的错误数量以图标形式标注出来。　　18. Json View　　通常当你看到.json文件的时候，浏览器会直接下载而不是打开文件，Json
View可以让浏览器打开并显示文档，就像打开xml文件一样。文档的显示会结构化，高亮显示特定内容，数组对象可折叠。即使JSON文档中包含错误，也会显示原始文本。　　19. Live HTTP Headers　　这款插件可以让你在浏览网页的同时可以实时查看Header部分。　　20. Hackbar　　Hackbar插件能帮你监测是否有SQL注入、XSS漏洞和站点的安全性。它本身并不是攻击性工具，也不会帮你破解任何一个网站，主要还是面向开发者的防御性安全工具。&&&&&今日推荐
&&&&&日版宠物情人2017的插曲，很带节奏感，日语的，女生唱的。
最后听见是在第8集的时候女主手割伤了，然后男主用嘴帮她吸了一下，插曲就出来了。
歌手：Def...老钟家的两个儿子很特别，就是跟其他的人不太一样，魔一般的执着。兄弟俩都到了要结婚的年龄了，不管自家老爹怎么磨破嘴皮子，兄弟俩说不娶就不娶，老父母为兄弟两操碎了心...把牛仔裤磨出有线的破洞
1、具体工具就是磨脚石，下面垫一个硬物，然后用磨脚石一直磨一直磨，到把那块磨薄了，用手撕开就好了。出来的洞啊很自然的。需要猫须的话调几...先来看下敬业福和爱国福
今年春节，支付宝再次推出了“五福红包”活动，表示要“把欠大家的敬业福都还给大家”。
今天该活动正式启动，和去年一样，需要收集“五福”...有时候我们打开冰箱就会闻到一股异味，冰箱里的这种异味是因为一些物质发出的气味的混合体，闻起来让人恶心。 产生这些异味的主要原因有以下几点。
1、很多人有这种习...简介
《极品家丁》讲述了现代白领林晚荣无意回到古代金陵，并追随萧二小姐化名“林三”进入萧府，不料却阴差阳错上演了一出低级家丁拼搏上位的“林三升职记”。...你就是我最爱的宝宝 - 李溪芮
(电视剧《极品家丁》片尾曲)
作词：常馨内
作曲：常馨内
你的眉 又鬼马的挑
你的嘴 又坏坏的笑
上一秒吵闹 下...乌梅，又称春梅，中医认为，乌梅味酸，性温，无毒，具有安心、除热、下气、祛痰、止渴调中、杀虫的功效，治肢体痛、肺痨病。乌梅泡水喝能治伤寒烦热、止吐泻，与干姜一起制...什么是脂肪粒
在我们的脸上总会长一个个像脂肪的小颗粒，弄也弄不掉，而且颜色还是白白的。它既不是粉刺也不是其他的任何痘痘，它就是脂肪粒。
脂肪粒虽然也是由油脂...来源：中国青年报
新的攻击方法不断涌现，黑客几乎永远占据网络攻击的上风，我们不可能通过技术手段杜绝网络攻击。国家安全保障的主要方向是打击犯罪，而不是处置和惩罚...夫妻网络直播“造人”爆红
　　1月9日，温岭城北派出所接到南京警方的协查通告，他们近期打掉了一个涉黄直播APP平台。而根据掌握的线索，其中有一对涉案的夫妻主播...如何防止墙纸老化？
（1）选择透气性好的墙纸
市场上墙纸的材质分无纺布的、木纤维的、PVC的、玻璃纤维基材的、布面的等，相对而言，PVC材质的墙纸最不透气...观点一：破日本销售量的“鲜肌之谜” 非日本生产
近一段时间，淘宝上架了一款名为“鲜肌之谜的” 鲑鱼卵巢美容液，号称是最近日本的一款推出的全新护肤品，产品本身所...系腰裙(北宋词人 张先)
惜霜蟾照夜云天，朦胧影、画勾阑。人情纵似长情月，算一年年。又能得、几番圆。
欲寄西江题叶字，流不到、五亭前。东池始有荷新绿，尚小如...关于女人的经典语句1、【做一个独立的女人】
思想独立：有主见、有自己的人生观、价值观。有上进心,永远不放弃自己的理想，做一份自己喜爱的事业，拥有快乐和成就...你想体验机器人性爱吗？你想和性爱机器人结婚吗？如果你想，机器人有拒绝你的权利吗？
近日，第二届“国际人类-机器人性爱研讨会”大会在伦敦金史密斯大学落下帷幕。而...10.土耳其地下洞穴城市
变态指数：★★☆☆☆
这是土耳其卡帕多西亚的一个著名景点，传说是当年基督教徒们为了躲避战争而在此修建。里面曾住着20000人，......据英国《每日快报》报道，一位科学家兼理论家Robert Lanza博士宣称，世界上并不存在人类死亡，死亡的只是身体。他认为我们的意识借助我们体内的能量生存，而且...《我爱狐狸精》 - 刘馨棋
　　(电视剧《屏里狐》主题曲)
　　作词：金十三&李旦
　　作曲：刘嘉
　　狐狸精 狐狸仙
　　千年修...·&·&·&·&·&·&·&·&·&·&&&&&&　　本文集合了20款为开发者而生的优质插件，在这些插件的帮助下，网页开发者可以创造出令人惊艳、极富创意的网站页面。接下来，让我们一起看看这些插件吧。
　　1. Firebug
　　作为开发领域最著名的插件，Firebug可以让你在浏览器重实时运行HTML、CSS等代码。Firebug内置有强大的javascript调试工具，可以让你随时暂停JS动画，观察静态的细节。如果你觉得效果比较生硬，你还可以使用JS分析器来分析校准，找到症结所在。
　　2. Ghostery
　　Ghostery是用来检测&隐形网站&用的，检测跟踪器，网站漏洞，审视像素，监测Facebook和Google
Analytics以及其他超过1000家网络广告供应商、行为数据供应商和内容供应商等所有与你网站相关的活动数据。
　　3. Web Developer
Developer提供了覆盖面广泛的菜单和自定义工具，这些工具允许你进行控制和管理，分析、验证、优化网页。你可以管理CSS，HTML，表格，测量特定部位的尺寸，实时编辑页面，等等。
　　4. Flagfox
　　Flagfox是一款能用小旗标明服务器物理地址的插件。拥有这个插件之后，你会更清楚自己的浏览器连接到了什么地方，并且你也可以借此明确服务器所在的地区和语言，查查服务器所在地的法律法规是否有特殊限制等等。当然，你还可以通过外部操作了解更多的信息，也可以自己添加自定义的操作，并且设置快速访问或者设定键盘快捷键。
　　5. Fireftp
　　Fireftp除了能快速有效地传输文件，还拥有更多进阶功能，包括目录比较，同步导航，SFTP，SSL加密，搜索和过滤，完整性检查，远程编辑，鼠标拖放等等。
　　6. Colorzilla
　　在Colorzilla的帮助下，你可以让你所浏览的页面更加多彩，这款插件可以快速取色并粘贴到其他程序中。此外，Colorzilla可以帮你放大正在查看的页面，测量页面上任意两点之间的距离。Colorzilla内置了调色板，一方面可以方便用户获取预设的色彩，也可以保存自己从网页中抓取的色彩。DOM
Spying功能能帮你监测DOM元素的各种信息。
　　7. Quick Java
　　拥有Quick Java插件之后，你无需打开系统设置和插件管理就可以快速管理浏览器的功能，这其中包括Java, Javascript,
Cookies, animated Images, Flash, silverlight, stylesheets,
poxy，以及图片自动加载等功能。对于进阶用户，这个插件可能是他们的菜。
　　8. SQLite Manger
　　这个插件可以帮你管理系统中的SQLite数据库，方便浏览数据，搜索表，能进行添加、删除、编辑等一系列操作。通过SQLite
Manger你可以在操作面板中进行常用操作，便捷地访问工具栏，按钮和菜单。
　　9. Table Tool 2
　　这是一款针对网页表格而设计的工具，你可以通过它对HTML表格进行复杂的操作，包括复制表/行/列/单元格，可以进行排序，基于正则表达式进行搜索，过滤筛选，生成图表，统计数据，合并，以及比较。操作也非常简单，选中你需要操作的表格，右键菜单，点击&Table
Tool 2&选项即可。
　　10. No Script Security Suit
　　这款插件会帮你控制Java和Javascript以及其他可执行的内容在你所信任和允许的域当中运行，比如特定的银行站点。它可以帮你抵抗跨站脚本攻击(XSS)，跨域DNS绑定和CSRF攻击(攻击路由器)，反劫持，并且内置独特的ClearClick技术。
　　11. DOM Inspector
　　DOM查看器是一个用来检查和编辑网页或者XUL应用程序的DOM工具，在它的两栏式编辑器当中，你可以以多种不同的视图来查看文档中的节点。
　　12. Modify Header
　　Header编辑器可以为你添加、替换和过滤HTTP中的header部分，然后发送到服务器端。这一工具多用于移动互联网开发、HTTP测试。
　　13. Awesome Screenshot
　　这款截图工具可以帮你截取整个网页，或者部分网页，可以进行标注、添加文字，添加图形、箭头，可以让敏感信息模糊化。截图和处理之后，还可以一键上传分享。
　　14. JavaScript Debugger
　　经常写Javascript代码的同学可能会喜欢这款JS调试工具。
　　15. Cookies Manager
　　这款Cookie管理器允许你查看、编辑和新建Cookie，同时也方便你查询一些额外的信息，可以一次编辑多个Cookie，并且一键备份/恢复。
　　16. Yslow
　　Yslow可以用来分析网页，并且提供改善网页和提升体验的建议。
　　17. HTML Validator
　　这款HTML验证工具会根据Firefox的内部验证机制来监测网页，并且将网页的错误数量以图标形式标注出来。
　　18. Json View
　　通常当你看到.json文件的时候，浏览器会直接下载而不是打开文件，Json
View可以让浏览器打开并显示文档，就像打开xml文件一样。文档的显示会结构化，高亮显示特定内容，数组对象可折叠。即使JSON文档中包含错误，也会显示原始文本。
　　19. Live HTTP Headers
　　这款插件可以让你在浏览网页的同时可以实时查看Header部分。
　　20. Hackbar
　　Hackbar插件能帮你监测是否有SQL注入、XSS漏洞和站点的安全性。它本身并不是攻击性工具，也不会帮你破解任何一个网站，主要还是面向开发者的防御性安全工具。&&&&&　　免责声明：本文仅代表作者个人观点，与王朝网络无关。王朝网络登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。&&&&&&为你推荐&&&&&&转载本文&UBB代码&HTML代码复制到剪贴板...&更多内容··········&&&&&&&&&频道精选&&&王朝女性&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&王朝分栏&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&王朝编程&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&王朝导购&&|&&|&&|&&|&&|&&|&&|&&|&&|&&|&王朝其他&&|&&|&&|&&|&&|&&|&&&&2005-&&版权所有&2012年2月 挨踢职涯大版内专家分月排行榜第三2011年11月 挨踢职涯大版内专家分月排行榜第三2011年10月 挨踢职涯大版内专家分月排行榜第三
本帖子已过去太久远了，不再提供回复功能。手把手教你用python抓网页数据【一亩三分地论坛数据科学版】
我的图书馆
手把手教你用python抓网页数据【一亩三分地论坛数据科学版】
购买链接：
注册一亩三分地论坛，查看更多干货！
才可以下载或查看，没有帐号？
本帖最后由 EroicaCMCS 于
20:29 编辑
鏉ユ簮涓EUR浜?.涓夊垎鍦拌?鍧?.
. Waral 鍗氬?鏈夋洿澶氭枃绔?,
越来越火了，网页是数据很大的一个来源。最近很多人问怎么抓网页数据，据我所知，常见的编程语言(C++,java,python)都可以实现抓网页数据，甚至很多统计\计算的语言(R,Matlab)都有可以实现和网站交互的包。本人试过用java,python,R抓网页，感觉语法各有差异，逻辑上是一样的。我准备用python来大概讲讲抓网页是什么概念，具体的内容要自己看或者google别人的博客，这里算是抛砖引玉了。水平有限，出现错误或者有更好的办法，欢迎讨论。. 鐣欏?鐢宠?璁哄潧-涓EUR浜╀笁鍒嗗湴
.鏈?枃鍘熷垱鑷?1point3acres璁哄潧
步骤一：熟悉Python的基本语法。. more info
已经熟悉Python的直接跳到步骤二。. Waral 鍗氬?鏈夋洿澶氭枃绔?,
Python是门比较容易入门的编程语言，如何上手视编程基础而定。
(1) 如果有一定编程的基础，建议看google's python class，链接. From 1point 3acres bbs
这个是一个为期两天的短期培训课程（当然，是两个全天），大概是七个视频，每个视频之后给编程作业，每个作业一个小时之内可以完成。这是我学习python的第二门课（第一门是codecademy的python，很早之前看的，很多内容都记不得了），当时每天看视频+编程作业一个多小时，六天弄完，效果还不错，用python写基本的程序没有问题。
(2) 如果是没有任何编程基础，建议看coursera上Rice University开的An Introduction to Interactive Programming in Python。这门课我没有跟过，但是看coursetalk的评论反映非常好，地里也有同学评论()，课程链接：。Udacity上的CS101也是不错的选择，地里有相关的讨论帖()，而且这门课就叫做build a search engine，会专门讲一些和网络相关的module。其他学习资源还有code school和codecademy，这些资源也是挺不错的，但是编程量太少，初学者还是系统的跟课、多练练手来打好基础吧。
当然，每个人的偏好不同，我推荐的不一定适合你。可以先看看这个帖子里面其他人是怎么说的，或者上看看课程评论，再决定吧。
步骤二：学会如何与网站建立链接，得到网页数据。
写脚本与网站进行交互，要熟悉python和网页相关的几个module(urllib,urllib2,httplib)中的一个，知道一个即可，其他的都类似的。这三个是python提供的和网页交互的基本module，还有其他的一些，比如：mechanize和scrappy，我没有用过，可能有更好的性能，欢迎了解的来补充。基本的网页抓取，前面的三个module足矣。
下面的代码演示如何用urllib2与google scholar进行交互，获得网页信息。
# 导入模块 urllib2
import urllib2
# 随便查询一篇文章，比如On random graph。对每一个查询google
# scholar都有一个url，这个url形成的规则是要自己分析的。
query = 'On+random+graph'
url = '/scholar?hl=en&q=' + query + '&btnG=&as_sdt=1%2C5&as_sdtp='. more info
# 设置头文件。抓取有些的网页不需要专门设置头文件，但是这里如果不设置的话，
# google会认为是机器人不允许访问。另外访问有些网站还有设置Cookie，这个会相对复杂一些，
# 这里暂时不提。关于怎么知道头文件该怎么写，一些插件可以看到你用的浏览器和网站交互的. more info
# 头文件（这种工具很多浏览器是自带的），我用的是firefox的firebug插件。
header = {'Host': '',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; rv:26.0) Gecko/ Firefox/26.0',
'Accept': 'text/html,application/xhtml+xml,application/q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate',
'Connection': 'keep-alive'}
# 建立连接请求，这时google的服务器返回页面信息给con这个变量，con是一个对象
req = urllib2.Request(url, headers = header)
con = urllib2.urlopen( req )
# 对con这个对象调用read()方法，返回的是html页面，也就是有html标签的纯文本
doc = con.read()
# 关闭连接。就像读完文件要关闭文件一样，如果不关闭有时可以、但有时会有问题，
# 所以作为一个守法的好公民，还是关闭连接好了。
con.close()复制代码以上的代码就把在google scholar上查询On Random Graph的结果返回到doc这个变量中了，这个和你打开google scholar搜索On Random Graph，然后将网页右键保存的效果是一样的。
. 涓EUR浜?-涓夊垎-鍦帮紝鐙??鍙戝竷
步骤三、解析网页
上面的步骤得到了网页的信息，但是包括了html标签，你要把这些标签去掉，然后从html文本中整理出有用的信息，. From 1point 3acres bbs
你需要解析这个网页。
解析网页的方法：
(1) 正则表达式。正则表达式很有用，熟悉它节省很多的时间，有时候清洗数据不用写脚本或者在数据库上查询，直接在notepad++上用正则表达式组合使用就行了。如何学习正则表达式建议看：正则表达式30分钟入门教程，链接：
(2) BeautifulSoup模块。BeautifulSoup是一个很强大的模块，能把html文件解析成一个对象，这个对象是一棵树。我们都知道html文件是树状的，比如 body -& table -& tbody -& tr，对于tbody这个节点，有很多个tr的子节点。BeautifulSoup可以很方便的取到特定的节点，对单个节点也可以取它的sibling node。网上有很多相关的说明，这里不细说，只演示简单的代码：
(3) 上面两种方法结合使用。. more info
# 导入BeautifulSoup模块和re模块，re是python中正则表达式的模块
import BeautifulSoup
# 生成一个soup对象，doc就是步骤二中提到的
soup = BeautifulSoup.BeautifulSoup(doc)
# 抓取论文标题，作者，简短描述，引用次数，版本数，引用它的文章列表的超链接
# 这里还用了一些正则表达式，不熟悉的先无知它好了。至于'class' : 'gs_rt'中
# 'gs_rt'是怎么来的，这个是分析html文件肉眼看出来的。上面提到的firebug插件
# 让这个变的很简单，只要一点网页，就可以知道对应的html 标签的位置和属性，
# 相当好用。
paper_name = soup.html.body.find('h3', {'class' : 'gs_rt'}).text
paper_name = re.sub(r'\[.*\]', '', paper_name) # eliminate '[]' tags like '[PDF]'
paper_author = soup.html.body.find('div', {'class' : 'gs_a'}).text
paper_desc = soup.html.body.find('div', {'class' : 'gs_rs'}).text
temp_str = soup.html.body.find('div', {'class' : 'gs_fl'}).text
temp_re = re.match(r'[A-Za-z\s]+(\d*)[A-Za-z\s]+(\d*)', temp_str). more info
citeTimes = temp_re.group(1)
versionNum = temp_re.group(2)
if citeTimes == '':
&&citeTimes = '0'
if versionNum == '':. from: /bbs
&&versionNum = '0'
citedPaper_href = soup.html.body.find('div', {'class' : 'gs_fl'}).a.attrs[0][1]复制代码
这些都是我在一个分析citation network的项目的代码。顺便一提，我从google scholar上抓取paper的信息以及引用列表的信息，访问了大概1900次左右的时候给google block了，导致这个片区的ip一时无法登陆google scholar。
步骤四：存取数据
好不容易抓了数据，现在只是存储在内存中，必须保存起来才能利用。
(1) 最简单的方法之把数据写进txt文件中，Python中可以用如下代码实现：-google 1point3acres
# 打开文件webdata.txt，生成对象file,这个文件可以是不存在的，参数a表示往里面添加。
# 还有别的参数，比如'r'只能读但不能写入，'w'可以写入但是会删除原来的记录等等
file = open('webdata.txt','a')
line = paper_name + '#' + paper_author + '#' + paper_desc + '#' + citeTimes + '\n'
# 对象file的write方法将字符串line写入file中
file = file.write(line). /bbs
# 再一次的，做个随手关闭文件的好青年
file.close()复制代码这样，就把从网页上抓到并且解析了的数据存储到本地了,是不是很简单？
(2) 当然，你也可以不写入txt文件中，而是直接连接数据库，python中的MySQLdb模块可以实现和MySQL数据库的交互，把数据直接倒到数据库里面，与MySQL数据库建立链接的逻辑和与网站服务器建立链接的逻辑差不多。如果之前有学习过数据库，学习用MySQLdb模块实现和数据库的交互是很简单的；如果没有，则要借助在coursera\ openEdX平台上都有开设的Introduction to Database来系统学习，w3school用来参考或者当成手册。
Python能够链接数据库的前提是数据库是开着的，我用的是 win7 + MySQL5.5，数据库在本地。. from: /bbs
%可以用cmd开启数据库，启动命令是：
net start mysql55
%关闭命令是：
net stop mysql55复制代码使用MySQLdb模块代码示例：
# 导入 MySQLdb模块.
import MySQLdb
# 和服务器建立链接,host是服务器ip，我的MySQL数据库搭建在本机，默认的是127.0.0.1，
# 用户、密码、数据库名称对应着照输就行了，默认的端口号是3306，charset是编码方式，
# 默认的是utf8(也有可能是gbk，看安装的版本)。. from: /bbs
conn = MySQLdb.connect(host='127.0.0.1', user='root', passwd='yourPassword', db='dbname', port=3306, charset='utf8')
# 建立cursor
cur = conn.cursor()
# 通过对象cur的execute()方法执行SQL语句
cur.execute("select * from citeRelation where paperName = 'On Random Graph'"). 涓EUR浜?-涓夊垎-鍦帮紝鐙??鍙戝竷
# fetchall()方法获得查询结果，返回的是一个list，可以直接这样查询：list[i][j]，
# i表示查询结果中的第i+1条record，j表示这条记录的第j+1个attribute(别忘了python从0开始计数)
list = cur.fetchall()
# 也可以进行delete,drop,insert,update等操作，比如：
sql = "update studentCourseRecord set fail = 1 where studentID = '%s' and semesterID = '%s' and courseID = '%s'" %(studentID,course[0],course[1])
cur.execute(sql). 1point 3acres 璁哄潧
# 与查询不同的是，执行完delete,insert,update这些语句后必须执行下面的命令才能成功更新数据库
# 一如既往的，用完了之后记得关闭cursor，然后关闭链接
cur.close()
conn.close()复制代码
这样就实现了Python和数据库之间的交互。除了MySQL数据库外，python的PyGreSQL模块可以支持postgreSQL数据库，道理类似的。还有，如果你的网页里面包含了中文，设置编码格式会非常的麻烦，需要服务器、Python、数据库和数据库界面采用相同的编码格式才能不出现乱码，如果真的出现了中文乱码的问题，请相信，你不是一个人！！去google一下吧，成千上万的人碰到过这种问题。
关于编码的问题，附一篇我看到的博文&&:
. From 1point 3acres bbs
后记：. /bbs
上面介绍了抓取网页数据的方法，抓取数据只是一小步，如何分析数据就是大学问了，欢迎讨论。
上面有什么地方讲不清楚的，欢迎交流。
大规模抓取网站会给网站的服务器带来很大的压力，尽量选择服务器相对轻松的时段（比如凌晨）。网站很多，不要拿一亩三分地来做试验。
Python的time模块的sleep()方法可以让程序暂停一段时间，比如time.sleep(1)让程序运行到这里的时候暂停1秒。适时地暂停可以缓解服务器的压力，也可以保护自己的硬盘，正好码久了睡个觉，或者去趟gym，结果就出来了。
日，更改了几处打字错误；添加了相关课程链接；增加了udacity CS101的介绍；增加了MySQLdb模块的介绍。. 1point 3acres 璁哄潧
日，增加了介绍编码方式的博文链接。
TA的最新馆藏