你好，如何用shell脚本对某个招聘网站关键信息的提取，存入数据库乱码！

来源：蜘蛛抓取(WebSpider) 时间：2012-05-29 01:39 标签： 存入数据库乱码
shell脚本抓取网页信息
返回服务器响应脚本echo `curl -o /dev/null -s -m 10 --connect-timeout 10 -w %{http_code} "http://www.linuxidc.net/index.jsp"`1、curl（文件传输工具）常用参数如下：-c，--cookie-jar：将cookie写入到文件-b，--cookie：从文件中读取cookie-C，--continue-at：断点续传-d，--data：http post方式传送数据-D，--dump-header：把header信息写入到文件-F，--from：模拟http表达提交数据-s，--slient：减少输出信息-o，--output：将信息输出到文件-O，--remote-name：按照服务器上的文件名，存在本地--l，--head：仅返回头部信息-u，--user[user:pass]：设置http认证用户和密码-T，--upload-file：上传文件-e，--referer：指定引用地址-x，--proxy：指定代理服务器地址和端口-w，--write-out：输出指定格式内容--retry：重试次数--connect-timeout：指定尝试连接的最大时间/scurl是利用URL语法在命令行方式下工作的文件传输工具。鉴于curl在Linux及Unix命令符下的广泛使用,所以想和大家分享一下如何使用这个具有传奇性的好工具。它支持很多协议：FTP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE 以及 LDAP。 当然curl同样支持HTTPS认证，HTTP POST方法， HTTP PUT方法， FTP上传， kerberos认证，HTTP上传， 代理服务器， cookies， 用户名/密码认证， 下载文件断点续传，上载文件断点续传,，http代理服务器管道（ proxy tunneling）， 甚至它还支持IPv6， socks5代理服务器,，通过http代理服务器上传文件到FTP服务器等等，功能十分强大。到此大家可能会问我到底我们使用它可以干什么呢？我想告诉大家的是在字符界面下它的用处就显示出来了，比如模拟用户访问、下载、登陆web系统、使用该函数自动化检测你的服务是否正常、绕过服务器盗链设置下载想要得数据、自动上传或下载你想要得数据到你想存储的位置等等。现在我们大家一起来看看curl工具强大的功能吧!一、http协议下的使用方法一、访问某站点验证该站点是否提供正常的服务当然如果非80端口你在后端还要加上相应端口哦。1）curl 服务正常情况下返回1否则返回02)要想把读过来页面存下来可以这样做curl
& page.html我们也可以用curl的内置option选项，存下http的结果，用这个option: -ocurl -o page.html 这样，你就可以看到屏幕上出现一个下载页面进度指示。等进展到100%，自然就OK啦。3)使用curl的时候，用这个option可以指定http访问所使用的proxy服务器及其端口： -xcurl -x 123.45.67.8Array:1080 -o page.html 4)访问有些网站的时候比较讨厌，在设计时他们使用cookie来记录session信息。像IE这样的浏览器可以轻易处理cookie信息，但我们的curl呢？我们来学习这个option: -D这个是把http的response里面的cookie信息存到一个特别的文件中去.curl& -D cookieme.txt 5）那么，下一次访问的时候，如何继续使用上次留下的cookie信息呢？要知道，很多网站都是靠监视你的cookie信息，来判断你是不是不按规矩访问他们的网站的。这次我们使用这个option来把上次的cookie信息追加到http request里面去： -bcurl& -D cookie0002.txt -b cookieme.txt 这样，我们就可以几乎模拟所有的IE操作，去访问网页了！6）有些网站总要我们使用某些特定的浏览器去访问他们，有时候更过分的是，还要使用某些特定的版本，怎么办呢？好在curl给我们提供了一个有用的option，可以让我们随意指定自己这次访问所宣称的自己的浏览器信息： 那就是-A选项的功能curl -A "Mozilla/4.0 ( MSIE 6.0; Windows NT 5.0)" -x 123.45.67.8Array:1080 -o page.html -D cookieme.txt 7）欺骗服务器的安全设置盗取相关资源curl给我们提供了设定referer的option： -ecurl -A "Mozilla/4.0 ( MSIE 6.0; Windows NT 5.0)" -x 123.45.67.8Array:1080 -e "" -o page.html -D cookieme.txt 这样，就可以骗对方的服务器，你是从点击某个链接过来的了，呵呵呵8）利用curl 下载文件刚才讲过了，下载页面到一个文件里，可以使用 -o ，下载文件也是一样。比如， curl -o 1.jpg /xx/c1.JPG也可以用大写的O，这么用： curl -o 1.jpg /xx/c1.JPG这样，就可以按照服务器上的文件名，自动存在本地了！再来一个更好用的如果screen1.JPG以外还有screen2.JPG、screen3.JPG、....、screen10.JPG需要下载，难不成还要让我们写一个script来完成这些操作？在curl里面，这么写就可以了：curl -O curl -o 1.jpg /xx/c[1-10].JPG由于zzh/nick下的文件名都是001，002...，201，下载下来的文件重名，后面的把前面的文件都给覆盖掉了。没关系，我们可以使用如下命令规避curl -o #2_#1.jpg /xx//[001-201].JPG这是自定义文件名的下载。#1是变量，指的是这部分，第一次取值zzh，第二次取值nick#2代表的变量，则是第二段可变部分---[001-201]，取值从001逐一加到201这样，自定义出来下载下来的文件名，就变成了这样：原来： ~zzh/001.JPG ---& 下载后： 001-zzh.JPG原来： ~nick/001.JPG ---& 下载后： 001-nick.JPG这样一来，就不怕文件重名啦，呵呵9）我们平时在windows平台上，flashget这样的工具可以帮我们分块并行下载，还可以断线续传。curl在这些方面也不输给谁。比如我们下载screen1.JPG中，突然掉线了，我们就可以这样开始续传curl -c -O curl -o 1.jpg /xx/c1.JPG二、上面讲的都是http协议的下载，下面讲一下ftp用法。1）用法如下所示curl -u name:passwd ftp://ip:port/path/file或者大家熟悉的curl ftp://name:passwd@ip:port/path/file2)上传的用法上传的option是 -T比如我们向ftp传一个文件： curl -T localfile -u name:passwd ftp://uploadsite:port/path/当然，向http服务器上传文件也可以比如 curl -T localfile /xx/1.jpg三、GET和POST用法1）http提交一个表单，比较常用的是POST模式和GET模式GET模式什么option都不用，只需要把变量写在url里面就可以了比如：curl /login.cgi?user=*****&password=****而POST模式的option则是 -d比如，curl -d "user=nickwolfe&password=12345" /login.cgi就相当于向这个站点发出一次登陆申请四、curl还有很多技巧和用法比如 https的时候使用本地证书，就可以这样curl -E localcert.pem& .*，大家不需要记住这些参数在今后需要使用的时候man curl 一下就好了。主要是利用 curl -o /dev/null -s -m 10 --connect-timeout 10 -w %{http_code} "$url" 返回状态码是否200,如果10s没有返回200状态码，则发警报最后让linux 定时执行脚本：crontab -e*/10 * * * * /home/admin/app/bin/webstatus.sh这样每隔10分钟就会执行一次
TA的最新馆藏[转]&[转]&[转]&[转]&[转]&深圳市易思博软件技术有限公司（）成立于日，注册资本10498万元，是上市公司新海宜（002089）投资控股的重点企业，主要从事计算机软硬件的技术开发、销售和相关技术服务、系统集成、进出口业务，拥有多项自主软件产品和工具，是国内知名的专业软件外包企业。公司总部位于深圳，在南京、北京、上海、广州、重庆、苏州、武汉、大连等地建立了分公司或办事处。目前，公司拥有员工3000余名，其中软件技术人才占总人数95%以上，80%的员工具有大学本科或以上学历。
公司已获得国家高新技术企业证书、软件企业证书和计算机信息系统集成三级资质证书，并已通过了CMMI软件成熟度模型三级资质认证、ISO9001质量管理体系认证、ISO20000 IT服务管理体系认证、ISO27001信息安全管理体系认证。
公司业务覆盖通信、金融、电力、政府政务、互联网、电子商务等多个行业，具有丰富的软件开发和服务经验，凭着多年的努力，公司现已同国内外多个知名企业建立了长期的合作关系，形成了持续稳定的大客户业务渠道。
，可查看联系方式哦！
深圳市南山区高新技术产业园北区朗山路中大族创新大厦三楼
关注英才微信，轻松跟踪应聘进展
扫二维码，主管排队等你勾搭
ICP经营许可证编号 京ICP证060405号 京ICP备号-12 京公网安备37号 Copyright (C) 北京五八信息技术有限公司 版权所有

我要回帖

更多关于 存入数据库乱码 的文章

 

随机推荐