蜘蛛家里为什么有蜘蛛只抓取根目录

来源：蜘蛛抓取(WebSpider) 时间：2012-07-31 21:15 标签： 家里为什么有蜘蛛
如何屏蔽搜索引擎的蜘蛛抓取_时尚生活话题吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：60,944贴子：
如何屏蔽搜索引擎的蜘蛛抓取收藏
如何屏蔽搜索引擎的蜘蛛抓取做SEO的站长们是否经常碰到这样的问题？网站在做好排名或者提供优质服务以后，并没有订单不断或电话不断的效果，就有了拒绝付款的客户。另一方面，为了保证网站文章的权威性，不易被搜索引擎检索，也需要使用到一种常见的方式：屏蔽百度谷歌等搜索引擎蜘蛛。具体的方法有两个，网钱中国总结如下：&&&& 一、创建robots.txt文本。&&&& robots.txt文本的文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。&&&& 1.User-agent:&&&& 指定允许抓取的蜘蛛，如给出参数，只有指定的蜘蛛能够抓取；如果值为通配符“*”号，代表允许所有蜘蛛抓取。如：&&&& User-agent: Googlebot*，表示只允许Google的蜘蛛抓取；&&&& User-agent: *，则表示允许所有蜘蛛抓取。&&&& 注意：User-agent必须出现在第一行（有意义的行，注释除外），用以首先声明用户代理。&&&& 2.Disallow:&&&& 指定禁止蜘蛛抓取的目录或文件，如：&&&& Disallow: /help.php，表示禁止抓取根目录下help.php文件；&&&& Disallow: /admin/，表示禁止抓取根目录下的admin子目录中任何内容；&&&& Disallow:，值为空时，表示不限制，蜘蛛可以抓取站内任何内容。&&&& Disallow: /，表示禁止蜘蛛抓取根目录下的所有内容。&&&& 如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。&&&& 二、robots Meta标签。&&&& robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，用于部分网页需要单独设置的情况，两者的功能是一样的。&&&& Meta robots标签必须放在&head&和&/head&之间，格式：&&&& &meta name=”robots” content=”index,follow” /&&&&& content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：&&&& index,follow：允许抓取本页，允许跟踪链接。 &&&& index,nofollow：允许抓取本页，但禁止跟踪链接。 &&&& noindex,follow：禁止抓取本页，但允许跟踪链接。 &&&& noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。 &&&& 以上第一条和第四条还有另一种写法：&&&& index,follow可以写成all，如：&&&& &meta name=”robots” content=”all” /&&&&& noindex,nofollow可以写成none，如：&&&& &meta name=”robots” content=”none” /&&&&& 需要注意的是，很多搜索引擎是不支持robots Meta标签的，只有少数搜索引擎能够识别并按给定的值抓取。所以，网钱中国建议您尽可能的使用robots.txt文件来限制抓取。
CGWANG原画培训 「零基础全额退费保障」,原画名企委托培训,高薪工作不是梦
快试试吧，可以对自己使用挽尊卡咯~◆◆
网钱中国建议您尽可能的使用robots.txt文件来限制抓取
理论性的东西就说这些，具体实践还是要靠你自己咯
网钱中国的张老师也提醒过这些“懒人们”，由于在网上购买大额商品存在一定风险,一些大件商品的送递流程也并不完善
不能打一枪换一个地方，要打造一系列的软文
网钱中国是专业的网络营销机构吧
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或查看: 3123|回复: 13
明明已经禁止蜘蛛抓取了 为什么还有蜘蛛进来？
我的站被拔毛了，怀疑是BBS里面垃圾信息过多导致的，索性就屏蔽掉了整个BBS目录，已经屏蔽将近半个多月了 依然每天还是有蜘蛛会进来是怎么回事！！！这样一来岂不又一直在影响我的权重吗？
从这里也可以看到 我的代码也没有写错。
本帖子中包含更多资源
才可以下载或查看，没有帐号？
冒险岛私服
不遵守robots协议的很多。另外有很多蜘蛛伪装成百度的。。
伪装的能骗过百度官方提供的站长平台？那我就无语了。。。&
这个难说的。
robots的问题
chandiwa 发表于
不遵守robots协议的很多。另外有很多蜘蛛伪装成百度的。。
伪装的能骗过百度官方提供的站长平台？那我就无语了。。。
伪装的可以通过ping反查看到，再说了谁说百度就一定遵守robots协议了~~~除了google没有哪个搜索引擎那么遵守协议&
Uncle_Crazy 发表于
参照：http://bbs./forum.php?mod=redirect&goto=findpost&ptid=8223&pid=45778
你这个讲的是有道理，但是淘宝网那个我猜测是百度用了人工干预进行收录的首页跟几个重要的频道页，毕竟如果在百度上都搜索不出来淘宝网的首页，而都是一些无关的淘宝客页面的话，网民也会对百度产生一定的不信任，而且淘宝网内页都是没有被蜘蛛收录的，而我之前截图的那个蜘蛛最后爬取的页面也根本没有外部链接进去的。
这个谷歌是做的最好的
哈哈~看来蜘蛛很饿啊
貌似对robots文件，搜索引擎蜘蛛有一个时间反应周期的，并不是你写了就不会抓取。
Powered by其他帐号一键登录:
& 屏蔽所有搜索引擎蜘蛛的方法
查看: 757|回复: 0
手机看此贴：
用得意APP扫一扫
微信扫一扫 转发至朋友圈
UID495004&好友&帖子&主题&精华0&小红花5 &积分30&在线时间14 小时&注册时间&阅读权限20&最后登录&
UID495004&帖子&精华0&金币2 &威望0 &注册时间&
& & 做SEO不但要学会让蜘蛛快速来抓取你的网站，还要学会禁止搜索引擎抓取我的网站。为了保证网站文章的权威性，不易被搜索引擎检索，需要通过屏蔽搜索引擎蜘蛛来实现这一目标，具体的方法有两个。
& & 一、创建robots.txt文本
& & robots.txt文本的文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。
& & 1.User-agent：指定允许抓取的蜘蛛，如给出参数，只有指定的蜘蛛能够抓取；如果值为通配符“”号，代表允许所有蜘蛛抓取。
& & 如 User-agent：Googlebot，表示只允许Google的蜘蛛抓取；
& & User-agent：*，则表示允许所有蜘蛛抓取。
& & 注意：User-agent必须出现在第一行（有意义的行，注释除外），用以首先声明用户代理。
& & 2.Disallow：指定禁止蜘蛛抓取的目录或文件。
& & 如Disallow：/help.php，表示禁止抓取根目录下help.php文件；
& & Disallow：/admin/，表示禁止抓取根目录下的admin子目录中任何内容；
& & Disallow：，值为空时，表示不限制，蜘蛛可以抓取站内任何内容；
& & Disallow：/，表示禁止蜘蛛抓取根目录下的所有内容。
& & 注意：如果需要指定多个目录或文件，可以用多个“Disallow： 文件或目录名”来指定，但必须每一项单独一行。
& & 二、robots Meta标签
& & robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，用于部分网页需要单独设置的情况，两者的功能是一样的。
& & Meta robots标签必须放在&head&和&/head&之间，格式：
& & &meta name=“robots” content=“index，follow” /&
& & content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：
& & index，follow：允许抓取本页，允许跟踪链接。
& & index，nofollow：允许抓取本页，但禁止跟踪链接。
& & noindex，follow：禁止抓取本页，但允许跟踪链接。
& & noindex，nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
& & 以上第一条和第四条还有另一种写法：
& & index，follow可以写成all，如：
& & &meta name=“robots” content=“all”/&
& & noindex，nofollow可以写成none，如：
& & &meta name=“robots” content=“none”/&
& & 需要注意的是，很多搜索引擎是不支持robots Meta标签的，只有少数搜索引擎能够识别并按给定的值抓取。所以，建议您尽可能的使用robots.txt文件来限制抓取。
本帖最后由 @爱在深秋 于
17:22 编辑
版权所有& Powered by

我要回帖

更多关于 家里为什么有蜘蛛 的文章

 

随机推荐