百度是如何处理互联网重复内容?
最近有不少朋友纷纷向笔者进行咨询，就是想知道如何让一个新站点可以迅速收录，并且产生排名。对此，笔者的回答是，如果希望百度蜘蛛可以喜欢上你的网站，首先你要自己喜欢自己的网站。一、站长要成为网站的首席粉丝试问如果连网站的站长都不喜欢自己的网站，那么又如何能让其他用户喜欢呢?同样道理，在百度蜘蛛越来越人性化的现在而言，专心做好网站的站长，必然可以获得百度更好的评价 —— 排名的出现，并非因为你的专门优化而出现，而是因为你的专心做站而出现!或许对于很多SEO朋友而言，他们不一定会认可上述的那句话，然而笔者却认为百度已经认识到很重要的一点，如果大量垃圾内容充斥互联网，充斥自己的搜索平台，那么必然会引起互联网用户的反感。于是在2013年，当百度的绿萝算法以及星火计划陆续出台后，不少人觉得以前那套SEO做法出问题了，大量网站被降权，不少SEO叫苦连天，甚至有人叫嚣SEO已死!事实上，百度并非反感SEO，而是反感利用优化手段把一大堆劣质产品做上首页!正如刀有正反两种作用，既可以用来做菜煮饭，也可以用来杀人放火，在乎使用者如何去利用。同样道理，SEO也是互联网的一把尖刀利器，如果我们可以利用得好，不但可以把网站迅速提升到首页，让更多有相关搜索需求的朋友可以来到网站寻找合适的资料，更能让网站平台较为轻松地获得品牌宣传效应，吸引客户光临赚钱盈利。但如果我们利用自己手头上的SEO技术和各种资源，硬是把一些不知所谓的网站平台推到首页，让搜索用户觉得在百度找不到他们想要的东西，久而久之不但网站难以获得长期收益，而且还拖累百度的搜索市场份额，因此百度的清理也是必然之举!基于如上理由，我们作为站长的同时，有必要懂得一荣俱荣的道理，只有我们的网站质量符合百度的需求，那么百度才会给予我们合理的搜索排名。因而站长很有必要成为网站的首席粉丝，唯有当真心喜欢自己的网站，希望通过它能分享更多的信息给志同道合的朋友时，才可以从互联网里获得更多的支持，我们不能忘记真正的互联网精神是开放、平等、协作以及分享!二、百度是一个巨无霸采集器为什么笔者一再强调网站内容的重要性呢?因为它涉及到百度的真正本质 —— 巨无霸采集器!案例：让我们回归到15年前的互联网时代，那时候由于上网费用较昂贵的缘故，于是非常时兴一种叫做线下浏览器的软件，其实这种浏览器的原理就是把网站进行采集打包，然后下载到自己的硬盘上，那么就可以对网站的内容慢慢地进行学习和研究了。其实那种软件当年就是叫做蜘蛛软件，因为如果你不作限制的话，那么通过互联网的链接渠道，甚至可以把整个互联网给下载回来。当年做网站的同仁，很早就已经认识到相关性友链的重要性，因此我们这些人往往会对采集蜘蛛软件的收集层级适当放松，因为这样的话不但可以把一个网站下载回来(那时的网站大多不足一百页)，而且还能把与之相关的其他网站也能下载回来。譬如说当年笔者就曾经利用这种蜘蛛软件，打包了不少日本优秀同人志网站，而这些网站之间的链接，就是通过友情链接互链而成的。那么我们可以从这些软件了解到锚文本链接的重要性为什么会高于文本链接了。通过以上案例，笔者希望解释的一点就是，百度的本质就是一个巨无霸采集器，它首先要不断地进行采集，然后收录到自己的数据库里面，制作索引并进行分类处理后，就可以呈现在大家的面前了。然而，即便百度再有钱，但数据服务器依然是一笔巨大的投资，因此随着现在互联网资料的不断膨胀，始终会有一个成本极限存在。为什么邓亚萍的即刻搜索会在2年时间内败光了20亿?相信其中必然有不少钱是因为服务器的投入而耗费的。然而即刻搜索和百度比较而言，只是九牛一毛，可想而知百度搜索服务器群组的投资有多恐怖了。我们都懂得开源节流的意义，要么就是寻找更多的赚钱机会，如果实在不行的话，唯有抽刀断水了。那么什么是百度搜索最好的节流对象?就是那些垃圾站点，就是那些大量重复又重复的资料，当我们从这个方向去考虑问题，就不难解释2013年不少网站被降权的原因了。三、百度和重复内容的关系在2013年，百度对垃圾外链的打击力度十分大，可以说如果你之前发布的垃圾外链越多，那么网站被降权的几率会越大。我们都知道，当年搜索引擎的评分机制是好内容更容易被分享出去，所以越多转载说明文章的内容更好。可惜在国内由于不少人实在太聪明，竟然在SEO优化上出现了外链专员这样的职位，专门发布外链到各种平台上。很多网站拥有者都一厢情愿地认为，只要我们的外链越多，那么我们的排名会越好，赚钱的机会越高!事实上，外链专员的确在一段不短的时间内为不少做SEO优化的网站老板带来盈利，只是对于百度而言，越来越多的重复内容，不但占据了它的服务器资源，而且这些资料毫无盈利前景。本来是一个美好的计划，让更好的文章被转载，然后赋予原创文章出处的网站更好的排名，却因为利益的蒙蔽，让好事变了质，于是百度才会痛下杀手，清理互联网环境 —— 这就是过犹不及的最佳体现，如果那些老板们可以抑制自己的贪婪，不太过分的话，或许这个杀戮时刻还可以延迟几年。笔者和不少做SEO推广的朋友交流后发现，不少想通过SEO优化网站的老板，往往会给他们一个任务目标，要在一段时间内完成多少条外链，不然就扣钱扣工资，于是在这样的环境下，很多人为了完成推广目标，不得不寻找一些捷径来解决问题，继而产生了黑链和垃圾外链，为大量垃圾内容的产生奠定了基础。试想一下，在不少只有一个人做SEO的小网站里，如果规定一个他们每天发布50-100条外链，那么这些SEOER又有多少时间去更新高质量文章？如果通过复制粘帖的方式来发布外链，一年下来他们又会产生多少重复内容?四、大量重复内容让高质量原创弥足珍贵正如《唐伯虎点秋香》里面周星驰第一眼看到巩俐所扮演的秋香时所说：“她也不是传说中那么漂亮。”但当其他人以鬼脸示人时，顿显秋香的国色天香，这就是对比的力量 —— 大量重复的内容让高质量的原创性文章弥足珍贵。假如互联网上面都是独特的东西，反倒不容易凸显原创的重要性，因为你根本不知道如何在一堆形式各异的东西里面寻找优秀品种。但现在由于大量重复内容的出现，让百度蜘蛛可以一眼就能分析到哪些更为独特，然后把它认为是好的东西释放出来并继续测试，通过深入的技术分析和时间沉淀，蜘蛛就可以清楚知道哪些资料是搜索用户所喜欢的内容，自然会给予更好的排名。也就是说，当有的SEOER选择大量发布重复性外链的同时，他正人为地制作让蜘蛛离开的理由。在2014年，不少老手都觉得现在的百度收录是越来越困难了，在某些论坛上，同样也有不少人急于寻求解决收录和排名的方法 —— 其实答案十分简单，只要你懂得制作让用户喜欢、蜘蛛喜欢的页面就可以了。五、把百度蜘蛛当宠物养当搜索引擎的蜘蛛每天都堆集在你的网站时，你会有那么一个幸福的烦恼，就是它们正损耗着网站服务器的资源。即便有时候不去更新，它们也会不断攀爬旧页面，务求从这些页面寻找新的食物 —— 把百度蜘蛛当宠物养，这或许是SEO优化的其中一个目标吧?高质量的原创文章可以让网站不断得到蜘蛛的光顾，这点已经毋庸置疑。在2014年，我们可以做一个简单的实验，就是在同样的时间内使用两种不同的方法进行优化，一是大量发布外链少量更新站内，另一种则相反。相信做过实验的朋友都会体验到，短期效果前者或许更为迅速，但对于那些希望基业长青的网站而言，答案不言而喻。打开网站的日志，我们可以从中挖掘许多信息 —— 从哪天开始终于有第一只蜘蛛的光临……从什么时候开始它们逐渐堆集 —— 只要我们经常分析日志，就可以了解蜘蛛喜欢网站的整个过程。当它们越来越喜欢攀爬时，那么网站的排名出现也是就顺理成章了，毕竟排名是蜘蛛带来的礼物，只要我们好好饲养它的话。六、专心做网站当网站还没有什么好内容展现给用户时，不应过分考虑排名的事情，想让网站平稳发展就需要有充实的内容让蜘蛛觅食。大量发布外链，特别是垃圾外链不但不能让排名稳定地出现，而且还留下来被降权的风险。我们须知道百度的性质，要了解它就是一个巨无霸采集器，它需要大量的高质量文章来支撑它的发展。同时百度不可能无限制地存储重复度极高的内容。随着互联网的日益发展，大量资料的出现已让百度应接不暇，因此它必然会对重复度极高的资讯痛下杀手。专心做网站，并让自己喜欢上它，专注于创造网站所在行业的各种资讯，让它拥有大量独特的内容并可以被自然地传播出去，让蜘蛛自动找上门，逐渐喜欢并愿意成为网站的宠物。绿萝算法以及星火计划的逐步出台，让百度改变了以往那种优化手段，但万变不离其宗的是，网站的本质就是一个媒体，即便这个媒体拥有大量的发行渠道，但如果它的封面庸俗不堪，内容狗屁不通，自然吸引不了读者的欢迎。&&&&因此笔者谨希望，越来越多网站可以拥有大量优质而专业的内容，让拥有搜索需求的用户可以从这里寻觅他们想了解的资讯。为了达成这个目标，让我们专心做好网站，让它从无到有，让它可以把百度蜘蛛当宠物养。同时笔者更希望这些优秀站点可以拥有为公司创造品牌效应以及赚钱盈利的作用。本文作者邓剑锋，转载请注明出处，谢谢大家的支持。来源: 邓剑锋
上一条：&&&&下一条：
&|&&|&&|&&|&&|&&|&&|&&|&
@2014深圳灵点互动设计 | 电话：5 /
| 企业邮箱： | 深圳市布吉深惠路宝岭花园B座1306室 | 粤ICP备号同一个链接同一个页面被百度重复收录两次以上，为什么啊？ - 搜外问答
公司网站，这两天发现同一个页面，同一个链接，百度竟然重复收录了两次，现在百度快照看不了了，查不出啥原因，恳求大家伙帮忙看看。
百度搜索“海长流”，第一页有，第二页也有，链接都是一样的，如下图。@@@@
683 次浏览
一般这都是临时的……百度识别问题。你可以自己观察下，如果半个月后还存在，能做：检查网站是否301或者绝对路径，2者必选其一。另外你交换的友情链接，以及其他外部链接，发的url统一下，带www都带。不带的话都不带。没啥纠结的，该做啥做啥……
推56论坛-王宝臣，见解！！！
这个没有什么影响，因为您输入的是品牌词，而百度数据库里面关于这类的数据并不多，所以会频繁出现，这个是好事，百度能把第一页和第二页都给你你应该高兴。
已学习，哈哈
30天内高手都在交流什么
微信自媒体实战案例
从零开始玩转微信自媒体
(0 个回答)
(0 个回答)
(1 个回答)
(1 个回答)
(2 个回答)
(1 小时前)
(2 小时前)
(3 小时前)
(4 小时前)
(4 小时前)
专注、、运营
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式如何解决重复页面收录问题 -
Powered by 第一站长论坛
<span onclick="showDialog('Email:')" title="点击 找回密码">找回密码
后使用快捷导航没有帐号？
查看: 672|回复: 0
11:35:47
|
　　在做搜索引擎优化的时候，重复页面收录是一件很头疼的事情，搜索引擎对于重复页面目前来说并没有完美的解决方案，之前看到百度站长平台的一篇文章，大意是推荐网站管理员自己去屏蔽重复页面，我们对此可以认识百度目前的技术并不能去主动解决重复页面的问题。　　重复页面的危害不必多说，多数会造成关键词排名下降，甚至降权，那么重复页面是如何产生的呢?SEO营销大师经研究后发现，造成重复页面的途径，主要为以下几点：　　1.网站改版后URL重构，造成一个页面有2套URL，搜索引擎抓取2套URL后，造成重复页面。　　2.网站做伪静态，伪静态后，动态路径和蔚静态共存，搜索引擎抓取后，造成重复页面。　　3.追踪参数，为跟踪流量来源，细分流量渠道，多数网站在推广时会在url中带上“?”的标记　　解决方案　　1.使用Canonial标签　　Canonical 是 Google、雅虎、微软等搜索引擎一起推出的一个标签，它的主要作用是用来解决由于网址形式不同内容相同而造成的内容重复问题。这个标签对搜索引擎作用非常大，简单的说它可以让搜索引擎只抓取你想要强调的内容，我们可以在页面头部设置该标签，告诉搜索引擎该页面的标准URL是什么。　　目前已确认谷歌是支持该标签的，百度也曾在站长平台中确认支持该标签，但是根据实际效果来看，百度对此支持的并不完美，仍有误判情况出现。　　2.使用robots.txt文件　　Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。　　我们可以用robots.txt文件来屏蔽其他非标准URL，如动态URL;　　3.使用301重定向　　页面永久性移走(301重定向)是一种非常重要的“自动转向”技术。网址重定向最为可行的一种办法。当用户或搜索引擎向网站服务器发出浏览请求时，服务器返回的HTTP数据流中头信息(header)中的状态码的一种，表示本网页永久性转移到另一个地址。在搜索引擎优化中，301技术可以告诉搜索引擎该页面的新URL地址，确保权重传递不流失。　　4.追踪标记用“#”而非“?”　　为跟踪流量来源，细分流量渠道，在URL中添加追踪标记是必要的，但是该标记又和seo相违背，因为添加了追踪标记，就会产生重复页面问题。之前百度站长平台也发布公告称：如果是为了追踪流量，那么建议使用“#”标记，而非“?”标记，经seo营销大师实验，百度确实不会收录含有“#”标记的URL。　　#代表网页中的一个位置，是用来指导浏览器动作的，对服务器端完全无用。所以，HTTP请求中不包括#。　　比如，访问下面的网址，　　　　浏览器实际发出的请求是这样的：　　GET /index.html HTTP/1.1　　Host: 　　可以看到，只是请求，根本没有&#weibo&的部分，搜索一部分实例后发现，百度确实未收录含有“#”的URL;　　备注：“#”和&#!&两个标记完全不一样，请勿混淆。　　本文作者：李要超，原文地址：
&#26412;&#39029;&#26631;&#39064;:&&#26412;&#39029;&#22320;&#22336;:&，营销者必上的网站！
当前位置： >
百度官方回答：重复页面的处理
推一把网络营销精英培训新一期即将开课，本期新增移动电商、微商、O2O、自媒体、社群等方面的课程，现在报名就送江礼坤老师亲笔签名的最新版《网络营销推广实战宝典》一书。欢迎咨询QQ：！
　　问：网站最近遇上个全站克隆+实时采集的小偷站，搞我的没办法。百度会惩罚克隆网站吗?
　　百度答：百度有专门的算法识别克隆网站。看你说的这种情况，更象是对方将域名直接指向到你的服务器上了，可以直接在服务器端拒绝所有非正常域名的访问。
　　问：自己的原创内容排名常常比不过转载或抄袭的，站长能做些什么预防或改进?
　　百度答：这个，只能说百度的策略还不是很完善，我们也一直在改进。另外，从用户体验角度，有些转载未必比原创差。比方一篇科技原创博文，被知名门户网站的科技频道转载。如果这种转载保留原创者姓名和出处链接，实际上对原创者是有利的，因为起到了更好的传播效果。只是国内的转载，很多是掐头去尾，使原创者比较受伤。
　　问：百度如何面对很难处理的重复页面，比如列表页有分页，文章页也有分页，他们的meta都是相同的，这样会不会当重复页面处理。同时比如一个 论坛有两篇相同的帖子都收录，会影响先收录的排名吗?
　　百度答：1，判定页面重复的算法很复杂。可以肯定的是，仅meta相同，是不会被判为重复的。
　　2，相同两个帖子被收录(url可能不同)，低权重的页面会不被建索引，或者被高权重页面类聚掉。
　　问：百度对重复内容是如何处理的?
　　百度答：这的确是个显著的问题。这表明我们在这方面的策略上有极大改进空间。这类积重的问题，非一朝一夕能搞定，需要伤筋动骨的动动手术才行。所以请大家耐心。
　　另外需要说明的是，搜索引擎的排序出发点，是用户的搜索体验。虽然说，很多时候尊重原创和用户体验是一致的。但是，毕竟也有一些case，转载的体验会比原创更好。这时候原创者的排序未必会高于转载者。但无论如何，原创者的应该以另外一种方式被肯定，而不是简单的被聚合掉。
　　问：百度如何看待伪原创?
　　百度答：&伪原创&就是&非原创&。对非原创的策略，同样适用于伪原创。归根结底，这是一个技术实现程度问题，而不是策略思路问题。
　　问：如何处理百度从别的站抓取带有广告参数的url?
　　百度答：没有什么坏的影响。另外，我们也计划推出一个简单的工具，方便大家处理这样的无效参数，届时会知会大家。
　　问：被小偷程序高度采集怎么办?百度有什么识别的方法没?
　　百度答：对于恶劣的小偷采集站，我们设有专门的识别并在逐步完善。
更多精彩内容推荐
热门频道推荐