怎么通过网络日志查看百度模拟蜘蛛抓取已抓取收录某个页面

正在加载...
正在加载...
正在加载...
正在加载...
百度的蜘蛛的抓取时间和收录时间
百度的蜘蛛的抓取时间和收录时间第一、百度蜘蛛的抓取时间大家都知道整洁简单明了的网站有利于蜘蛛来抓取,但是大家知道蜘蛛的工资表吗©以下就是百度蜘蛛一周工作表。百度蜘蛛什么时间工作的,我们根据蜘蛛的工作情况应如何安排自己的工作,以遍于取得更好的效果,以下就让51RGB小编 群为您公布百度蜘蛛抓取收录工作时间表:星期一:这天百度蜘蛛会在网站上面爬的很勤快,&所以是我们更新文章的好时候,一般早上8-10点的时候更新文章最好。一般百度在周四会进行一次更新,这个时候,利用星期一的时间好好的为收录做好前期准备,比如添加一些原创文章或者伪原创,增加一些友情连接之类的,对排名会有好处。星期二:如果星期一没有更新,星期二还可以补救,因为星期三关键词会有一次更新,可能影响排名。这个时候还没新增文章的朋友,记得去添加一些文章,可别让蜘蛛白跑一趟哟,如果蜘蛛发现你的网站不勤快,你的文章收录更新率可会大大降低!加油吧!星期三:这天百度会大更新一下,凌晨(1:00―4:00),这天也是整个星期最动荡的一天,是让人又喜又恼的日子,可能你的网站快照回退得很远,可能你的排名升的很高,不过这天不能决定整个星期,主要在星期四。周三会有一次小更新,无论你的排名升了或者降了,都不要伤心或者兴奋,因为今天的更新是“不太准确”的,我们俗称“混乱的周三更新日”。星期四:星期三也许是百度服务器调整,到了星期四的凌晨(1:00―4:00)百度会把星期三的大动荡稳定住,这一天的更新会决定下个星期的排名,而且基本不会动了。星期五:这天可以轻松一下,因为星期四的更新排名已经基本上定型了,可以更新下文章。星期六:这天也会有小小的更新,但是没有星期四那么大,也不会像星期三那样动荡,可以看做是星期四更新的补充。让不少人有点小担心的一天,因为这一天会有一次小更新。但不是星期三那种混乱局面。即使有变化也不会太大,可以把它看作是星期四那天的小小补充吧。星期天:可以舒口气,休息一天,但也做好准备,下个星期再接再历。周末啦,蜘蛛放假咯,你也给自己放个假吧。综合来说,百度每周90%的大更新是在周三、周四这两天,这两天可以决定你的网站在百度上一周的排名。知道了百度一周工作表,那我们就可以很有针对性的做出合理的安排,希望这些能给大家一点帮助。第二、百度为什么迟迟不收录我的文章我一直是写原创文章的作者,为什么百度就是不收录我的文章呢?我想大家有可能也遇到和我相同的问题,下面我们就来探讨一二。原因:我每次好原创文章,都有一个习惯,那就是投稿于:新浪博客,网易博客,搜狐博客,发表到原创28tui,搜外, A5等各大论坛上。结果可想而之,这些站全都秒收了我的原创精品文章。我自己还小人得志,暗自窃喜我多么牛逼啊!但就是我的博客一篇都没有被百度收录,于是又开始郁闷啊!然而有一天因为有事,写了原创文章,没有时间向各大论坛投稿!第二天奇迹的发现,自己文章被百度收录了。于是接下来知我者发的每篇文章,都是先发到自己博客,等蜘蛛收录之后再投稿,结果再也没出现过不收录的情况了。同样的最前面的好多篇文章花了最长的时间写出来,度娘到现在也一篇都没收录。& & & & 从上面的情况,得到如下总结:& & & & 1、原创文章发表后,要尽快提交度娘(此招不建议采用,搜索引擎现在已经不太喜欢主动的了)。& & & & 2、不要在你文章收录之前把你文章转到发任何平台上面。& & & & 3、度娘等其它娘比较喜欢的是自己主动发现(像泡妞一样,妞的投怀送抱你不一定喜欢,但是你更喜欢自己去主动泡妞)链接,去爬行。抓到了这一点,我们 就投娘之所好,我们在其它高权重平台发表一些转载或是自己文章的摘要,带上自己的链接地址(如果带不上,就要先养个能带上的号),这样蜘蛛对于自己发现的 新链接格外在意,如果你的是高质量原创,度娘自然会快速纳入怀抱。
ceoercc的相关文章
评论(0)|阅读(36) 发表于:
在此填写评论!搜索:问题、网站、SEOer人名
网站收录,蜘蛛抓取动态返回是伪静态需要屏蔽吗?
网站状况:
绿蚂蚁网:
属于快递物流查询平台
1.上线5月二十几号上线,上线后网站采集数据有十万以上,网站的核心就是查询功能和快递网点数据,所以上线后网站采集大量的合作网点数据录入。
2. 网站内容快递资讯页面每天都有新的更新,更新内容都属于行业原创和为原创都有。
3. 百度快照也在更新,但是更新的频率很低,现在一直维持在6月20日,七月出现过7月25的快照,然后又返回6.20的快照。
4. 网站在期间有过改动,进行动态伪静态的调整和一些小的样式调整。
5.网站每天都有收录,收录1-2个,网站每天更新5篇以上快递资讯,可能更多,外链也在持续的发布。
6.网站IIS日志出现百度蜘蛛抓取在不断的减少,谷歌也在减少,爬行的是动态页面url,返回都是是200 。
贴一段iis:
百度爬行的动态url:返回200
114.215.184.89 GET /form/StaticPageTemplate/BranchDetailTmplet.aspx ID= - 123.125.71.54 Mozilla/5.0+(+Baiduspider/2.0;++http:/ /www。/search/spider.html) - 200 0 0 93
360爬取动态URL:返回伪静态
08:48:46 114.215.184.89 GET /form/StaticPageTemplate/BranchPandectTmplet.aspx cityID=90&pageIndex=1&companyID=all&districtID=826 80 - 182.118.54.203 Mozilla/5.0+(+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider http:/ /www。/kdwd/net_90_826_all_1_.html 200 0 0 534
现在问题来了:
1.网站出现这种状况,能否在短期内解决网站快照的更新日期,因为领导一直问。
2.网站的IIs日志里面动态url要不要屏蔽:
(1)如果屏蔽会有什么好处?
如果屏蔽会有什么影响?
(2)如果不屏蔽会有什么好处?
如果不屏蔽会有什么影响?
说明:网站确实存在很多问题,希望各位大牛给予帮助!
对网站有任何见解也望吐槽补充,在此拜谢各位!
该问题谈及的网站是:
浏览: 1853发布于:
第一,你要首先排查网站是否存在哪些动态链接,先查找为什么会抓取到。
第二,你的快照可能是因为时间戳造成的快照时间不变了。
附具体代码:
绿蚂蚁手机客户端&/h3>
绿蚂蚁1.1版本 ()&/p>
第三,查看了你的网站收录,看到你的网站收录的也都是静态链接。因此,无论百度抓取什么你的里面有规则都会被抓取到的。
但是为了防止,搜索引擎抓取到重复的内容,但是链接不同,建议你屏蔽动态链接,注意合理写屏蔽规则,先检查规则的正确性再上传。
其实网页快照并不重要,内容跟上了话应该没有什么问题
可以给不同的快递建立不同的标签页,然后在标签页中汇聚不同的内容,排名会多一些
网站采用伪静态后,蜘蛛依然爬取动态URL,会被判断为多个页面内容重复,可能会对网站的seo有所影响,可以使用这个《 rel=&canonical&》标签来告诉搜索引擎,哪个页面为规范的网页!
具体使用方法示例:《 &link rel=&canonical& href=&网页权威链接&/> 》
在百度站长资讯里,百度已发布声明《百度已支持Canonical标签》
原文如下:
一、Canonical标签有什么作用?
对一组内容完全相同或高度相似的网页,通过使用Canonical标签可以告诉搜索引擎哪个页面为规范的网页,能够规范网址并避免搜索结果中出现多个内容相同或相似的页面,帮助解决重复内容的收录问题,避免网站相同内容网页的重复展示及权重的分散,提升规范网页的权重,优化规范网页的排名。
二、什么是规范网页?
规范网页是一组内容完全相同或高度相似的网页的首选版本。
三、为什么要指定规范网页?
为了避免重复内容的收录,百度会通过算法对网页内容及链接进行识别,对内容完全相同或者高度相似的网页,会计算出一个系统认为规范的网页结果建立索引并供用户查询。
支持Canonical标签以后,站长可以通过将 &link> 元素和 rel=&canonical& 属性添加到该网页非规范版本的&head> 部分,为搜索引擎指定规范网页。添加此链接和属性可以告诉百度:“在内容相同或高度相似的所有网页中,该网页为最规范最有价值的页面,推荐将该网页排在搜索结果中靠前的位置。”
四、如何指定规范网址?
可通过在每个非规范版本的 HTML 网页的 &head> 部分中,添加一个 rel=&canonical& 链接来进行指定规范网址。
例如,要指定指向网页 http: //www.***.com/product.php?id=15786 的规范链接,需要按以下形式创建 &link> 元素:
&link rel=&canonical& href=&http: //www.***.com/product.php?id=15786&/>
然后将上述链接复制到某网页所有非规范网页版本的 &head> 部分中(例如 http: //www.***.com/product.php?id=15786&active=1),即可完成设置。
五、可设置规范网页的几种情况举例:
举例一、社区帖子可能由于置顶、突出颜色等行为导致内容完全相同的一个网页产生不同的链接,搜索引擎只会选择其中一个链接建立索引,如以下两个链接不同,内容完全相同的页面:
http:// bbs.***.com/forum.php?mod=viewthread&tid=9502&highlight=
http:// bbs.***.com/thread-.html
举例二、对商品的列表页面,按照价格或者优惠等顺序进行排序,但网页内容高度相似:
http:// mall.***.com/pr-list?locid=75fb2a357de75fa&cid=5e1e02f950aee&order=discount
http:// mall.***.com/pr-list?order=price_asc&locid=75fb2a357de75fa&cid=5e1e02f950aee
举例三、网站有多个网页展示的为相同型号的商品,只是每个网页商品图的颜色不同,其他内容几乎完全相似,此时也可设置rel=&canonical&,将当下最流行色彩的商品网页设置规范网页,推荐百度有优先将其显示在搜索结果中。
六、百度会完全遵守rel=&canonical&标签吗?
网页中添加该标签后,就代表站长向百度推荐某个网页作为最规范的网页版本,百度会同时根据标签的推荐及系统算法选择出最合适的网页将其显示在搜索结果中。百度会根据网页内容实际情况考虑Canonical标签中推荐的网页,但不保证完全遵守该标签。为了保证标签的效果,请保证一个页面中仅有一个Canonical标签。
七、此链接是相对的还是绝对的?
rel=&canonical& 可与相对链接或绝对链接一起使用,但建议您使用绝对链接,以最大程度地减少可能出现的混乱或问题。
八、rel=&canonical&标签可用于在不同的域名中建议规范网址吗?
如果网站需要更换域名,且使用的服务器不能创建服务器端重定向网址的情况下,就可以使用rel=&canonical& 链接元素指定希望百度收录域的网址。
投诉快照。
请记住,快照日期跟网站质量没有直接影响,百度数据库里面有N个目标网站快照,想放哪个就放哪个,岂是我等能够控制的,自然保持更新频率,合理安排URL唯一性,做好了这些就可以了,不过快照这个理念确实影响了蛮多人,就像你们老板这样。
曾经帮助过您的人发布了一些问题,不妨去瞧瞧:
还没有人帮助过你,赶紧去邀请一下
从事SEO两年多....一直在摸索前进中!主要做过企业站和一些平台SEO工作!
(2 个回答)
(14 个回答)
(33 个回答)
(111 个回答)
(19 个回答)
(26 个回答)
(24 个回答)
(30 个回答)
(18 个回答)
(1 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(0 个回答)
(1 个回答)
(0 个回答)
(1 个回答)
始于2007年 深圳市夫唯伙伴信息咨询有限公司 版权所有 | 粤ICP备号 | 粤公网安备0号

我要回帖

更多关于 模拟蜘蛛抓取 的文章

 

随机推荐