怎么知道百度泰山一天能爬完吗爬了多少个链接页面？

来源：蜘蛛抓取(WebSpider) 时间：2015-08-14 06:58 标签： 爬黄山一天上下山够吗
百度蜘蛛是按照链接爬还是按照网站目录爬？ - 搜外问答
有一个网站，它有四层目录，但首页是一个大的聚合页，所有的层级目录都会在首页有锚文本链接。
如果是这样的话，四级目录的内容的抓取有困难么？这样的四级目录和二级目录有什么区别？权重和抓取难易程度一样吗？
2,647 次浏览
蜘蛛爬取分为深度爬取和广度爬取，深度爬取就是沿着一个目录爬取到底，再返回第二个目录继续爬取；广度爬取就是先沿着第一层目录爬取，全部爬完就爬取第二层目录。
因此如果一个网站有四级目录，而且每个目录都直接链接到首页，那么在广度爬取上是没问题的，但是深度爬取的话，对于一个小网站而言，蜘蛛可能就无法爬取到。。
所以目录层级当然是越少越好，从首页到文章页点击的次数越少越好，对于一个小站来说，四级目录的层级无疑过深。。。
四级目录而二级目录有什么区别？区别就是目录层级越多，权重越小，抓取的难度也越大。。。。
30天内高手都在交流什么
微信自媒体实战案例
从零开始玩转微信自媒体
(4 个回答)
(3 个回答)
(2 个回答)
(2 个回答)
(1 个回答)
(44 分钟前)
(45 分钟前)
(2 小时前)
(3 小时前)
(3 小时前)
专注、、运营
给问题设置一定金额，将更容易获得关注与回答。
选择支付方式百度蜘蛛每天都来爬取网站，却只收录首页是怎么回事？
3924次浏览
昨夜，一位SEO友人问我一个这样的问题：百度蜘蛛每天都来爬取网站，却只收录首页，文章页及其他页面均未收录，问我是怎么回事？
其实这个问题非常普遍，可以从两个方面分析：
1. 网站内部优化是否完善；
2. 时间问题（文章够原创，站内优化够完善，迟早会收录）。
我们主要来谈谈第一个问题：网站内部优化。
其实SEO是什么？SEO不是单纯的迎合百度及其他搜索引擎，他是时刻随用户的体验度来考量网站是否合适。在当今的互联网大环境下，暂时还是随着大多数用户的习惯性体验来对你的网站进行抓取，拍照，索引。网站优化分为两部分：站内+站外。站内就是网站结构调整+页面HTML调整，站外就是外链建设+丰富的社交圈。
网站只收录首页，可以说这没什么，因为如果一个网站连首页都不能收录，那实在是太失败了。为什么没有抓取内页，自己也要好好想想原因。
比如：首页是否用了大量的FLASH、JS做脚本装饰，是否给搜索引擎留了通往内页的入口，我们知道，蜘蛛很不愿意看到Frame，不是它不喜欢，而且它看不懂，它能做的只是一条条的爬取，你首页有链接可供它点击，它才有可能进入到你的内页，一层层的广度爬行。如果你使用了大量的框架，脚本，完全将带动器封闭在你的框架里，那么蜘蛛无法进入，它只能一次次的在你的首页徘徊。
新站不建议使用这种网站结构，最好调整一下，首页尽量避免动态显示（不是指URL）。
再看下面：
已经做了H标签加粗，却没有设置内链，指向文章内页，要知道，蜘蛛是非常看中H标签的，它非常想要了解，你里面到底写的什么，但是它进不去，你只是在最后的“阅读全文”给它留了入口，它没那么大的耐心，对它而言，H标签才重要的多，所以要学会利用自己的平台资源，切勿浪费。
下面是我给你的建议：
将此页面作为博客首页，遵循蜘蛛的爬取习惯规则，可以这么说，这可以最大程度加深你的博客文章被抓取，但记得一些必要的内链要做好，平时要多看一些软文写作方面的教材，不要一味的贴近教材，在写之前，要思考一下，用户会不会搜索你写的文章标题，这篇文章写出来，对互联网的意义有多少，是不是用户所需求的，需求量大不大，这些都是长尾词要考虑的流量因素，还有，尽量图文并茂（包括发外链）。
再稍微规划一下，看下面这张图：
一看就明白，在此处调用一个留言板块，站点基本成型。
最后，来看一下robots文件：
robots里有些文件没有必要写上去。
两个重要的建议：
1. 在robots的最下面写上网站的地图地址，两个都要写。
参考样式：
Sitemap: &http://domain/sitemap.html
Sitemap: &http://domain/sitemap.xml
2. 新站，自己在发外链的事情，请带上自己网站的地图链接，不说原因，这很重要。
以上就是二毛自己对“百度蜘蛛每天都来爬取网站，却只收录首页是怎么回事？”的个人解读，希望大家从中能够学到对自己有用的一处或两处。
您可能也会对以下文章感兴趣
QQ : 341470
Friend Link
New Memberlibcurl（3）
python（3）
一、需求说明：
通过百度搜索主页：“”，搜索关键词：“安全”，显示出如下所示的信息，其中每条信息由如下所示的结构：
但是通过上述的截图会发现，信息所对应的链接是一个指向百度的链接。当点击这些结果信息，跳转的页面如下图所示，图片所示的链接才是上图中信息的真实链接：
现在的需求是：获取指定页数的搜索结果页面下的信息所对应的真实链接。
二、大体思路
1、通过浏览器右键，查看源代码，使用查找功能，可以发现以“”开头的子链接有33个。
当然还有以“?”开头的子链接，如下所示有16个：
可以发现，搜索结果页面中，有很多个相同格式的子链接。获取这些子链接有很多种方法，比如：字符串匹配、渲染网页通过标签来查找和使用正则表达式查找。方法各有优缺点。在此使用正则表达式。
2、获取到了页面信息的子链接，接下来就要获取信息所对应的真实的链接了。
点击查看源代码之后显示的链接，并且抓包显示出如下的信息，发现点击这些链接之后，返回的是一个302（跳转），302的头部的Location字段包含有我们所需要的真实链接，如下所示：
那么解析这些302的头部，就可以获取百度搜索结果页面的信息的真实链接了。
三、实现过程
1、获取搜索结果页面
当输入关键词，发出的搜索链接为”“，链接中的%s为搜索关键词的Urlencode。这样只要发出get请求就可以获取结果页面。这里使用libcurl来获取页面内容。
2、有了结果的页面内容，那么就可以通过正则表达式来获取源代码中的Url了，但是此时获取的都是一个跳转的Url，通过请求这个Url将会跳转到真实的Url。
3、通过第二步的获取的临时跳转链接，则通过libcurl的回调函数来分析头部信息。
static size_t header_callback_baidu(void *ptr, size_t size, size_t nmemb, void *userdata)
CString *pstr = (CString *)
if ( strncmp((const char *)ptr, "Location: ", strlen("Location: ")) == 0 )
tmp = CString((const char *)ptr);
tmp.Replace( "Location: " , "" );
return size *
四、软件效果
Python版本：
五、代码分享
欢迎大家下载，不过需要积分，希望大家谅解，因为博主的积分只有可怜的几点…
说明：需要指定libcurl库
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：11075次
排名：千里之外
原创：21篇
(1)(1)(2)(1)(2)(1)(1)(1)(2)(4)(6)(1)(2)百度知道如何添加链接_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
百度知道如何添加链接
|0|0|文档简介
电子商务营销师|
总评分4.5|
浏览量95311
&&百度知道如何添加链接,
你可能喜欢

我要回帖

更多关于 爬黄山一天上下山够吗 的文章

 

随机推荐