百度站长抓取0sitemap提交后，一直没有抓取，为什么

来源：蜘蛛抓取(WebSpider) 时间：2016-06-04 10:09 标签： 百度站长工具抓取失败
百度用户服务中心-站长平台
百度站长平台的sitemap都支持哪些格式?
支持XML格式和TXT文本格式。
百度站长平台的sitemap提交后，多久能被百度抓取？
itemap数据提交后，一般在1小时内会被百度处理。处理完成的时间视文件大小而定。
百度站长平台的应该将 Sitemap 文件放在哪里？
建议将 Sitemap 放在 HTML 服务器的根目录中，即 /sitemap.xml。
某些情况下，例如您公司网站允许对应不同的目录划分写入权限，这时您或许希望在网站上针对不同的路径创建不同的 Sitemap。
如果您有上传到 “/路径/sitemap.xml” 的权限，那么您可以针对 “/路径/” 创建不同的sitemap 。
Sitemap 包含的所有网址必须和 Sitemap 位于同一个主机上。
如果Sitemap位于/sitemap.xml，就不能包含
中的网址。
如果Sitemap位于/路径/sitemap.xml，就不能包含
中的网址。
站长平台可以提交多少个sitemap？
平台对于提交sitemap的数量没有限制。每个sitemap文件最多可包含 50,000 个网址，并且不得超过 10MB（10,485,760 字节）。
您提交的sitemap或sitemap文件中的所有URL不一定完全被收录，百度会根据数据的具体情况来判别。
百度站长平台的sitemap提交后，还需要人力维护吗？
不需要，您可以根据具体情况进行定期维护。
在百度站长平台我的 Sitemap 可以有多大？
单个Sitemap 不得超过 10MB（10,485,760 字节），所包含的网址数最多为 50,000 个。
如果您网站包含的网址超过 50,000 个或您的 Sitemap 超过 10MB，则需要创建多个 Sitemap 文件，并且需要使用 Sitemap 索引文件。
Sitemap 索引文件不得超过10mb，且最多可以包含1000个sitemap。
我的网站有几千万个网址；可以只提交最近更改的网址吗
您可以在少数频繁更改的 Sitemap 中列出已更新的网址，然后使用 Sitemap 索引文件中的 lastmod 标记识别这些 Sitemap 文件。
随后，百度即可逐步抓取这些已更改的 Sitemap。
百度站长平台中Sitemap 的网址需要完整地指定吗
是的。您需要在网址中提供协议。例如，/ 对 Sitemap 来说是有效网址，而
我的网站同时具有http和https的网址，都要列出来吗
请在 Sitemap 中只列出一种格式的网址。包含多种格式的网址可能会导致抓取工具无法完整地抓取网站。
站长平台的网址在 Sitemap 中的位置是否会影响它的使用
不会。网址在 Sitemap 中的位置并不会影响百度对它的识别或使用方式。
我可以压缩Sitemap 吗？百度站长平台是否要用 gzip
可以。请使用 gzip 压缩 Sitemap。无论压缩与否，Sitemap 均不得超过 10MB（10,485,760 字节）。
编辑XML格式的 Sitemap，priority提示会影响
不会。Sitemap 中的“priority”提示只是说明该网址相对于您自己网站上其他网址的重要性，并不会影响网页在搜索结果中的排名。
如果我在站长平台使用协议或提交 Sitemap遇到问题怎么办
如果您在使用协议时还有问题，可以参考的详细说明 。
如果还有问题，可以邮件。
我的论坛适合用《论坛开放协议》吗？
如果您的网站架有论坛，并符合百度 ，就可以使用《论坛开放协议》。
论坛的所有板块都可以被收录吗？
只要该板块的帖子是正常的论坛帖子且未设置权限，并且您已按照《论坛开放协议》正确提供XML文件，而且通过了我们的测试和评估，就可以被收录。
使用《论坛开放协议》后期要大量人力进行维护吗？
不需要。您只需要进行一次开发，实现自动输出和自动更新。
如何理解“自动更新”？
百度spider的程序定周期定向地访问您提供的XML地址，这个周期由您在标签中设定，百度spider会参考这个值定期地检查您所提供的xml文件是否改变，检查改变的方法是通过发送HEAD请求检查xml文件的Last-Modified或Content-Length是否改变，来决定是否进行抓取。所以请务必确认您的服务器能返回Last-Modified或Content-Length其中一项，并且其值会根据您的xml文件的改变而改变。
因此，您应尽量固定的XML地址，而地址上的内容按照更新周期持续更新，若无法更新将失去被收录的意义。
当您需要改变XML文件的路径或名称时，请将原页面做301重定向至新页面，或将原页面置为404。
一个站点可以提交多个不同的XML地址吗？
不可以，否则可能会被识别为利用《论坛开放协议》作弊。
哪些要求容易被我忽略，而导致全部或部分论坛内容收录失败？
1.标签中必须提供完整的相关内容，请不要省略部分内容，也不要增加不相关的内容。
2．标签中的所有内容如URL、标题等，若包含以下特殊符号如“&”“”等，需要根据XML规范进行转义；这些特殊符号仅针对半角符号而言，全角符号无需进行。
3.字符编码必须严格符合XML声明中的规范，例如XML声明为&lt?xml version="1.0" encoding="GB2312" ?&gt，若不完全是标准GB2312规范的编码，会导致部分数据丢失。
xml文件生成之后，我如何知道网站是否被成功收录？
百度spider将对您提供的数据进行测试和评估。
若测试后没有任何问题，将会在一周内正式收录，这时您可以在百度网页搜索框内输入“site:网站域名”查看收录的来自您网站的信息。百度站长平台实时主动推送工具快速抓取收录保护原创_站长论坛吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0可签7级以上的吧50个
本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：27,407贴子：
百度站长平台实时主动推送工具快速抓取收录保护原创
软件说明：1、一键主动提交，提交状态清晰反馈；对于提交成功和失败，都有详细清晰的返回信息，方便站长查看；2、自动保存配置：不用反复填写，减少站长工作量；3、一键从提取最新链接，如果您发布完文章后生成过sitemap或您的sitemap数据是自动生成的，那么，程序可以自动从sitemap中提取链接，减少您的手工操作。 站长平台链接提交方式主动推送：最为快速的提交方式，建议您将站点当天新产出链接立即通过此方式推送给，以保证新链接可以及时被百度收录。：您可以定期将网站链接放到Sitemap中，然后将Sitemap提交给。百度会周期性的抓取检查您提交的Sitemap，对其中的链接进行处理，但收录速度慢于主动推送。手工提交：如果您不想通过程序提交，那么可以采用此种方式，手动将链接提交给。 使用主动推送功能会达到怎样效果及时发现：可以缩短爬虫发现您站点新链接的时间，使新发布的页面可以在第一时间被百度收录保护原创：对于网站的最新原创内容，使用主动推送功能可以快速通知到，使内容可以在转发之前被百度发现主动推送相关常见问题1， 和原来的提交接口有什么区别？
答：状态反馈更及时了，原来提交后需要登录到站长平台查看提交是否成功。目前只要根据提交后返回的数据就可以判断了。2， 已经存在的提交数据的程序代码需要做什么修改？
答：主要修改两点。第一点，提交的接口需要修改；第二点，需要处理下接口返回的信息，失败后需要根据错误进行相应处理，报错的链接是无法提交成功的3，为什么提交成功后看不到数据变化？
答：我们反馈的是新提交链接的数量，如果您提交的链接在之前提交过（即重复提交）是不会被统计到的4，在什么时机使用主动推送提交功能效果最明显？
答：页面链接产生或发布时立即提交，这样效果是最好的 5，每次提交一条数据和多条数据有什么区别？
答：没有区别 6，重复提交已经发布的链接会有什么问题？
答：会有两个影响。第一，将浪费您提交的配额，每个站点每天可提交的数量是有限制的，如果您都提交了旧链接，当有新链接时可能因为配额耗尽无法提交。第二，如果您经常重复提交旧链接，我们会下调您的配额，您可能会失去主动推送功能的权限7，主动推送可以推多少条链接？
答：主动推送可提交的链接数量上限是根据您提交的新产生有价值链接数量而决定的，会根据您提交数量的情况不定期对上限额进行调整，提交的新产生有价值链接数量越多，可提交链接的上限越高。
贴吧热议榜
使用签名档&&
保存至快速回贴建站教程子分类

我要回帖

更多关于 百度站长工具抓取失败 的文章

 

随机推荐