Linux下通过Apache日志监测百度蜘蛛的爬行记录
1. 百度蜘蛛爬行的次数
cat access.log | grep Baiduspider+ | wc
最左面的数值显示的就是爬行次数。
2. 百度蜘蛛的详细记录(Ctrl+C可以终止)
cat access.log | grep Baiduspider+
也可以用下面的命令：
cat access.log | grep Baiduspider+ | tail -n 10
cat access.log | grep Baiduspider+ | head -n 10
只看最后10条或最前10条，这用就能知道这个日志文件的开始记录的时间和日期。
3. 百度蜘蛛抓取首页的详细记录
cat access.log | grep Baiduspider+ | grep &GET / HTTP&
4. 百度蜘蛛派性记录时间点分布
cat access.log | grep &Baiduspider+& | awk &{print $4}&
5. 百度蜘蛛爬行页面按次数降序列表
cat access.log | grep &Baiduspider+& | awk &{print $7}& | sort | uniq -c | sort -r
标签(Tag):
------分隔线----------------------------
------分隔线----------------------------网站修改求高手 - 外贸建站 -
福步外贸论坛(FOB Business Forum) |中国第一外贸论坛
& 网站修改求高手
(CHINA FREE)
exp manager
UID 1016375
阅读权限 60
来自 CHINA
网站修改求高手
我们是做外贸的，网站想修改一下符合SEO。
求高手看看是不是有需要修改和添加的，求赐教。。。。
因为专业，所以完美。
中国富瑞进出口有限公司
(FOB官方认证建站商)
UID 1158896
积分 98192
福步币 24 块
阅读权限 80
需要建站可以联系我们，特价
(FOB认证专业外贸建站商)
UID 1670066
积分 39147
福步币 4 块
阅读权限 80
来自 正规建站公司
福友你好，我们是专注于建设的福步认证建站公司，性价比最高，价格优惠性能稳定突出，欢迎联系交流
UID 2132824
积分 31301
阅读权限 80
可以联系我们
UID 2132824
积分 31301
阅读权限 80
专业外贸建站，客户遍及江浙沪广州深圳福建地区，有7年的外贸经验多种价格实惠套餐，
欧美风格 各行业实例网站给您参考。正规建站公司 15日不满意可以无条件退款& &&&& &&&
1.国际顶级域名，美国品牌空间，多语言版本，企业邮箱，全站生成HTML静态页面，后台数据备份，可以上传附件，支持代码编辑，添加和修改导航栏目，产品分类栏目自定义添加
3.URL包含关键词，没有“？”等不利于优化的符号，有利于提高网站在Google，Yahoo等搜索引擎的排名和收录
4.网站使用UTF-8国际编码编写，程序设计严谨清晰，防止乱码现象。
5.集成搜索引擎蜘蛛访问记录系统，更好地了解搜索蜘蛛来访情况。
6.在网站管理会打字就会操作，会打字就会建网站，自由发布产品，自由更新公司信息
7.系统集成了产品分类列表、产品展示、产品订单、新闻展示、留言反馈、联系方式、人才招聘、友情链接，无限增加页面等功能，可以自主增加和隐蔽功能。
8.独立的管理后台，可以自主发布产品信息，修改网站联系方式，反正只要是网站可以看到的文字和图片，都可以在后台编辑修改成自己的内容。
9.网站集成中英文或其中一种语言版本，也可以增加或更换其它语言版本，实现多语言建站。
10.拥有 MSN，SKYPE，Yahoo，QQ等即时性聊天工具，方便客户与您即时联系。
我公司近期推出品牌付费企业邮箱，价格实惠，欢迎咨询。
付费企业邮箱的功能：
可发开发信
海外服务器中转，提高邮件的到达率
有子邮箱监控功能
垃圾邮件过滤功能等大量附加功能
(福布认证建站指定服务商)
UID 1807878
积分 18197
阅读权限 80
来自 壹零网络&#03657
多年外贸建站经验，基于SEO标准设计，利于优化，多语言版本，后台管理强大，操作简单。
1.网站程序基于SEO标准设计，可实现自助SEO优化，功能强大，专门为SEO打造的后台程序
2.utf-8编码，符合W3C标准，DIV+CSS手写代码，兼容各种浏览器
3.后台生成静态HTML页面，访问速度快，易于搜索引擎收录。同时后台可以切换成伪静态模式，满足不同客户的需求
4.后台可以更新网站数据，添加和修改导航栏目，可自助网站SEO优化
5.每个页面都可以自定义Title，Keywords，Description，文件名(URL关键字:如http://www.域名.com/LED-Bulbs/LED-bulb-light.html)减少网页的相似率
6.保证网站都被Google等搜索引擎收录
7.网站集成访客统计器，可以统计实时流量图，可以查看登录的IP，登录的国家地址，浏览器以及计算机的硬件信息
8.面包屑导航，面包屑有利于网站内链的建设，用面包屑大大增加了网站的内部连接，提高用户体验。
9.后台可以生成谷歌地图和百度地图，按谷歌标准生成利于谷歌收录
10.后台管理权限级别自由分配，可以添加不同的管理权限组和以实现管理员分级管理
11.可以增加国内IP屏蔽功能，保护自己的隐私
12.询盘信息可以自动转发到指定的邮箱，同时网站后台也保存备份了询盘信息，让您及时掌握客户询盘
13.可以添加文字水印和图片水印，加水印后图片无法被人盗用
14.可以添加网站内容防止复制功能，让别人无法复制你网站的文字内容
15.网站可以添加MSN,SKYPE,YAHOO,QQ,Google Talk,阿里旺旺等在线聊天工具。还可以添加TQ等即时沟通工具，客户只要登陆你的网站，就会自动弹出网页对话窗口，不需要客户装任何软件。
16.上传的产品图片会自动生成缩略图，既每个图片有大图和小图之分，显示在列表页和内容页，加快显示速度
17.产品支持排序，可以把热门主推的产品排到最顶位置
18.后台有删除冗余图片的功能，可以自动删除无效的产品图片，节省空间
19.使用强大的百度编辑器，支持可视化编辑（功能可以媲美office软件）可以添加PDF,RAR,ZIP,DOCX等文档
20.赠送品牌企业邮箱，比如你的域名是，那你的邮箱就是&&， 其中XXX你可以自定义帐号
由于篇幅限制，更多功能没有一一叙述，如要了解，可以联系我们
(FOB认证正规建站公司)
QQ：,www.99ec.net
UID 1106656
积分 86436
阅读权限 80
来自 上海/正规公司/福步认证
想低价高质的网站：选优化型模板建站吧。价格实惠，优化功能超强
想高端风格个性化：选定制网站吧。优化功能好，风格高端大气
手机时代，您需要一个：手机网站。让客户拿着手机也能与您做生意
开发国外客户，您需要一个能发开发信的邮箱：超实惠付费企业邮箱。可发开发信，有监控功能（目前绝大部分建站服务商送的企业邮箱都是不能发开发信的，而且功能极少）
想SEO优化：SEO优化视频教程，零起点教您让您的网站排名google前三页（大量案例）
一个跟域名一样越晚出手，选到的越差的东西：400电话，你值得拥有。当4位数字母的域名被抢购一空的时候，大量400好电话号码也在被大肆抢购，稀缺的东西总是那么珍贵。400电话不仅是沟通工具，还是企业形象，更是稀缺资源。
为什么选择我们：我们是正规建站公司，福步认证服务商
提供SEO优化型网站建设及优化等一系列方案，网站有后台管理，可无限上传产品
至今已服务过3000多家客户，大量案例可供参考，欢迎咨询。
接单神器：优化型网站建设（优化功能好）+SEO优化视频教程（吸引客户主动上门）+付费企业邮箱（主动出击，发开发信，付费的，可发开发信，有监控功能，海外服务器中转，提高邮件到达率）
正规网站建设公司.QQ:
UID 1637144
积分 14738
阅读权限 80
专业外贸建站，客户遍及山东江浙沪福建广东深圳等地区，大量案例提供参考！不满意可申请退款。
1、厦门宇讯信息技术有限公司，FOB最老牌外贸建站公司，FOB论坛合作6年的FOB认证建站商。福步首页点击链接《外贸网站建设〓B2C网店〓SEO推广，案例说话！》即可进入。
2、第一家专业提供外贸网站模板建站方案。6年经验，成熟方案，案例说话！
3、第一家提供SEO外贸建站模板+指导，对SEO外贸建站有更深刻理解。
4、我们不仅仅是建站，更给你提供了一套可行的推广方式。
针对SEO网站结构：
1．独有开发的专业外贸网站系统，SEO关键词设置，生成HTML静态技术，有利于搜索引擎优化；
2．高速美国空间，独立控制面板，避免其他网站影响；
3．每个页面都有独立的关键词，网站后台可以自定义网站的关键词，有利于被google等搜索引擎收录，SEO优化，我们的每一个网站都能被google等收索引起收录；
4．可自定义产品页Title，Keywords，Description，减少产品相似率，增加产品被收索引起收录，方便SEO；
5．网站是使用符合外贸网站的全球编码utf-8编写的，防止乱码现象，以便在各个浏览器能够正常打开；
网站“面包屑”设置，提高收索引起蜘蛛的友好度；网站标签设置，提高网站结构的粘合度以及内部链接；
7．网站基础代码统计插件，可安装客户来访统计等功能，可以统计全球来访客户的ip地址，知道客户浏览了您的网站哪些页面，掌握客户对产品的爱好情况；
8．维护程序，备份网站数据，防止丢失。
简单的后台操作（只会打字的都懂操作网站！）：
1．独立的管理后台，自由发布产品，上传logo，修改banner幻灯片，修改网站所有内容（只要是前台看到的文字和图片，都可以修改）。
2．系统集成了产品分类列表、产品展示、产品订单、新闻展示、留言反馈、联系方式、友情链接，无限增加页面等功能。
3．拥有即时通讯功能，集成MSN，SKYPE，QQ等即时性聊天工具；
5．可调整产品图片显示大小，可设置产品显示个数，产品排序等，可自由控制网站前台部分的功能显示
6．产品支持大类、小类分类，产品分类可自由添加，自由排序
7．支持产品多图设置，详细简介更是传图数量不限，以及图片放大功能；
8．产品上传图片自动生成缩略图，加快产品列表访问速度
9．上传产品图片自动添加文字水印，加大盗图难度
产品可排序，方便调整排列顺序
可增加网站会员注册，会员目录功能，可设置会员专属查看目录；
12.网站后台可控制网站前台的模块显示，可调整位置，关闭和打开你需要和不需要的功能；
很多建完网站的客户会再次选择我们建站，不满意可申请退款。更新建站信息和功能，欢迎联系！
(FOB官方认证建站商)
建站咨询QQ:
UID 2134260
积分 26775
阅读权限 80
正规公司=SEO特强外贸建站+高速美国空间+顶级域名
+免费企业邮箱+全球IP来访统计功能 +在线客服
+BANNER和LOGO免费简单制作+ 专业网站维护
QQ www.iweb.so
UID 1710854
积分 10113
阅读权限 80
来自 正规建站公司/福步认证建站商
您好，我们是专业外贸建站公司，8年建站经验，一心一意，打造网站经典！！
1、空间：采用vps空间，非虚拟空间可比，稳定性、安全性、速度一流。
2、全站静态化：网址自动静态化，有两种格式选择，简短而不破坏结构，还保留了原动态网址选项。
3、网址自定义：每个产品页的网址都可以自定义一个该页面的关键词进去，增加客户搜索关键词时的匹配力度和机会。
4、自定义meta标签：所有页面都可以自定义meta标签，自己填页面标题、关键词和描述。这对优化非常重要。
5、友情链接：网站左侧带有友情链接模块，以文字显示。便于互相推广，提升权重，吸引蜘蛛爬行。
6、网站底部也有友情链接模块，一排图片显示，客户可以自己选择哪种形式加对方链接。
7、面包屑导航：所有页面导航面包屑处理设计，直观显示页面位置，提升用户体验，也便于蜘蛛来回爬行收录页面。
8、网站地图：网站底部右侧可以打开网站地图，列出所有链接网络，提升蜘蛛亲和力和用户体验。
9、Tags标签云：网站底部带有Tags标签云，提升网站权重和用户体验。
10、提交谷歌搜索引擎：替客户生成xml站内地图，提交谷歌，促进更新快照。
11、采用Div+css开发。精简利于优化。 后台php+Mysql功能强大。utf-8编码全球打开不乱码。兼容各主流浏览器。
12、Logo和所有Banner广告图都可以后台自己上传，不限张数。
13、网站多数背景样式可以自己二次装修。首页模块可以自己控制启用。
14、所有导航栏及导航下拉菜单均可自定义。
15、询盘：每个产品页都带有询盘按钮，点击自动调取产品名称，客户留言自动转发绑定的邮箱。
16、带有在线联系浮动框，集成QQ、skype、msn、旺旺多种联系方式，添加帐号即可，自动带上相应链接。
17、带有屏蔽中文浏览器功能，不影响自己访问，带有禁止拷贝功能，均可开关。
18、上传产品图片自动裁图生成合适大小的主图和另一张合适大小的缩略图，非常人性化。
19、可上传水印，后传的图片自动加水印，位置可控制，可以随时启用或关闭加水印功能。
20、产品详情页带有相关推荐功能，可以自己控制推荐哪些产品。
21、可预装多个模板，随时切换，以防换产品时备用，也可以后期增加模板上去，超乎您想象。
22、产品详情页可以单图也可以多细节图显示，随时切换。产品列表页也有两种形式可以随时切换。
UID 1667626
积分 23432
阅读权限 80
我们是上市公司旗下产品，专业服务外贸行业18年，有着丰富的建站经验，另外提供企业邮箱、邮件营销、短信营销、企业管理（CRM）等一条龙服务。
在线创建、运维企业网站的云服务平台。拥有简洁易用的管理后台，采用模块化设计，页面布局灵活，可随意变换网站风格，拥有所见即得的良好体验效果。技术、功能不断更新，系统运行稳定，网站访问快捷。只要注册一个账号即可拥有一个网站，是小企业创建、运维企业网站的第一场所！
企业“身经百站”，不如领动与你“并肩做站”，让我们一起“一站到底”
1、多国语言网站建设。（让您更亲和于国外的采购商，抓住每一次的商机）
2、短信提醒询盘。（提高对于客户的重视度，让您迅速响应客户，获得订单）
3、手机移动网站的崛起。（不仅仅提供传统电脑网站，更有手机移动端，更方便客户的浏览，更好的提高网站的排名）
4、完善的SEO 优化策略。（可以实现整站优化，尤其针对每个产品、栏目、页面。全局做SEO,让收录量的提高不再困难）
5、灵活易懂的网站后台。（解决了网站代运营的困扰，不需要懂代码随时随地对网站整站内容进行更新和修改，后期服务不需要依赖服务商）
6、平台化部署，安全，稳定，兼容。（安全性高，降低了被黑客攻击、服务器瘫痪、网站中病毒等一系列的危险）
7、平台化开发，支持整体升级。（网站升级会对整个平台系统做整体升级，所有老客户均可免费享受升级后更优质的网站服务）
8、完全围绕着营销。（注重与客户的互动性和后期的推广优化）
9、运行有保障。（公司规模大，技术团队实力雄厚；销售及售后人员专业敬业；公司多次获得最佳服务奖项；以客户为本，几乎不存在服务期未满找不到相关人员提供服务的问题）
10、完成周期短，效率高。（一般一个语言版本除去沟通时间，5个工作日内可以完成）
(CHINA FREE)
exp manager
UID 1016375
阅读权限 60
来自 CHINA
网站被攻击了。我勒个去，哪个大神这么无聊啊。。。。。。。。
((FOB官方认证建站商) )
UID 2324909
阅读权限 80
外贸网站建设，后台批量上传产品&&性价比最高，技术采用php+mysql& &div+css构架& &可自定义URL带关键字，欢迎联系交流！！！
手机 平板 电脑 打开自动会适应网站的大小
（免费在GOOGLE排名第一不是梦！）
1．每个页面都有独立的关键词，网站后台可以自定义网站的关键词，有利于被google等搜索引擎收录，SEO优化。
2.&&添加产品自动生成静态网页html，并可自定义静态文件名，(中文版支持中文转拼音)方便seo
3.可自定义产品页title，keywords，description，减少网页相似率，方便seo
4．一键生成html静态页面，加快页面打开速度的同时，有利于被google等搜索引擎收录，SEO优化。
5．网站是使用符合外贸网站的全球编码utf-8编写的，程序设计严谨清晰，防止乱码现象。
6．集成搜索引擎蜘蛛访问记录系统，更好地了解搜索蜘蛛来访情况。...丰富的网站功能（只会打字的都懂操作网站！）：1．在网站管理后台傻瓜式管理，会打字的都懂操作，自由发布产品，上传logo，修改banner幻灯片，修改网站所有内容。2．系统集成了产品分类列表、产品展示、产品订单、新闻展示、留言反馈、联系方式、人才招聘、友情链接，无限增加页面等功能，可以自主增加和隐蔽功能。3．独立的管理后台，可以自主发布产品信息，修改网站联系方式，反正只要是网站可以看到的文字和图片，都可以在后台编辑修改成自己的内容。4．网站集成中英文版本，可以在管理后台自主切换或者屏蔽其中一种语言，实现单双语言切换。5．拥有即时通讯功能，集成MSN，SKYPE，QQ等即时性聊天工具，客户点击页面马上联系。6．客户来访记录统计，来访IP地址查询，有利于分析客户来源。7．可自定义产品列表小图显示尺寸，网站首页显示产品数量，产品列表显示数量，一行产品显示数量8．产品支持大类、小类分类，产品分类可自由添加，自由排序9．单个产品支持1张主图和3张角度图的上传，详细简介更是传图数量不限10．产品上传图片自动生成缩略图，加快产品列表访问速度11．上传产品图片自动添加文字水印，加大盗图难度12．详细介绍可传附件，方便供客户下载PDF，Doc，Xls，RAR，ZIP等文件13．保存远程图片功能，当复制别人网站图片到详细简介，勾选“保存远程图片到本站”，即可把别人的图片保存到自己的网站空间14．产品可排序，方便调整排列顺序15．删除产品同时删除产品静态页文件及产品图片，节省网站空间...更多功能可以联系我们，绝对有惊喜！
QQ www.iweb.so
UID 1710854
积分 10113
阅读权限 80
来自 正规建站公司/福步认证建站商
您好，我们是专业外贸建站公司，8年建站经验，一心一意，打造网站经典！！
1、空间：采用vps空间，非虚拟空间可比，稳定性、安全性、速度一流。
2、全站静态化：网址自动静态化，有两种格式选择，简短而不破坏结构，还保留了原动态网址选项。
3、网址自定义：每个产品页的网址都可以自定义一个该页面的关键词进去，增加客户搜索关键词时的匹配力度和机会。
4、自定义meta标签：所有页面都可以自定义meta标签，自己填页面标题、关键词和描述。这对优化非常重要。
5、友情链接：网站左侧带有友情链接模块，以文字显示。便于互相推广，提升权重，吸引蜘蛛爬行。
6、网站底部也有友情链接模块，一排图片显示，客户可以自己选择哪种形式加对方链接。
7、面包屑导航：所有页面导航面包屑处理设计，直观显示页面位置，提升用户体验，也便于蜘蛛来回爬行收录页面。
8、网站地图：网站底部右侧可以打开网站地图，列出所有链接网络，提升蜘蛛亲和力和用户体验。
9、Tags标签云：网站底部带有Tags标签云，提升网站权重和用户体验。
10、提交谷歌搜索引擎：替客户生成xml站内地图，提交谷歌，促进更新快照。
11、采用Div+css开发。精简利于优化。 后台php+Mysql功能强大。utf-8编码全球打开不乱码。兼容各主流浏览器。
12、Logo和所有Banner广告图都可以后台自己上传，不限张数。
13、网站多数背景样式可以自己二次装修。首页模块可以自己控制启用。
14、所有导航栏及导航下拉菜单均可自定义。
15、询盘：每个产品页都带有询盘按钮，点击自动调取产品名称，客户留言自动转发绑定的邮箱。
16、带有在线联系浮动框，集成QQ、skype、msn、旺旺多种联系方式，添加帐号即可，自动带上相应链接。
17、带有屏蔽中文浏览器功能，不影响自己访问，带有禁止拷贝功能，均可开关。
18、上传产品图片自动裁图生成合适大小的主图和另一张合适大小的缩略图，非常人性化。
19、可上传水印，后传的图片自动加水印，位置可控制，可以随时启用或关闭加水印功能。
20、产品详情页带有相关推荐功能，可以自己控制推荐哪些产品。
21、可预装多个模板，随时切换，以防换产品时备用，也可以后期增加模板上去，超乎您想象。
22、产品详情页可以单图也可以多细节图显示，随时切换。产品列表页也有两种形式可以随时切换。
当前时区 GMT+8, 现在时间是
Powered by D1scuz! && 2001-