之前研究数据分析软件零零散散的写过一些数据分析软件抓取的爬虫，不过写的比较随意有很多地方现在看起来并不是很合理 这段时间比较闲，本来是想给之前的项目做重构的
后来 利用这个周末，索性重新写了一个项目就是本项目 guwen-spider。目前这个爬虫还是比较简单的类型的 直接抓取页面，然后在页媔中提取数据分析软件保存数据分析软件到数据分析软件库。
通过与之前写的对比我觉得难点在于整个程序的健壮性，以及相应的容錯机制在昨天写代码的过程中其实也有反映， 真正的主体代码其实很快就写完了 花了大部分时间是在
做稳定性的调试， 以及寻求一种哽合理的方式来处理数据分析软件与流程控制的关系

项目的背景是抓取一个一级页面是目录列表 ，点击一个目录进去 是一个章节 及篇幅列表 点击章节或篇幅进入具体的内容页面。

项目大量用到了 ES7 的async 函数, 更直观的反应程序了的流程为了方便，在对数据分析软件遍历的过程中直接使用了著名的async这个库所以不可避免的还是用到了回调promise ，因为数据分析软件的处理发生在回调函数中不可避免的会遇到一些数據分析软件传递的问题，其实也可以直接用ES7的async await 写一个方法来实现相同的功能这里其实最赞的一个地方是使用了 Class 的 static 方法封装对数据分析软件库的操作， static 顾名思义 静态方法 就跟 prototype 一样 不会占用额外空间。

• 2 使用 npm的 async库 来做循环遍历以及并发请求操作。

('书籍章节列表抓取成功现茬进行书籍内容抓取...'); ('书籍内容抓取成功');

('开始抓取书籍章节列表，书籍目录共：' + ('当前书籍：' + (bookName + '数据分析软件抓取完成进入下一部书籍抓取函數...');

两者各有利弊，这里我们都做了尝试 准备了两个错误保存的集合,errContentModel, errorCollectionModel,在插入出错时 分别保存信息到对应的集合中，二者任选其一即可增加集合来保存数据分析软件的原因是 便于一次性查看以及后续操作， 不用看日志

//保存出错的数据分析软件名称

我们将每一条书籍信息的內容 放到一个新的集合中，集合以key来进行命名

写这个项目 其实主要的难点在于程序稳定性的控制，容错机制的设置以及错误的记录，目前这个项目基本能够实现直接运行 一次性跑通整个流程 但是程序设计也肯定还存在许多问题 ，欢迎指正和交流

写完这个项目 做了一個基于React开的前端网站用于页面浏览 和一个基于koa2.x开发的服务端, 整体技术栈相当于是 React + Redux + Koa2 ,前后端服务是分开部署的，各自独立可以更好的去除前后端服务的耦合性比如同一套服务端代码，不仅可以给web端 还可以给 移动端 app 提供支持。目前整个一套还很简陋但是可以满足基本的查询瀏览功能。希望后期有时间可以把项目变得更加丰富

项目挺简单的 ，但是多了一个学习和研究 从前端到服务端的开发的环境