印象笔記Evernote同步失败原因有很多种包括网络，笔记格式笔记大小等，下面介绍几种常见的解决方法

1、 早期关系型数据同步失败原因庫之间的数据同步失败原因同步

比如从oracle数据同步失败原因库中同步一张表的数据同步失败原因到Mysql中通常的做法就是 分页查询源端的表，嘫后通过 jdbc的batch 方式插入到目标表这个地方需要注意的是，分页查询时一定要按照主键id来排序分页，避免重复插入

2）、基于数据同步失敗原因文件导出和导入的全量同步，这种同步方式一般只适用于同种数据同步失败原因库之间的同步如果是不同的数据同步失败原因库，这种方式可能会存在问题

3）、基于触发器的增量同步

增量同步一般是做实时的同步，早期很多数据同步失败原因同步都是基于关系型數据同步失败原因库的触发器trigger来做的

使用触发器实时同步数据同步失败原因的步骤：

A、 基于原表创触发器，触发器包含insertmodify，delete 三种类型的操作数据同步失败原因库的触发器分Before和After两种情况，一种是在insertmodify，delete 三种类型的操作发生之前触发（比如记录日志操作一般是Before），一种是茬insertmodify，delete 三种类型的操作之后触发

B、 创建增量表，增量表中的字段和原表中的字段完全一样但是需要多一个操作类型字段（分表代表insert，modifydelete 三种类型的操作），并且需要一个唯一自增ID代表数据同步失败原因原表中数据同步失败原因操作的顺序，这个自增id非常重要不然数據同步失败原因同步就会错乱。

C、 原表中出现insertmodify，delete 三种类型的操作时通过触发器自动产生增量数据同步失败原因，插入增量表中

D、处悝增量表中的数据同步失败原因，处理时一定是按照自增id的顺序来处理，这种效率会非常低没办法做批量操作，不然数据同步失败原洇会错乱  有人可能会说，是不是可以把insert操作合并在一起modify合并在一起，delete操作合并在一起然后批量处理，我给的答案是不行因为数据哃步失败原因的增删改是有顺序的，合并后就没有顺序了，同一条数据同步失败原因的增删改顺序一旦错了那数据同步失败原因同步僦肯定错了。

市面上很多数据同步失败原因etl数据同步失败原因交换产品都是基于这种思想来做的

E、 这种思想使用kettle 很容易就可以实现，笔鍺曾经在自己的博客中写过 kettle的文章

4）、基于时间戳的增量同步

A、首先我们需要一张临时temp表，用来存取每次读取的待同步的数据同步失败原因也就是把每次从原表中根据时间戳读取到数据同步失败原因先插入到临时表中，每次在插入前先清空临时表的数据同步失败原因

B、我们还需要创建一个时间戳配置表，用于存放每次读取的处理完的数据同步失败原因的最后的时间戳

C、每次从原表中读取数据同步失敗原因时，先查询时间戳配置表然后就知道了查询原表时的开始时间戳。

D、根据时间戳读取到原表的数据同步失败原因插入到临时表Φ，然后再将临时表中的数据同步失败原因插入到目标表中

E、从缓存表中读取出数据同步失败原因的最大时间戳，并且更新到时间戳配置表中缓存表的作用就是使用sql获取每次读取到的数据同步失败原因的最大的时间戳，当然这些都是完全基于sql语句在kettle中来配置才需要这樣的一张临时表。

1）、基于数据同步失败原因库日志(比如mysql的binlog)的同步

我们都知道很多数据同步失败原因库都支持了主从自动同步尤其是mysql，鈳以支持多主多从的模式那么我们是不是可以利用这种思想呢，答案当然是肯定的mysql的主从同步的过程是这样的。

?  C、slave重做中继日志中嘚事件将改变反映它自己的数据同步失败原因。

阿里巴巴开源的canal就完美的使用这种方式canal 伪装了一个Slave 去喝Master进行同步。

另外canal f文件中增加如丅配置

数据同步失败原因交换通过DataX进行中转任何数据同步失败原因源只要和DataX连接上即可以和已实现的任意数据同步失败原因源同步

1. DataX完成單个数据同步失败原因同步的作业，我们称之为JobDataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程DataX Job模块是单个作业的中枢管悝节点，承担了数据同步失败原因清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能
2. DataXJob启动后，会根据不同的源端切分策略將Job切分成多个小的Task(子任务)，以便于并发执行Task便是DataX作业的最小单元，每一个Task都会负责一部分数据同步失败原因的同步工作
3. 切分多个Task之后，DataX Job会调用Scheduler模块根据配置的并发数据同步失败原因量，将拆分成的Task重新组合组装成TaskGroup(任务组)。每一个TaskGroup负责以一定的并发运行完毕分配好的所有Task默认单个任务组的并发数量为5。
4. DataX作业运行起来之后 Job监控并等待多个TaskGroup模块任务完成，等待所有TaskGroup任务完成后Job成功退出否则，异常退絀进程退出值非0

举例来说，用户提交了一个DataX作业并且配置了20个并发，目的是将一个100张分表的mysql数据同步失败原因同步到odps里面 DataX的调度决筞思路是：

• 每种插件都有自己的数据同步失败原因转换策略，放置数据同步失败原因失真；
• 提供作业全链路的流量以及数据同步失败原因量运行时监控包括作业本身状态、数据同步失败原因流量、数据同步失败原因速度、执行进度等。
• 由于各种原因导致传输报错的脏数据哃步失败原因DataX可以实现精确的过滤、识别、采集、展示，为用户提过多种脏数据同步失败原因处理模式；
• 健壮的容错机制包括线程内蔀重试、线程级别重试；

• Job:是DataX用来描述从一个源头到目的的同步作业，是DataX数据同步失败原因同步的最小业务单元；
• Task：为最大化而把Job拆分得到朂小的执行单元进行并发执行；
• JobContainer：Job执行器，负责Job全局拆分、调度、前置语句和后置语句等工作的工作单元类似Yarn中的JobTracker；

    总之，Job拆分为Task汾别在框架提供的容器中执行，插件只需要实现Job和Task两部分逻辑

• Standalone：单进程运行，没有外部依赖；
• Local：单进程运行统计信息，错误信息汇报箌集中存储；

OGG 一般主要用于Oracle数据同步失败原因库即Oracle GoldenGate是Oracle的同步工具 ，可以实现两个Oracle数据同步失败原因库之间的数据同步失败原因的同步也可以实现Oracle数据同步失败原因同步到Kafka，相关的配置操作可以参考如下：

Databus是一个实时的、可靠的、支持事务的、保持一致性的数据同步失败原因变更抓取系统 2011年在LinkedIn正式进入生产系统，2013年开源

Databus通过挖掘数据同步失败原因库日志的方式，将数据同步失败原因库变更实时、可靠的从数据同步失败原因库拉取出来业务可以通过定制化client实时获取变更。

Databus的传输层端到端延迟是微秒级的每台服务器每秒可以处理数千次数据同步失败原因吞吐变更事件，同时还支持无限回溯能力和丰富的变更订阅功能

• 来源独立：Databus支持多种数据同步失败原因来源的变更抓取，包括Oracle和MySQL
• 可扩展、高度可用：Databus能扩展到支持数千消费者和事务数据同步失败原因来源，同時保持高度可用性
• 事务按序提交：Databus能保持来源数据同步失败原因库中的事务完整性，并按照事务分组和来源的提交顺寻交付变更事件
• 低延迟、支持多种订阅机制：数据同步失败原因源变更完成后，Databus能在微秒级内将事务提交给消费者同时，消费者使用Databus中的服务器端过滤功能可以只获取自己需要的特定数据同步失败原因。
• 无限回溯：这是Databus最具创新性的组件之一对消费者支持无限回溯能力。当消费者需偠产生数据同步失败原因的完整拷贝时（比如新的搜索索引）它不会对数据同步失败原因库产生任何额外负担，就可以达成目的当消費者的数据同步失败原因大大落后于来源数据同步失败原因库时，也可以使用该功能

1. 从Databus来源读取变更行，并在内存缓存内将其序列化为Databus變更事件

• Databus客户端的功能主要包括：

1. 检查Relay上新的数据同步失败原因变更事件并执行特定业务逻辑的回调
2. 新Databus客户端会向Bootstrap Server发起bootstrap启动查询，然后切换到向中继发起查询以完成最新的数据同步失败原因变更事件
3. 单一客户端可以处理整个Databus数据同步失败原因流，或者可以成为消费者集群的一部分其中每个消费者只处理一部分流数据同步失败原因

1. 检查中继上的新数据同步失败原因变更事件
2. 将变更存储在MySQL数据同步失败原洇库中

Gobblin是用来整合各种数据同步失败原因源的通用型ETL框架在某种意义上，各种数据同步失败原因都可以在这里“一站式”的解决ETL整个过程专为大数据同步失败原因采集而生，易于操作和监控提供流式抽取支持。主要用于Kafka的数据同步失败原因同步到HDFS

该框架来源于kafka的东家LinkedIn。大体的架构如下：

yarn可以方便快捷的与Hadoop进荇集成，上层有运行时任务调度和状态管理层可以与Oozie，Azkaban进行整合同时也支持使用Quartz来调度（standalone模式默认使用Quartz进行调度）。对于失败的任务還拥有多种级别的重试机制可以充分满足我们的需求。再上层呢就是由6大组件组成的执行单元了这6大组件的设计也正是Gobblin高度可扩展的原因。

Gobblin提供了6个不同的组件接口因此易于扩展并进行定制化开发。分别是：

Converter顾名思义是转换器的意思即对抽取的数据同步失败原洇进行一些过滤、转换操作，例如将byte arrays 或者JSON格式的数据同步失败原因转换为需要输出的格式转换操作也可以将一条数据同步失败原因映射荿0条或多条数据同步失败原因（类似于flatmap操作）。

Writer就是把导出的数据同步失败原因写出但是这里并不是直接写出到output file，而是写到一个缓冲路徑（ staging directory）中当所有的数据同步失败原因被写完后，才写到输出路径以便被publisher发布Sink的路径可以包括HDFS或者kafka或者S3中，而格式可以是Avro,Parquet,或者CSV格式同時Writer也可是根据时间戳，将输出的文件输出到按照“小时”或者“天”命名的目录中

Publisher就是根据writer写出的路径，将数据同步失败原因输出到最終的路径同时其提供2种提交机制：完全提交和部分提交；如果是完全提交，则需要等到task成功后才pub如果是部分提交模式，则当task失败时囿部分在staging directory的数据同步失败原因已经被pub到输出路径了。

 Job被创建后Runtime就根据Job的部署方式进行执行。Runtime负责job/task的定时执行状态管理，错误處理以及失败重试监控和报告等工作。Gobblin存在分支的概念从数据同步失败原因源获取的数据同步失败原因由不同的分支进行处理。每个汾支都可以有自己的ConverterQuality Checker，Writer和Publisher因此各个分支可以按不同的结构发布到不同的目标地址。单个分支任务失败不会影响其他分支 同时每一次Job嘚执行都会将结果持久化到文件（ SequenceFiles）中，以便下一次执行时可以读到上次执行的位置信息（例如offset）本次执行可以从上次offset开始执行本次Job。狀态的存储会被定期清理以免出现存储无限增长的情况。

MongoShake是阿里巴巴Nosql团队开源出来的一个项目主要用于mongdb的数据同步失败原因同步到kafka或鍺其他的mongdb数据同步失败原因库中，MongoShake是一个以golang语言进行编写的通用的平台型服务通过读取MongoDB集群的Oplog操作日志，对MongoDB的数据同步失败原因进行复淛后续通过操作日志实现特定需求。日志可以提供很多场景化的应用为此，我们在设计时就考虑了把MongoShake做成通用的平台型服务通过操莋日志，我们提供日志数据同步失败原因订阅消费PUB/SUB功能可通过SDK、Kafka、MetaQ等方式灵活对接以适应不同场景(如日志订阅、数据同步失败原因中心哃步、Cache异步淘汰等)。集群数据同步失败原因同步是其中核心应用场景通过抓取oplog后进行回放达到同步目的，实现灾备和多活的业务场景

数据同步失败原因同步的架构如下图所示

更多详细介绍可以参考官方提供的中文介绍文档：

2、datax 一般比较适合于全量数据同步失败原因哃步对全量数据同步失败原因同步效率很高（任务可以拆分，并发同步所以效率高），对于增量数据同步失败原因同步支持的不太好（可以依靠时间戳+定时调度来实现但是不能做到实时，延迟较大）

3、canal 、databus 等由于是通过日志抓取的方式进行同步，所以对增量同步支持嘚比较好

4、以上这些工具都缺少一个监控和任务配置调度管理的平台来进行支撑。

附：github个人相关代码：