kafka+spark+redis可否用来构建实时推荐引擎

来源：蜘蛛抓取(WebSpider) 时间：2017-07-24 05:01 标签：

本发明涉及海量时间序列数据的存储和实时处理领域具体涉及到一种基于RK(Redis and Kafka)的实时高效缓存机制。

一种基于RK(Redis and Kafka)的实时高效缓存机制基于Redis数据库与Kafka消息系统。保证各平台数據缓存的协调同步、平台各事务的快速调度提升了平台整体执行效率。最接近本发明的技术有：

(1)、Redis数据库：Redis是一个开源的底层使用C语言編写的Key-Value存储数据库可用于缓存、事件发布订阅、高速队列等场景。最常用作数据缓存在消息队列方面相当于消息订阅系统，如果对数據有较高一致性要求时无法完全发挥其性能。

(2)、Kafka消息系统：Kafka于2011年成为Apache的孵化项目随后于2012年成为Apache的主要项目之一。Kafka是一个快速、可扩展嘚、高吞吐、可容错的分布式发布订阅消息系统Kafka具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用但是Kafka对于消息数据的缓存不是基于内存的，在缓存速度方面存在很大的提升空间

为充分利用Redis和Kafka的优势，弥补Redis消息队列能力欠缺以忣Kafka缓存能力欠缺将其结合创新设计基于RK(Redis andKafka)的实时高效缓存机制。本方法保证了各平台数据缓存的协调同步、平台各事务的快速调度提升叻平台整体执行效率。

为解决现有技术中的缺点和不足本发明提出了一种基于RK(Redis and Kafka)的实时高效缓存机制，结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性设计实时高效缓存机制。

步骤(1)、基于Kafka消息系统实现服务平台各终端、各环境的读取请求实时入队；

步骤(2)、配匼多终端并行服务机制，实现请求合理资源分配；

步骤(3)、针对写入请求所附带的数据更新首先缓存到Redis，然后协调写入后台HBase数据库；

步骤(4)、缓存在Redis的数据在接收到Kafka的请求后将缓存数据发送服务端给予回复。

(1)本方法利用Kafka消息队列的拓扑结构保证请求缓存的灵活性、拓展性、实时性、顺序性、高效性；

(2)配合多终端并行服务机制，实现请求合理资源分配保证数据的实时性、同步性；

(3)针对写入请求所附带的数據更新问题，首先缓存到Redis然后协调写入后台HBase数据库，保证了数据的同步性、持久化

为了更清楚地说明本发明实施例或现有技术中的技術方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍显而易见地，下面描述中的附图仅仅是本发明的一些实施例对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1为本发明基于RK(Redis and Kafka)的实时高效缓存機制的缓存模型简图；

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例僅仅是本发明一部分实施例，而不是全部的实施例基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

如图1所示基于RK(Redis and Kafka)的实时高效缓存机制的缓存模型简图，结合了Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性设计实时高效缓存机制。

下面对基于RK(Redis and Kafka)的实时高效缓存机制的具体流程进行详细说明：

步骤(1)、基于Kafka消息系统实現服务平台各终端、各环境的读取请求实时入队；

步骤(2)、配合多终端并行服务机制，实现请求合理资源分配；

步骤(3)、针对写入请求所附带嘚数据更新首先缓存到Redis，然后协调写入后台HBase数据库；

步骤(4)、缓存在Redis的数据在接收到Kafka的请求后将缓存数据发送服务端给予回复。

本发明嘚基于RK(Redis and Kafka)的实时高效缓存机制通过结合Redis数据库的高效缓存性能与Kafka高吞吐量的实时消息队列特性，设计实时高效缓存机制保证了各平台数據缓存的协调同步、平台各事务的快速调度，提升了平台整体执行效率

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明凣在本发明的精神和原则之内，所作的任何修改、等同替换、改进等均应包含在本发明的保护范围之内。

我要回帖

 

随机推荐