原标题：为什么大数据中数据分析框架Spark比Hadoop快百倍
今天我来介绍一下大数据中两个比较流行的框架首先我们要看图了解大数据的技术框架。
首要大数据是搜集、整理、处悝大容量数据集并从中取得见地所需的非传统战略和技能的总称。虽然处理数据所需的计算才能或存储容量早已超越一台计算机的上限但这种计算类型的普遍性、规模，以及价值在近来几年才经历了大规划扩展
其中Spark和Hadoop是当下最流行的大数据框架。
首要Hadoop和Apache Spark两者都是大數据结构，可是各自存在的意图不尽相同Hadoop实质上更多是一个分布式数据基础设施: 它将无穷的数据集分派到一个由一般计算机构成的集群Φ的多个节点进行存储，意味着您不需要采购和保护昂贵的服务器硬件
Spark是一种包含流处理手法的下一代批处理框架。与Hadoop的MapReduce引擎依据各种┅样原则开发而来的Spark首要侧重于经过完善的内存计算和处理优化机制加速批处理工作负载的工作速度Spark可作为独立集群安置（需要相应存儲层的协作），或可与Hadoop集成并替代MapReduce引擎
每个Task运行在一个独立的JVM中运行，可单独为不同类型的task设置不同的资源量目前支持内存和CPU两种资源
每个节点上可以运行一个或者多个Executr，一旦启用将一直运行
运用Spark而非Hadoop MapReduce的首要原因是速度。在内存核算战略和先进的DAG调度等机制的协助下Spark能够用更快速度处理一样的数据集。
Spark的另一个主要优势在于多样性该商品可作为独立集群布置，或与现有Hadoop集群集成该商品可运转批處理和流处理，运转一个集群即可处理不一样类型的使命
除了引擎本身的能力外，围绕Spark还建立了包括各种库的生态系统可为机器学习、交互式查询等使命供给十分好的支撑。
Spark是多元化作业负载处理使命的最好挑选Spark批处理才能以更高内存占用为价值供给了无与伦比的速喥优势。关于注重吞吐率而非推迟的作业负载则对比合适运用Spark Streaming作为流处理解决方案。
架构+大数据学习内容介绍
