spark大数据（spark大数据技术与应用微课版实训答案）

本篇目录：

1、hadoop和spark的区别2、Spark平台只能采用批处理模式对大数据进行数据计算对吗3、分析Spark会取代Hadoop吗?

hadoop和spark的区别

如果说比较的话就 Hadoop Map Reduce 和 Spark 比较，因为他们都是大数据分析的计算框架。Spark 有很多行组件，功能更强大，速度更快。

Hadoop和Spark都是集群并行计算框架，都可以做分布式计算，它们都基于MapReduce并行模型。Hadoop基于磁盘计算，只有map和reduce两种算子，它在计算过程中会有大量中间结果文件落地磁盘，这会显著降低运行效率。

不同点前者基于磁盘+内存，磁盘占得比重比较大，而后者侧重于内存+磁盘，内存占得比重比较大，这也是为什么Hadoop没spark速度快的根本原因，spark基于内存来做MR，而Hadoop侧重于落地到磁盘来做MR。

是个大的框架，spark是这个大的架构下的一个内存计算框架，负责计算，同样作为计算框架的还有mapreduce，适用范围不同，比如hbase负责列式存储，hdfs文件系统等等。另外spark是可以脱离hadoop架构单独作为计算引擎使用的。

我想你指的Hadoop作业是指Map/Reduce作业。

实际流计算和批处理系统没有本质的区别，像storm的trident也有批概念，而mapreduce可以将每次运算的数据集缩小（比如几分钟启动一次），facebook的puma就是基于hadoop做的流计算系统。

Spark平台只能采用批处理模式对大数据进行数据计算对吗

1、Map阶段处理数据，然后生成中间结果，Reduce阶段则对这些中间结果进行汇总。Spark，全称Apache Spark，是一个开源的大规模数据处理计算框架。

2、MapReduce和Spark的主要区别在于数据处理方式和速度。Spark使用内存计算，而MapReduce使用硬盘计算，因此Spark在处理大数据时通常更快。 数据处理方式 MapReduce和Spark都是大数据处理技术，但它们的处理方式存在显著的差异。

3、批处理模式（Batch Processing）：将大量数据分成若干小批次进行处理，通常是非实时的、离线的方式进行计算，用途包括离线数据分析、离线数据挖掘等。

4、Spark包含了大数据领域常见的各种计算框架：Spark streaming批量读取数据源中的数据，然后把每个batch转化成内部的RDD。

5、Spark同样支持离线计算和实时计算两种模式。Spark离线计算速度要比Mapreduce快10-100倍。而实时计算方面，则依赖于Spark Streaming的批处理能力，吞吐量大。不过相比Storm，Spark Streaming并不能做到真正的实时。

6、诞生的先后顺序，hadoop属于第一代开源大数据处理平台，而spark属于第二代。属于下一代的spark肯定在综合评价上要优于第一代的hadoop。

分析Spark会取代Hadoop吗?

Hadoop作为一个十多年的老品牌，在产品的采用方面并没有减缓下降的趋势，Spark也并没有做到真正取代Hadoop。空口无凭，下面我们从以下几个方面来分析一下Spark在未来的几年之内到底能不能真正的取代Hadoop。

在我看来，虽然基于内存是spark最大的优势，但是也会造成有些业务场景无法满足，如超大数据量的ETL。相反在这方面hadoop的mapreduce能够很好地hold，所以spark可能不断掠夺hadoop的领地，但是不可能完成替代hadoop。

属于下一代的spark肯定在综合评价上要优于第一代的hadoop。

到此，以上就是小编对于spark大数据技术与应用微课版实训答案的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位老师在评论区讨论，给我留言。

数据