在Spark框架组件当中，核心部分不得不提到一个重要的概念，叫做RDD。而这个RDD，本身来说，也是Spark框架相比早期的HadoopMapReduce框架实现了性能提升的重要一步。今天的大数据学...

前言这一篇来介绍Spark3.0版本中SparkSql新增的重要特性AQEAQE全称AdaptiveQueryExecution，在3.0版本中主要包含以下三个功能（1）Dynamically...

一、Spark为什么比MR快参考答案：1spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的2Spark计算比MapReduce快的根本原因在于DAG计算模型。...

使您的ApacheSpark应用程序运行速度更快，而对代码的更改最少！介绍在开发Spark应用程序时，最耗时的部分之一是优化。在此博客文章中，我将提供一些性能提示，以及（至少对我而言）启动时可能...

算子优化MapPartitionsspark中，最基本的原则，就是每个task处理一个RDD的partition。MapPartitions操作的优点：如果是普通的map，比如一个partition...

在第二篇|Sparkcore编程指南一文中，对Spark的核心模块进行了讲解。本文将讨论Spark的另外一个重要模块--SparkSQL，SparkSQL是在Shark的基础之上构建的，于201...

Spark相比于Mapreduce的一大优势就是提供了很多的方法，可以直接使用；另一个优势就是执行速度快，这要得益于DAG的调度，想要理解这个调度规则，还要理解函数之间的依赖关系。本篇就着重描述下Sp...

作者：boxianlai高中的时候，班主任让我们每学完一个章节，整理出这个章节的关键词和一份问题列表。现在会想起来，其实是很有用的，这让我们可以从另外一个视角来审视所学习的内容，而不是单纯的填鸭式的记...

1Spark有几种部署方式？请分别简要论述1）Local:运行在一台机器上，通常是练手或者测试环境。2）Standalone:构建一个基于Mster+Slaves的资源调度集群，Spark任务提交给...

RDD(resilientdistributeddataset，弹性分布式数据集)，是Spark框架的基本计算单元，是一个不可修改的分布式对象集合。每个RDD由多个分区组成，本身不存放数据，只存放...