Peterliao Blog

一位热爱生活的程序员1

springboot学习笔记一

Posted by Peterliao Blog on June 19, 2017

spark2学习笔记二

连接spark spark对于jdk和scala的版本都有严格的要求，根据官方文档的说明，spark2.1.1支持jdk7和以上，但是jdk7.0在spark2.0.0就已经被标注过时。并且官网预估在spark2.2.0将取消对于jdk7的支持，因此推荐大家使用jdk8,另外spark2.1.1支持的scala版本为2.11。另外使用jdk8版本将能够直接使用lambda表达式，否则...

Posted by Peterliao Blog on June 19, 2017

spark2学习笔记一

spark概念每一个spark应用都是由一个运行用户mian函数，并且同时在spark集群中进行各种并行操作的驱动程序组成。spark最主要的概念是弹性分布式数据集，弹性分布式数据集简称为RDD，RDD是通过spark集群的节点数进行划分的元素集合，如此划分是为了数据能够被并行处理。RDD通过hadoop文件系统HDFS的文件（或者hadoop支持的其他文件系统的文件）来创建，并且也能...

Posted by Peterliao Blog on June 18, 2017