Peterliao Blog

一位热爱生活的程序员1

springboot学习笔记三

spring boot 学习笔记三(数据库操作) spring boot整合redis 1.redis介绍 redis是一个缓存和内存数据库。 2.redis的maven包导入 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boo...

Posted by Peterliao Blog on September 27, 2017

springboot学习笔记二

spring boot 学习笔记二(数据库操作) spring boot整合druid 1.druid是什么 druid是alibaba开源的一个数据库连接池，通过网上的比较发现，性能不错，扩展性强，具有SQL解析和页面监控功能，功能强大。 2.如何整合spring boot 和druid 引入maven的jar包 <dependency> &...

Posted by Peterliao Blog on September 26, 2017

Spark2 Note 6

Posted by Peterliao Blog on July 24, 2017

elasticsearch学习笔记四

聚合桶满足特定条件的文档的集合一个雇员属于男性桶或者女性桶奥尔巴尼属于纽约桶日期2014-10-28属于十月桶指标 ======= 对桶内的文档进行统计计算桶能让我们划分文档到有意义的集合，但是最终我们需要的是对这些桶内的文档进行一些指标的计算。分桶是一种达到目的的手段：它提供了一种给文档分组的方法来让我们可以计算感兴趣的指标。大多数 ...

Posted by Peterliao Blog on July 7, 2017

elasticsearch学习笔记三

多字段搜索多字符串查询查询子句的权重取决于子句的位置，位于二层bool的子句权重单字符串查询了解数据才能构建单字符串查询单字符查询时数据有三种情形最佳字段：短语如何分词去匹配，词组匹配调整匹配度当搜索词语具体概念的时候，比如 “brown fox” ，词组比各自独立的单词更有意义。像 title 和 body 这样的字段，尽管它们之间是相关的，但同时又彼此相互竞争。文...

Posted by Peterliao Blog on June 30, 2017

elasticsearch学习笔记二

term和match的使用区别 term 在过滤上下文中使用（filter），用来过滤文档 terms，多值,terms:[] match 在查询上下文中使用(query)，用来查询文档实质上为通过analyzer分词，将分词后的词通过bool和term进行组合查询 boost：提高查询权重，加大评分权重 bool 语法 “bool” : { ...

Posted by Peterliao Blog on June 29, 2017

spark2学习笔记五

Shuffle操作 Spark中的某些操作触发一个名为shuffle的事件。shuffle是Spark重新分发数据的机制，以便在不同的分区之间进行分组。这通常涉及在执行器和驱动程序之间复制数据，从而进行复杂而昂贵的操作。要了解在Shuffle过程中发生了什么，我们可以参照reduceByKey操作的例子。reduceByKey操作生成一个新的RDD，其中同一个key的所有值被合并成一...

Posted by Peterliao Blog on June 28, 2017

spark2学习笔记四

RDD操作理解闭包 spark中最困难的事情之一就是理解代码在集群中执行时变量和方法的生命周期范围。在变量生命周期之外使用RDD操作修改变量可能是一个常见的错误。在下面的例子中，有一段使用foreach去增加计数器的代码，但是除了这个操作导致问题外，其他操作也可能会产生相似的问题。将下面当做本地RDD元素求和，对于操作是否在同一个JVM中，这决定了操作的结果。一个普遍的例子是sp...

Posted by Peterliao Blog on June 27, 2017

elasticsearch学习笔记一

Query DSL 概述 Elasticsearch提供一个基于json的查询DSL，把查询DSL当做一颗查询抽象语法树（AST），查询DSL是由两部分子句组成的：叶查询子句叶查询子句在特定字段上查询特定值，例如match、term和range查询。这些查询能被自身使用。混合查询子句混合查询子句包含其他叶查询和混合查询。混合查询使用逻辑词汇来组合多个查询（如boo...

Posted by Peterliao Blog on June 23, 2017

spark2学习笔记三

RDD操作 RDDs提供两类操作，转化：用一个存在的RDD创建一个新的数据集（RDD），执行：在数据集上执行计算返回一个值到到驱动程序。例如，map是一个转化函数，传递每一个数据集元素到相应函数，返回函数处理后的值组成的数据集（RDD）。另一方面来说，reduce操作是一个执行操作，用一系列函数聚合数据集的元素，然后返回最后的结果到驱动函数。但是reducebykey返回一个分布式数据集...

Posted by Peterliao Blog on June 20, 2017