自 Google Dataflow 模型被提出以来，流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性，提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本，但同时这对计算引擎来说是一个很大的挑战。
作为 Dataflow ……继续阅读 »
scala的IDE选择，助你提升开发效率，过年前就定(chui)下了目(niu)标(bi)，今年要学习一下Scala和Spark赶一下潮流。谁叫落后就要挨打呢，程序员只能不停的学习。一个语言，学习的第一步必定是搭建环境和熟悉语法。
……继续阅读 »
1. 偏函数
偏函数(Partial Function)，是一个数学概念它不是”函数”的一种, 它跟函数是平行的概念。
Scala中的Partia Function是一个Trait，其的类型为PartialFunction[A,B]，其中接收一个类型为A的参数，返回一个类型为B的结果。
举个例子
scala> val pf:P……继续阅读 »
1. 抽象类
Scala 的抽象类跟Java的一样，不能被实例化。
1.1抽象字段
抽象类中，变量不使用就无需初始化，可以等到子类继承时再进行初始化。
scala> abstract class Animal {
| val name:String // 抽象字段，没有带初始值
| }
defined class Animal……继续阅读 »
