根据 KafkaConsumer 类上的注释上来看 KafkaConsumer 具有如下特征：
在 Kafka 中 KafkaConsumer 是线程不安全的。
2.2.1 版本的KafkaConsumer 兼容 kafka 0.10.0 和 0.11.0 等低版本。
消息偏移量与消费偏移量(消息消费进度)
Kafka 为分区中的每一条消息维护一个偏移量，即……继续阅读 »
根据 KafkaProducer 类上的注释上来看 KafkaProducer 具有如下特征：
KafkaProducer 是线程安全的，可以被多个线程交叉使用。
KafkaProducer 内部包含一个缓存池，存放待发送消息，即 ProducerRecord 队列，与此同时会开启一个IO线程将 ProducerRecord 对象发送到 Kafka 集群。
……继续阅读 »
读写一个文件之前，得一层层目录找到这个文件，以及做一堆属性、权限之类的检查。写新文件时还要加上寻找磁盘可用空间的耗时。对于小文件，这些时间消耗的占比就非常大了。
……继续阅读 »
spark streaming源码解读之基于贯通
……继续阅读 »
本讲内容：
a. updateStateByKey解密
b. mapWithState解密
……继续阅读 »
自定义类编写完成后后，将jar包拷贝到每个broker的CLASSPATH下，比如kafka的libs目录下。在MySQL中插入几条用户信息，然后尝试以这些用户的身份来连接Kafka（为方便起见，测试阶段可以先不要开启ACL），我们会发现，MySQL中的用户可以连接，而写在配置文件中的用户无法连接，说明这个插件达到了预期的效果，增删用户不需要重启了。
……继续阅读 »
