杰、

Hey.

Java基础「1」

HashMap vs ConcurrentHashMap vs HashTable

线程安全 HashMap 初始化 //jdk1.8 this.loadFactor = loadFactor; this.threshold = tableSizeFor(initialCapacity); // jdk1.7 this.loadFactor = loadFactor; threshold = initialCapacity; 1.8阈值都是2...

Posted by Jie on February 22, 2017

Spark踩坑日记「1」

一直运行，不愿结束，或许直到永远、永远～～～

几个月以来，这个任务都是10几分钟就跑完，结果过去了5小时还在跑 任务是Hive到HBase，有几个逻辑，在第一逻辑执行完后用了cache。 难以重现也是忧伤。。。 spark 1.6.1 jdk8 Driver log 17/02/21 05:27:10 INFO scheduler.TaskSetManager: Finished task 148.0 in stage...

Posted by Jie on February 16, 2017

Scala学习记录「1」

协变、逆变

最近看Spark源码，发现协变、逆变不是很理解. 做了几个实验加强理解. 实验一 scala> class Test[+T](var a: T) <console>:11: error: covariant type T occurs in contravariant position in type T of value a_= class Tes...

Posted by Jie on February 15, 2017

LDA模型

熟悉熟悉公式排版、顺便理解理解变分贝叶斯参数推导

熟悉熟悉公式插件，整理整理学习LDA模型的时候对参数推导的理解，与原始论文有所不同。 模型定义 具体定义参考原始论文,这里使用平滑模型，对topic-word也加了先验信息。 LDA图模型 引理 在推导时候需要用几个引理 引理1. 定义相对熵 \begin{equation} KL(q(z),p(z|w)) = \sum_zq(z)ln\frac{q(z)}{p(...

Posted by Jie on February 13, 2017

FEATURED TAGS
ML Scala Spark Java Unix-like Elasticsearch coder NLP Apache Inlong
ABOUT ME

本站内容仅供参考 | chjie93@gmail.com

FRIENDS