主动学习

Active learning(主动学习)通过选取有价值的未标注数据请求标注,减少需要的人工标注数据量。

ML

交叉熵和相对熵

信息熵是描述信息排除冗余后的平均信息量的度量。一个离散型随机变量$X$的熵$H(X)$定义为:$H(X)=-\sum_{x\in \cal{X}}p(x)\log{p(x)}$。

SPL和SPLD

很多机器学习的任务需要解决非凸优化问题(non-convex problem)。在进行非凸优化问题求解时需要避免落入局部极小值。一些传统的手段有多次随机初始化参数,进行优化,选择泛化能力最好的模型作为结果等等。但是这种方法要求大量的计算资源(因为需要多次训练模型),而且过于ad hoc

Bengio教授在2009年ICML上提出课程学习,自步学习是在课程学习的基础上,由Koller教授团队在2010年NIPS上将该思想建立为具有理论基础的数学表达形式。课程学习和自步学习的核心思想是通过模拟人的认知原理,由“简单”的“普适”的知识学起,逐渐学习复杂知识。

ML

Kaggle「猫狗大战」入门

如何在Kaggle上愉快地玩耍「猫狗大战」呢?这场比赛在4年前已经结束了,现在只能进入redux kernels edition,提交并评估但是不参与排名。

这场比赛给出了25,000个训练样本,猫和狗各占一半;12,500个测试样本。评分采用交叉熵损失评分,要求输出图片为狗的概率。

第一次接触这样的比赛,我的方法是对VGGnet进行fine-tune训练出模型。但是受限于机器的性能,没有对图像进行增强,而是直接训练的。最低损失为0.05674,大约是四年前榜单的100/1314名左右(如果现在仍然排名大概能取得这样成绩的选手会比三年前多很多)。

JavaScript 学习笔记 - 对象和继承

内容摘抄和整理自《JavaScript语言精粹(修订版)》,原作者Douglas Crockford。
这是一本非常薄的书。没有接触过JavaScript语言的话可以选择快速阅览此书来了解这门语言的主要特性、TODO和NOTTODO。

主要摘录内容:对象和它的基本特性、伪类、原型、函数化、部件。

JavaScript 学习笔记 - 函数

JavaScript的语法就像是恶魔
沃·兹几硕德

内容摘抄和整理自《JavaScript语言精粹(修订版)》,原作者Douglas Crockford。
这是一本非常薄的书。没有接触过JavaScript语言的话可以选择快速阅览此书来了解这门语言的主要特性、TODO和NOTTODO。

主要摘录内容:函数的4种调用模式、参数和返回值、作用域和闭包、级联、模块。