To What Extent Can We Train Neural Networks

神经网络的训练算法起源于很简单的思路:使用梯度下降方法优化参数,使得代理函数在观测集上整体最小。这种朴素直接的思想就是神经网络优化算法的根源。这种算法被包含在各大深度学习框架中,并被广泛使用。

ML

Faster R-CNN 笔记

Faster R-CNN的学习笔记,备忘。之后可以用Tensorflow来实现一个。主要内容

  1. Faster R-CNN结构简述
  2. 训练和实现细节
  3. PASCAL VOC数据集的处理

主动学习

Active learning(主动学习)通过选取有价值的未标注数据请求标注,减少需要的人工标注数据量。

ML

SPL和SPLD

很多机器学习的任务需要解决非凸优化问题(non-convex problem)。在进行非凸优化问题求解时需要避免落入局部极小值。一些传统的手段有多次随机初始化参数,进行优化,选择泛化能力最好的模型作为结果等等。但是这种方法要求大量的计算资源(因为需要多次训练模型),而且过于ad hoc

Bengio教授在2009年ICML上提出课程学习,自步学习是在课程学习的基础上,由Koller教授团队在2010年NIPS上将该思想建立为具有理论基础的数学表达形式。课程学习和自步学习的核心思想是通过模拟人的认知原理,由“简单”的“普适”的知识学起,逐渐学习复杂知识。

ML