1,153
个编辑
更改
无编辑摘要
{{4}}[[文件:终身机器学习01.jpg]] 导读：
第一届北美计算机华人学者年会暨计算技术前沿研讨会于 2017 年 6 月9-10日在芝加哥举行。这是会议是华人计算机学者的顶级盛会，伊利诺伊大学芝加哥分校刘兵教授在会上的演讲PPT，刘兵教授以《打造能够终身学习的机器》为题，介绍了终身机器学习（Lifelong Machine Learning，LML）系统，尤其是 LML 在自然语言处理中的应用。
下面就是刘兵教授的 PPT 全文。
[[文件:终身机器学习02.png]]
终身机器学习
伊利诺伊大学芝加哥分校计算机科学系
[[文件:终身机器学习03.png]]
经典学习范式（ML1.0）
不能自我激励和自我学习
[[文件:终身机器学习04.png]]
机器学习：ML 2.0
模仿人类的这种学习能力
[[文件:终身机器学习05.png]]
人类不是孤立地学习的
如果我没有积累的知识，我不可能做到这些。比如说，我完全不懂阿拉伯语，即使有人给我2000个用阿拉伯语写的正面/负面评论来训练，我也不可能学会。
[[文件:终身机器学习06.png]]
大纲
终身学习的定义
[[文件:终身机器学习07.png]]
LML的定义
在学会第（N + 1）个任务后，将第（N + 1）个任务的学习结果更新到知识库。
[[文件:终身机器学习08.png]]
终身机器学习系统（示意图）
[[文件:终身机器学习09.png]]
LML的主要特征
使用并适应过去学习的知识，以帮助未来的学习和解决问题
[[文件:终身机器学习10.png]]
迁移学习，多任务学习 →终身学习
基于全局知识的终身学习
[[文件:终身机器学习11.png]]
共享知识的两种类型
任务应该来自同一领域。
[[文件:终身机器学习12.png]]
ELLA：有效的终身学习算法
ELLA是在线多任务学习方法，更高效并能处理大量任务。ELLA是一种终身学习方法，可以高效地添加新任务的模型，每个过去任务的模型都可以快速更新。
[[文件:终身机器学习13.png]]
方法：共享的全局知识
基于局部知识的终身学习
[[文件:终身机器学习14.png]]
两种类型的知识
局部知识可以跨领域共享。
[[文件:终身机器学习15.png]]
终身情感分类
那么，我们可以不必为每个领域的数据进行标记，或至少减少要标记的文档/句子数量吗？
[[文件:终身机器学习16.png]]
一种简单的LML方法
在其他情况下，结果不太好，例如，对于玩具的评论效果不好。为什么呢？
[[文件:终身机器学习17.png]]
目标函数（见图）
[[文件:终身机器学习18.png]]
通过惩罚开拓知识
领域级的知识
[[文件:终身机器学习19.png]]
结果之一：
右图：在均衡的类分布中具有#past域的LSC的准确率。
[[文件:终身机器学习20.png]]
终身主题建模（LTM）
好的模型（Blei et al 2003）同时执行这两个任务。主题就是一个aspect，例如，{价格，成本，便宜，昂贵，...}
[[文件:终身机器学习21.png]]
产品评论中的重点观察
在学习中不利用这种共享就显得有点silly。
[[文件:终身机器学习22.png]]
哪些知识？
不属于同一aspect/topic => Cannot-Links：e.g., {battery，picture}
[[文件:终身机器学习23.png]]
LTM：终身主题建模
[[文件:终身机器学习24.png]]
方法：共享局部知识
自我意识和自我激励的学习
[[文件:终身机器学习25.png]]
自觉积累的学习
我们需要在开放世界中进行分类，检测到新的文档类别，也就是说，既要记住已经知道的知识，也要探索未知的。
[[文件:终身机器学习26.png]]
累积学习LML
利用图形的终身学习
[[文件:终身机器学习27.png]]
在标签传播（labelpropagation）中的终身学习
松弛标记法（RelaxationLabeling, RL）是一种无监督的基于图的标签传播算法，它可以通过终身学习进行扩展（Lifelong-RL），以利用在以前的任务中学到的知识。
[[文件:终身机器学习28.png]]
[[文件:终身机器学习29.png]]
[[文件:终身机器学习30.png]]
松弛标记法（RL）
Edge：两个节点之间的二进制关系。
[[文件:终身机器学习31.png]]
终身松弛标记法（Lifelong-RL）
先前的label：初始的P0(L(ni))很难设置，但是可以使用先前任务的结果更准确地进行设置。
[[文件:终身机器学习32.png]]
从Lifelong-RL到SA任务
这个问题适合使用终身学习的方法：共享edge，entity和aspect，以及共享他们跨领域的label。
[[文件:终身机器学习33.png]]
Lifelong-RL的架构（见图）
Relation modifier表示edge，Typemodifier和先前的label有助于
[[文件:终身机器学习00.png]]
的设置。
在测试或执行中学习
[[文件:终身机器学习34.png]]
在执行中改进模型
总结
[[文件:终身机器学习35.png]]
本讲座简要介绍了在一些NLP应用中的LML
LML的研究现在还处于起步阶段，对LML的了解非常有限，目前的研究主要集中在只有一种类型任务的系统。LML需要大量数据，以学习大量不同类型的知识。
[[文件:终身机器学习36.png]]
LML存在许多挑战，例如：