广发彩票注册_广发彩票注册平台_广发彩票app下载

少年班才子新发现:声波、光波等都是RNN

发布时间:2020-10-14 14:04    浏览量:157

【中国科大新创校友基金会(ID:USTCIF),全球最活跃的科大校友组织,实时发布科大要闻与校友资讯】

斯坦福大学范汕洄(中国科学技术大学88级少年班校友)的一项研究发现:物理学中波动与 RNN 中的计算存在对应关系。这是一篇来自机器之心的报道:

少年班才子新发现:声波、光波等都是RNN

少年班才子新发现:声波、光波等都是RNN

论文地址:https://advances.sciencemag.org/content/5/12/eaay6946

GitHub 地址:https://github.com/fancompute/wavetorch

最近,机器学习与物理和数值科学的一些领域碰撞出了不少火花。这让机器学习框架在物理模型优化问题中有了用武之地,同时机器学习领域也在物理概念的帮助下出现了很多令人兴奋的新模型(如神经 ODE 和哈密顿神经网络等)。

本文作者所在小组的研究重点是:物理本身就可以作为计算引擎。换句话说,作者们感兴趣的是那些可以作为硬件加速器(或是专门用于快速高效的机器学习计算的模拟处理器)的物理系统。

少年班才子新发现:声波、光波等都是RNN

他们最近发表在《Science Advances》上的论文,证明了波的物理特性可被直接映射到循环神经网络的时序变化。利用这种联系,作者们通过 PyTorch 开发了一个数值模型,该模型证明我们可以训练一个声学/光学系统,并利用它从人类说话者录音中准确地识别出元音。本质上,作者们将元音元音波形引入物理模型,并允许优化器在域内的 1000 个点上添加和删除材料,这个操作实际上可以当做模型的权重。

因为这个机器学习模型实际上对应于一个物理系统,这也就意味着研究者可以把经过训练的材料分布「打印」到真实的物理设备中。其结果类似于 ASIC (Application Specific Integrated Circuit),但只能针对特定的 RNN 计算。这令人感到非常兴奋,因为这些结果表明可以在不消耗多余能量(除了脉冲本身携带的能量)的情况下,执行复杂的循环机器学习计算。

以下是对这篇研究核心思想的介绍。

波动与 RNN 的联系

这一部分将介绍 RNN 的操作与波动之间的联系。

RNN 一步步对输入序列的每一部分执行相同的操作,从而将输入序列转换成输出序列(图 1A)。之前步的信息被编码存储在 RNN 的隐藏状态中,隐藏状态在每一步都会更新。正是这些隐藏状态使得 RNN 记住过去的信息,同时学习数据中的时序结构和长距离依赖关系。在给定时间步 t 处,RNN 同时处理输入序列中的当前输入向量 x_t 以及前一步传来的隐藏状态向量 h_t-1,从而得到输出向量 y_t,并更新当下的隐藏状态 h_t。

下一篇:没有了

友情链接: