(3分钟深度分析)球球体育网页版官网最新版v40.74.68.03.963.16.37-2265安卓网_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

谷歌Dreamer大神离职!「辛顿门徒」自曝错过Transformer

2025-11-03 05:25:54
来源:

猫眼电影

作者:

莎伦·坎贝尔·雷蒙特

手机查看

  猫眼电影记者 贝京 报道Q8X2R7L1T4J5M9B6W3

新智元报道

编辑:元宇

【新智元导读】谷歌世界模型大牛Danijar Hafner宣布离任!他自2016年起开始在Google Brain实习,后又在DeepMind、Brain Team工作。他的经历颇具传奇色彩,曾获辛顿指导,还与?ukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集。

刚刚,「Dreamer」大神Danijar Hafner,宣布离开他曾工作近十年的谷歌。

离职前Danijar担任Google DeepMind旧金山分部的资深研究科学家(Staff Research Scientist)。

他的研究目标是「构建能够理解世界并与世界互动的通用智能体」。

作为谷歌世界模型大牛,Danijar曾主导/联合主导了Dreamer系列(Dreamer、DreamerV3、Dreamer4 等)的开发。

Danijar Hafner

他在推文中写道:「今天是我在DeepMind的最后一天」。

回顾了在Google和DeepMind将近10年的工作经历,Danijar认为「一个重要的篇章走到了终点」。

Danijar在谷歌的早期经历,多是以研究员的身份参与谷歌研究院、DeepMind、Brain Team等团队的工作。

从他的教育经历中,也能清晰看出他的职业发展轨迹。

从2016年起,他就开始参与Brain团队的实习。

据Danijar回忆,2016年他第一次在山景城参与谷歌Brain团队的实习,与James Davidson以及Vincent Vanhoucke一起共事。

因为当时尚无可运行的PPO实现,团队就在TensorFlow的静态图框架下进行调试和实验。

2017-2018年,Danijar在伦敦大学读硕士,期间他就在伦敦的DeepMind工作;

2018-2023年,Danijar在多伦多大学读博士,因此他就在多伦多的Brain Team工作了相当长一段时间。

他与该团队另一位资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。

初识Transformer

但「并未在意」

Danijar还记得?ukasz Kaiser第一次向他们展示一个由「大型」LSTM 生成的维基百科页面时的情形。

?ukasz Kaiser

?ukasz是一位机器学习研究员,他最初在Google Brain团队工作,后来加入OpenAI。

Google Brain团队曾于2018年发表《Generating Wikipedia by Summarizing Long Sequences》,?ukasz Kaiser是作者之一,主题就是端到端生成维基百科条目。

https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com

Danijar还提到他「错过」Transformer的一段插曲。

当时,Ashish Vaswani曾经兴奋地向他介绍一种新架构在计算效率上的优势,并建议他将其应用在强化学习上,但那时Danijar却并未在意(我当时没试)。

后来这种架构被命名为Transformer。

Ashish Vaswani

https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com

Ashish Vaswani是一位在AI领域颇具影响力的科学家与创业者。

他是Essential AI的联合创始人,但更为人熟知的是参与提出了那篇著名的《Attention Is All You Need》的开创性论文。

该论文提出了一种「彻底摒弃循环和卷积结构,仅用注意力机制」的全新简单网络架构Transformer,可以实现更强的并行性和更快的训练速度。

前面提到的?ukasz Kaiser也是这篇开创性论文的主要作者之一。

深度学习研究

2017-2018年,Danijar在伦敦大学攻读硕士。

这段时间他在伦敦的DeepMind工作,有机会参与到深度强化学习和生成式模型的研究,并与Timothy Lillicrap(DeepMind)以及Ian Fischer(Google Research)合作。

这段经历促成了他们共同完成了PlaNet(一种基于模型的强化学习算法,能从像素观测学习潜在世界模型,并在潜空间中进行规划与动作选择)。

Timothy Lillicrap

随后,Danijar与Nicolas Heess、DeepMind的Adaptive Agents团队长期交流,系统梳理并实践Karl Friston的自由能原理(Free Energy Principle, FEP)。

开发Dreamer

曾获辛顿指导

2018-2023年,Danijar在多伦多大学读博士,这段时期他还在加州大学伯克利分校以联合培养博士生的身份开展研究。

在多伦多大学读博期间,Danijar的主要导师是Jimmy Ba,同时还获得了辛顿(Jeffrey Hinton)的指导。

在此期间,Danijar还在多伦多的Brain Team工作了相当长一段时间。

Mohammad Norouzi

他与Google Brain多伦多分部的资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。

他们参与各种合作项目,还一起庆祝了辛顿获得获得图灵奖的时刻。

2018年的图灵奖授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun

过去几年,Danijar一直在伯克利和旧金山之间,与Wilson Yan合作深入研究世界模型。

在Count Zero和Koray Kavukcuoglu的大力支持下,他得以充分利用顶级的算力与资源,推动了一系列前沿探索。

从Dreamer到DreamerV3,再到能够在想象中自主学习、甚至在纯离线环境下完成复杂任务的Dreamer4,这一系列成果令Danijar激动。

在Danijar的个人官网主页上,他的个人愿景十分醒目:「构建能够自主理解世界并与世界互动的智能机器。」

对他而言,世界模型不仅是技术突破,更是理解智能本质的一扇窗口。

如今,Danijar即将结束他在Google/DeepMind的十年旅程,带着复杂的心情和满怀期待,迎接新的篇章。

参考资料:

https://x.com/danijarh/status/1985436821405516031%20

https://danijar.com/?utm_source=chatgpt.com

??时事1:天博登录不上

??11月03日,黑龙江省备春耕 六成种子已下摆到位,

  “金毛老狮子,我与你拼了!”镇中第一高手为一个雄壮的中年人,拎着一口半人多高的阔剑,须发皆张,浑身发光,冲向兽王。

,世界杯投注统计软件。

??11月03日,中新健康丨中疾控称新冠疫情或在本月回升,

  赤剑飞回,墨绿色的植物抖动,通体发光,一片碧绿的雾霭腾起,冲向高空,将那大片的火光阻挡住,发出“哧啦哧啦”声,很快火势就变小了。

,c7娱乐下载,真钱赌场网体育,曾道人料。

??时事2:威廉国际app下载

??11月03日,第27届中国(海南)国际热带农产品冬季交易会在海口开幕,

  “滚开!”蛟鹏狂傲,眸光冰冷,以铁箭对准了石昊,将弓拉满,直指他的哽嗓咽喉。

,jx聚星app下载老版本,银河娱乐app手机下载,捕鱼达人作弊器。

??11月03日,关注一孩,这份1500字提案被反复论证,

  “你吃我?”金色巨鸟斜睨,瞳孔宛若金色的漩涡,极为恐怖,竟要将人的灵魂吞进去。

,188宝金博网址登录,最新凯时首页,六合神童A。

??时事3:电玩登陆

??11月03日,外媒关注多家国际机构上调中国经济增速预期,

  “哇哦,真凶!”

,天天发娱乐app下载,bob品牌官网,万博登录客户端。

??11月03日,AI将帕金森病药物设计提速十倍,

  多少年了,石村的传说都被人当成故事听了,根本不再相信上古的辉煌,而现在却因这个孩子的崛起,而可能再现昔日风采。

,沙巴体育注册,万博官方manbext官网,博鱼体育官网登录入口。

??时事4:真人国际在线娱乐

??11月03日,河北两会港澳委员及海外侨胞代表热议京津冀协同发展,

  二、拥有阳光心态。生命需要阳光,其实心态更需要阳光。阳光心态是一种积极、宽容、感恩、乐观和自信的心智模式。同学们要学会用阳光般的心态面对生活,对周围的人和事始终抱有一颗爱心、宽容心和理解心。尊敬老师、热爱同学,以积极的心态应对人生的一切艰难险阻,从而改变人生的现状,创造崭新的生活,成为真正主宰自己命运的主人。

,伟德bv,立博下载地址,足球赛外围怎么买球。

??11月03日,受强冷空气影响港珠澳大桥桥梁航道23日起封闭,  但对于很多花钱去支教的人群来说,能在7天内获得公益时长或是乡村支教调研报告等,便可以为申请海外留学、择校、评优提供相应证明。,bet9九州体育信誉,leyu乐鱼快速注册,十大赌场手机注册。

责编:秦菲菲

审核:强中强

责编:高健

相关推荐 换一换