猫眼电影
猫眼电影记者 霍华德·S·弗雷德曼 报道Q8X2R7L1T4J5M9B6W3
新智元报道
编辑:元宇
【新智元导读】谷歌世界模型大牛Danijar Hafner宣布离任!他自2016年起开始在Google Brain实习,后又在DeepMind、Brain Team工作。他的经历颇具传奇色彩,曾获辛顿指导,还与?ukasz Kaiser、Ashish Vaswani等Transformer大佬有过交集。
刚刚,「Dreamer」大神Danijar Hafner,宣布离开他曾工作近十年的谷歌。
离职前Danijar担任Google DeepMind旧金山分部的资深研究科学家(Staff Research Scientist)。
他的研究目标是「构建能够理解世界并与世界互动的通用智能体」。
作为谷歌世界模型大牛,Danijar曾主导/联合主导了Dreamer系列(Dreamer、DreamerV3、Dreamer4 等)的开发。
Danijar Hafner
他在推文中写道:「今天是我在DeepMind的最后一天」。
回顾了在Google和DeepMind将近10年的工作经历,Danijar认为「一个重要的篇章走到了终点」。
Danijar在谷歌的早期经历,多是以研究员的身份参与谷歌研究院、DeepMind、Brain Team等团队的工作。
从他的教育经历中,也能清晰看出他的职业发展轨迹。
从2016年起,他就开始参与Brain团队的实习。
据Danijar回忆,2016年他第一次在山景城参与谷歌Brain团队的实习,与James Davidson以及Vincent Vanhoucke一起共事。
因为当时尚无可运行的PPO实现,团队就在TensorFlow的静态图框架下进行调试和实验。
2017-2018年,Danijar在伦敦大学读硕士,期间他就在伦敦的DeepMind工作;
2018-2023年,Danijar在多伦多大学读博士,因此他就在多伦多的Brain Team工作了相当长一段时间。
他与该团队另一位资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。
初识Transformer
但「并未在意」
Danijar还记得?ukasz Kaiser第一次向他们展示一个由「大型」LSTM 生成的维基百科页面时的情形。
?ukasz Kaiser
?ukasz是一位机器学习研究员,他最初在Google Brain团队工作,后来加入OpenAI。
Google Brain团队曾于2018年发表《Generating Wikipedia by Summarizing Long Sequences》,?ukasz Kaiser是作者之一,主题就是端到端生成维基百科条目。
https://arxiv.org/abs/1801.10198?utm_source=chatgpt.com
Danijar还提到他「错过」Transformer的一段插曲。
当时,Ashish Vaswani曾经兴奋地向他介绍一种新架构在计算效率上的优势,并建议他将其应用在强化学习上,但那时Danijar却并未在意(我当时没试)。
后来这种架构被命名为Transformer。
Ashish Vaswani
https://arxiv.org/abs/1706.03762?utm_source=chatgpt.com
Ashish Vaswani是一位在AI领域颇具影响力的科学家与创业者。
他是Essential AI的联合创始人,但更为人熟知的是参与提出了那篇著名的《Attention Is All You Need》的开创性论文。
该论文提出了一种「彻底摒弃循环和卷积结构,仅用注意力机制」的全新简单网络架构Transformer,可以实现更强的并行性和更快的训练速度。
前面提到的?ukasz Kaiser也是这篇开创性论文的主要作者之一。
深度学习研究
2017-2018年,Danijar在伦敦大学攻读硕士。
这段时间他在伦敦的DeepMind工作,有机会参与到深度强化学习和生成式模型的研究,并与Timothy Lillicrap(DeepMind)以及Ian Fischer(Google Research)合作。
这段经历促成了他们共同完成了PlaNet(一种基于模型的强化学习算法,能从像素观测学习潜在世界模型,并在潜空间中进行规划与动作选择)。
Timothy Lillicrap
随后,Danijar与Nicolas Heess、DeepMind的Adaptive Agents团队长期交流,系统梳理并实践Karl Friston的自由能原理(Free Energy Principle, FEP)。
开发Dreamer
曾获辛顿指导
2018-2023年,Danijar在多伦多大学读博士,这段时期他还在加州大学伯克利分校以联合培养博士生的身份开展研究。
在多伦多大学读博期间,Danijar的主要导师是Jimmy Ba,同时还获得了辛顿(Jeffrey Hinton)的指导。
在此期间,Danijar还在多伦多的Brain Team工作了相当长一段时间。
Mohammad Norouzi
他与Google Brain多伦多分部的资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。
他们参与各种合作项目,还一起庆祝了辛顿获得获得图灵奖的时刻。
2018年的图灵奖授予Yoshua Bengio、Geoffrey Hinton和Yann LeCun
过去几年,Danijar一直在伯克利和旧金山之间,与Wilson Yan合作深入研究世界模型。
在Count Zero和Koray Kavukcuoglu的大力支持下,他得以充分利用顶级的算力与资源,推动了一系列前沿探索。
从Dreamer到DreamerV3,再到能够在想象中自主学习、甚至在纯离线环境下完成复杂任务的Dreamer4,这一系列成果令Danijar激动。
在Danijar的个人官网主页上,他的个人愿景十分醒目:「构建能够自主理解世界并与世界互动的智能机器。」
对他而言,世界模型不仅是技术突破,更是理解智能本质的一扇窗口。
如今,Danijar即将结束他在Google/DeepMind的十年旅程,带着复杂的心情和满怀期待,迎接新的篇章。
参考资料:
https://x.com/danijarh/status/1985436821405516031%20
https://danijar.com/?utm_source=chatgpt.com
??时事1:天博登录不上
??11月03日,中国驻卡尔加里总领馆提醒中国公民注意防范交易诈骗,
“爷爷,我去解决后患。”小不点站起身来。
,365bet体育在线网址。??11月03日,台青在桂探索咖啡新业态 盼呈现更多在地文化,
石林虎挥动手中阔剑,一下子劈在了箭杆上,将其撞飞了出去,哧的一声,铁箭深插一块山石中,冒出一串火星。
,2021澳门六星彩资料,世界杯在线投注软件,百家欢乐。??时事2:亚冠体育
??11月03日,伊尔-76坠机事件后,俄乌再度交换被俘人员!,
我们四川宏盛达人力资源有限公司在20xx年7月是经过四川省人力资源与社会保障厅批准,四川省工商局正式注册的正规合法企业。公司注册资本(人民币)200万元,公司以品牌创新战略思维兼融实战人力资源管理策略的理念,专注于为企业提供人力资源管理策划、人才招聘、培训、测评、人事代理、高端就业,企业管理咨询,劳务派遣、劳务外包等方面的服务。就是为企业从人事岗位规划、人才招聘选拔到人事管理的整个过程提供全程人力资源顾问服务,助推企业低成本,高效率组建出一个优秀的员工团队。一个诚信高效卓越的公司,追求灿烂的未来制定最适合本企业的团队营运管理,帮助企业降低用工成本与用工风险,
,环球,金莎国际,十大线上赌博娱乐。??11月03日,港股继续走强,恒指实现“十连涨”,
“让我替毅儿护航吗,二十年后再交给他?”石子陵声音冷淡,而后回头看了一眼自己的妻儿,幼子诞有至尊骨,却落到这步田地,现在其他一切都是空。
,最新手机捕鱼上下分,12bet客户端下载,168亚洲体育官方网站。??时事3:AG视讯网址
??11月03日,港澳青少年珠海观摩第十五届中国航展,
“住手!”有人大喝。
,环球登陆,环球注册送18,新利娱乐。??11月03日,云南镇雄山体滑坡:已搜寻到10名失联人员,
在上面站着几道身影,为首者是一个老人,身穿羽衣,头戴金冠,躯体溢出一缕缕紫气,将他笼罩,朦朦胧胧,有着一种难以述说的威严。
,HB鲤鱼门捕鱼助手,韦德国际官网,电游网。??时事4:特码诗
??11月03日,安徽黟县:水墨乡村绘出多彩国际范,
即便从来没有见到过,但只要生活在大荒中,没有人不知道,太古遗种其蕴含的真血有多么的宝贵,价值连城。
,威尼斯人官方登入,letou国际米兰俱乐部,威尼斯最新的域名。??11月03日,时隔两年半 南京海底世界“10后”北极熊西安“相亲”归来,
青鳞鹰降落,一爪子下去顿时抓裂一块千斤巨石,铁翅一展,呼的一声全部扫飞了,它迅速挖掘,这个地方很凶险,即便强大如它也不敢久留。
,澳门皇冠皇版,leyu乐鱼游戏官网,澳门新手机版。责编:李贻明
审核:克里斯·希利
责编:冯紫剑












