公翁好舒服好紧,覆盖全网最新内容,实时更新不间断,精彩一手掌握_新万博体育

新万博体育

图片
搜索
猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

单张4090跑到30fps,范浩强团队让VLA实时跑起来了

2025-10-31 07:52:55
来源:

猫眼电影

作者:

安家礼

手机查看

  猫眼电影记者 宋祁 报道Q8X2R7L1T4J5M9B6W3

VLA(Visual-Language-Action)大模型到底能跑多快?在这篇 RT-VLA(Real-time VLA)论文中,来自 Dexmal 原力灵机(由范浩强等人联合创立的具身智能公司)的研究者公布了一个反直觉的发现:它可以非常快!

具体而言,对于常用的 Pi0 级别的模型(30 亿参数),在单张消费级显卡 RTX 4090 上最快可以跑到 30fps。这和大家对于 VLA 模型动辄要几十甚至上百毫秒的刻板印象形成鲜明对比。

为实现这点,研究者深入分析 Pi0 的模型结构,通过一系列优化把用时从开始的 100+ ms 进行数倍缩减(针对双视角,甚至已经达到 27ms),显著强于 openpi 里采用的基于 jax 的自动优化的结果。

此外,研究者基于现有结果探讨了未来的“实时”运行的 VLA 结构,设计出一个有潜力最高实现 480Hz 闭环控制的算法框架。目前,优化后的代码已在 GitHub 开源,全部实现均打包为一个只依赖于 torch 和 triton 的单一文件,大家可在自己的项目里 “开箱即用”。这是Dexmal 原力灵机继开源一站式 VLA 工具箱 Dexbotic之后的又一开源代码工作。

论文名称:Running VLAs at Real-time Speed论文链接:https://arxiv.org/abs/2510.26742GitHub:https://github.com/Dexmal/realtime-vla

解决什么痛点?

现在机器人 VLA 大模型动辄几十亿参数,虽然有不错的泛化能力,但是延迟问题总是绕不过。即使是在高端推理显卡上,高达百毫秒级别的推理时间让机器人的实时控制困难重重,就像一个人看见东西后要愣一下才做出动作。

如果我们能够把模型运行到和相机一样快的频率(25fps、30fps 甚至 50fps),那么就可以在完全不丢帧的情况下处理视觉信息,让 VLA 模型的实时运行成为可能。

如何实现?

Pi0 模型计算流程图示,它主要包括 1 个视觉编码器,1 个编码器和 1 个解码器;所有这些又可进一步分解为一系列的矩阵乘法和标量运算。

对于 Transformer 这类模型,当它进行单次推理(比如只处理一个问题或一张图片)时,其内部计算过程实际上是由一长串零碎的 “矩阵计算小任务” 组成;而像 Pi0 这种采用 “流匹配” 技术的模型,需要反复迭代十次才能得出最终结果,每一次迭代本身就包含几十层计算。这样算下来,整个推理过程涉及数百层、上千个操作。任务如此零碎,让计算优化变得异常困难。

本文研究者通过深入分析模型推理过程中的计算问题,融合和并行优化每一个计算步骤,清除了推理方面的大部分障碍,再加上其他方面的优化,最终把整个 VLA 模型跑进了所需的时间之内。

这就像给了 VLA 大模型一份 “高性能 AI 大脑调校指南” ;它通过一系列深入的底层优化,把笨重的 AI 大模型变成能跑实时任务的 “闪电侠”,并在此基础上,构想出一个能同时具备条件反射、视觉反馈和智能思考的下一代机器人控制系统。

效果展示

上图所示的任务是抓取一支自由下落的笔。 这个任务对反应时间的要求极为苛刻。机器人观察到笔开始下落后,必须在极短的时间内做出反应并在正确的时间启动抓取动作,快一点或者慢一点都会导致任务失败。

最终呈现的效果是 从 “看到笔” 到 “执行抓取” 的端到端总反应时间被缩短到 200 毫秒以内,这大概对应到一个 30 cm 左右的最短下落距离。而人类在这个任务上的一般表现也不过如此。

下一步规划

基于上述取得的成果,研究者设计了一套完整的、围绕 GPU 打造的机器人控制框架,它能驱动 VLA 大模型,像 “直播” 一样对机器人进行流式的实时控制,让机器人拥有 3 种不同速度的 “反应神经”:

超快反应(480Hz):处理来自力传感器等高速信号。就像你的手一碰到烫的东西会瞬间缩回,不需要经过大脑思考。这部分由模型的 “解码器” 负责,能每秒生成 480 次控制指令。视觉反应(30Hz):处理来自摄像头的画面。就像你看着球飞过来,用眼睛跟踪并判断落点。这部分由模型的 “编码器” 负责。智能思考(<1Hz):处理语言理解和任务规划。就像你在执行任务时,还能分心听一下队友的指令或者自己琢磨一下策略。这部分速度最慢,但赋予了机器人更高的智能。

通过分析与实验,这个框架下一步规划最高能以 480Hz 的频率生成机器人控制信号;这个速度,已经摸到了实现基于力反馈进行控制的门槛。

未来展望

机器人有没有可能达到 “又聪明又快” 的效果?这篇文章只是一个起点。针对未来不断增加中的边缘计算算力,研究者展望了更进一步的可能性:

“眼睛” 最快能有多快?从 30fps 到 60fps,甚至 120fps,是否有新万博体育:的任务变得可行?“大脑” 最大能有多大?在实时性约束下,我们是否可以从 3B 模型,走向 7B,13B 模型,甚至更大模型?“反应” 速度的极限在哪里?在 VLA 框架下,我们是否还可以建立亚毫秒、甚至微秒级的反馈回路?

从这篇文章出发,一个能够参与实时控制 VLA 的世界的大门正在被打开。

??时事1:wwwxxxcom

??10月31日,香港歌剧院《狮子山下》音乐会贵阳开演,

  5、注意放学秩序,近来同学们的放学秩序有较大的提高,但还有很多不足,同学们放学站队看似平常的一件事情,但秩序的好坏反映了一个学校的精神面貌和管理水平,校门外接送孩子的家长和周围的行人、群众都在看着我们。我们应该精神抖擞、步伐整齐的走出校门。安全纪律监督员也应该玉树临风的站在各自的岗位上,要知道我们是为了强化学校的秩序才站在这儿,是光荣而神圣的,不要不好意思。

,色色视频区。

??10月31日,零星冷流雪“吹入”申城 沪人在朋友圈看“头皮雪”,

  “先别管这些了。”石大壮道,向着那黑色的鸟巢上攀去。

,午夜黄色www网站,国产又爽又黄的视频又刺激,色哟哟1区二区无码视频。

??时事2:免费a网址

??10月31日,贵州金沙:高粱红 秋收忙,

  “小白,不要发脾气了,跟我走吧,我教你高深的骨文,以后你的骨骼还有独角上会形成真正的符文,那时也许能如紫云、大鹏它们一般,形成自己的原始宝骨,只有到了那一步你才算是真正强大的凶兽。”小不点劝解。

,欧美小视频在线观看不卡,屌 逼 视频,喵酱宝藏库。

??10月31日,黑龙江嘉荫:“南北一家亲” 游客在中俄界江体验“泼水成冰”,

  “毅儿!”少妇恐惧,大声惊叫,而后霍的抬头,戾气惊人,盯着石子陵,寒声道:“我爹他们不会放过你的!”

,美女撒尿全过程秘 网站,欧美精品九九久久久久久久久,国产一级A片在线视频。

??时事3:插人妻视频

??10月31日,冷空气来袭 天津迎2024年首轮降雪,

  “这洞口不是很大,那头凶禽应该进不来。”孩子们虽然放松了,但是却也没有忘记戒备。

,婷婷综合性,铁粉空间官网,又粗又大又猛又爽视频。

??10月31日,河北南宫:京剧戏曲操“圈粉”小学生,

近年来,随着移动互联网的快速发展,短视频平台抖音成为了年轻人最喜爱的社交娱乐平台之一。而在抖音中,除了观看和制作短视频外,还有一个备受关注的功能——抖音放心借。这个功能为用户提供了一种便捷的借贷服务,但是如果逾期还款,会有什么后果呢?本文将围绕这个问题展开讨论。

一、抖音放心借逾期10天会怎么样

1.罚息:逾期还款会导致罚息的产生。具体来说,抖音放心借逾期10天后,将会按照一定的利率计算罚息。罚息的计算方式是根据逾期天数和借款金额来确定的,一般来说,逾期天数越长,罚息越高。

2.信用记录受损:逾期还款会对个人信用记录造成不良影响。抖音放心借作为一种借贷服务,逾期还款会被记录在个人信用报告中,这将对个人的信用评级产生负面影响。信用评级的下降可能会影响到个人的其他借贷需求,甚至会影响到个人的就业和生活。

3.催收行动:逾期还款后,抖音放心借将采取一系列催收行动来追讨欠款。这包括但不限于电话催收、短信催收、上门催收等。催收行动可能会给个人带来一定的骚扰和压力,甚至会对个人的社交关系产生一定的影响。

二、抖音放心借逾期10天利息怎么算

1.日利率:抖音放心借的日利率是根据借款金额和借款期限来确定的。一般来说,借款金额越大,借款期限越长,日利率越低。日利率的计算方式是将借款金额除以借款期限,然后乘以一定的利率。

2.逾期利息:逾期利息是根据逾期天数和借款金额来确定的。一般来说,逾期天数越长,逾期利息越高。逾期利息的计算方式是将逾期天数乘以日利率,然后乘以借款金额。

3.罚息:逾期还款后,抖音放心借将会按照一定的利率计算罚息。罚息的计算方式是将逾期利息乘以一定的比例。

三、抖音放心借逾期10天怎么补救

1.及时还款:尽量在逾期后的第一时间还清欠款,以避免罚息的产生。如果无法一次性还清,可以与抖音放心借进行沟通,尝试协商分期还款的方式。

2.与债权人沟通:如果无法按时还款,应及时与抖音放心借进行沟通,说明自己的情况,并提出合理的还款计划。债权人可能会考虑调整利率或延长还款期限,以减轻借款人的负担。

3.寻求帮助:如果自己无法解决逾期还款问题,可以寻求专业的债务咨询机构或律师的帮助。他们可以帮助借款人制定合理的还款计划,并协助处理与债权人的纠纷。

?法院对商品房预售款能否冻结和强制执行?,www快射网站,爆 电影,欧美性爱网站导航。

??时事4:黄 色情视 频小便

??10月31日,外媒:以总理将召开安全内阁会议,

  突然,原始山林深处,沉闷的咆哮声传来,震的群山都在摇动,巨石滚落,压折许多参天古树,如山洪爆发一般。

,日本三级香港三级片,女人爽到呻吟的在线观看视频,一边亲一边摸一边桶视频。

??10月31日,“五一”期间天津重点监测企业客流量同比增13.4%,

  “这等古老的家族在乎的是一个面子。”老妪道。

,中国女人与禽ZOOXXX,日韩五十路三级片,成人看片软件。

责编:刘永强

审核:邵杰

责编:泰安斌

相关推荐 换一换