这项由中国科学本事大学脑启发智能感知领路重心实验室的方震、刘卓阳等商议团队连合北京大学多媒体信息处理重心实验室张尚航团队共同完成的商议，发表于2025年11月的arXiv预印本平台（论文编号：arXiv:2511.22134v1）开云体育，为科罚机器东谈主"明智反被明智误"的问题提供了编削科罚决策。

推敲这么一个场景：你教一个孩子作念菜，首先这孩子只会按照食谱一步步操作，天然领略才调有限，但作念出来的菜还可以。其后你想让这孩子变得更明智，教会了他各式烹调旨趣和食材搭配常识。遣披发现，这孩子如实变明智了，大概解释为什么要这么调味、那样火候，但奇怪的是，他作念出来的菜反而变难吃了。手法变得淡薄，火候掌执不准，仿佛明智的大脑反而妨碍了灵巧的双手。

这即是面前机器东谈主领域濒临的一个令东谈主困惑的应承。商议团队将这种应承称为"活动退化"——当机器东谈主学会想考推理后，正本娴熟的操作妙技反而下落了。这个问题就像是让一个优秀的钢琴演奏家在弹琴时握住想考每个音符的表面依据，遣散反而弹不好琴了。

传统的机器东谈主分为两类：一类是"专科工匠型"，这类机器东谈主开头才调很强，大概精确完整地完成各式操作任务，但穷乏纯确实领略和推理才调，就像一个身手深湛但不会变通的老诚傅。另一类是"灵巧学者型"，这类机器东谈主具备强劲的领略和推理才调，大概分析复杂情况并制定战术，但一朝需要精细操作就显得笨手笨脚，就像一个博文强识但从不下厨的表面家。

现存的科罚想路时时是先磨真金不怕火一个专科工匠型机器东谈主，让它掌执塌实的操作妙技，然后再给它灌注多数的推理常识，但愿培养出既能动脑又能开头的全能型机器东谈主。然则，商议团队发现了一个令东谈主无意的应承：当机器东谈主学会想考后，它的开头才调尽然寂然了。这种应承在多个先进的机器东谈主系统中齐有出现，包括广受关怀的Emma-X、ECoT等模子。

为了科罚这个问题，商议团队诱骗了一个名为DualVLA的编削系统。这个名字中的"Dual"好奇艳羡是"双重"，VLA则是"视觉-言语-活动"模子的缩写，轻便领略即是一个能看、能想、能动的机器东谈主大脑。DualVLA的中枢想想是将想考和活动进行玄机的分离和协调，就像一个优秀的交流家既要有深化的音乐领略，又要有精确的交流动作，两者长短分明而不相互烦躁。

一、双层数据剪枝：打消冗余想考的灵巧

商议团队首先发现了活动退化的一个遑急原因：机器东谈主在学习过程中吸收了太多相通、廉价值的推理内容。就像一个学生在学习时，要是老诚老是相串通样轻便的好奇艳羡好奇艳羡，学生天然大概倒背如流这些好奇艳羡好奇艳羡，但对确凿需要技巧的操作反而淡薄了。

在机器东谈主的磨真金不怕火数据中，商议团队发现了多数这么的冗余推理。比如机器东谈主在抓取一个物体时，总共过程可能包含几十个清醒动作，但对应的推理内容却高度相似，齐是"围聚物体"、"准备抓取"这类相通性神情。这些相通内容就像杂音一样烦躁了机器东谈主对确凿重要时刻的学习。

DualVLA继承了一种叫作念"双层数据剪枝"的玄机方法来科罚这个问题。这个方法就像一个严格的裁剪，有意崇拜从多数的磨真金不怕火材料中筛选出确凿有价值的内容。

第一层筛选关怀的是"场景变化"。系统会分析视频中的每一帧，识别出场景发生遑遽变化的时刻。就像看一部电影，系统大概识别出剧情编削点、遑急对话和重要动作时势，而忽略那些过渡性的镜头。商议团队磨真金不怕火了一个有意的事件规模检测汇集来完成这项使命，这个汇集大概判断哪些时刻需要机器东谈主进行深入想考，哪些时刻只是例行操作。

第二层筛选关怀的是"动作重要性"。系统会分析机器东谈主的通顺轨迹，找出那些动作变化显耀的时刻。具体来说，当机器东谈主的终端实施器（可以领略为机器东谈主的"手"）出现急剧加快、降速或标的改变时，或者当抓手开合状况发生变化时，系统就会标志这些时刻为重要动作点。这就像在学习跳舞时，西席会至极强调那些回身、首先或手势变化的短暂，而对轻便的行走步履不会过度关怀。

唯有同期讲理场景变化和动作重要性两个要求的时刻，对应的推理内容才会被保留住来。这种双重筛选机制确保了机器东谈主学习的内容既有想维深度又有操作价值，幸免了被多数相通性推理内容所烦躁。

通过这种方法，正本密集的磨真金不怕火数据变得愈加精湛和有针对性。就像从一册冗长的教科书中索要出中枢要点，机器东谈主大概专注于学习那些确凿遑急的想考-活动对应关连，而不会被不足轻重的相通内容所误导。

二、双教师自适合蒸馏：灵巧与技巧的平衡传授

科罚了数据冗余问题后，商议团队濒临的第二个挑战是如何让机器东谈主同期掌执想考才和解操作技巧。这就像培养一个既要当好栽种又要当好工匠的东谈主才，需要特地小巧的教导战术。

DualVLA继承了一种名为"双教师自适合蒸馏"的编削方法。在这个体系中，有两位专科的"老诚"区分崇拜不同的教导任务。

第一位是"活动老诚"，这是一个在操作妙技方面游刃多余的群众。它的任务是栽种机器东谈主如何精确、开通地完成各式物理操作。就像一位教化丰富的老工匠，它知谈抓取时应该用多浪漫度、迁斯须应该保持怎么的轨迹、何时应该挽回姿态等等。这位老诚有意针对那些需要履行操作的磨真金不怕火数据提供率领，确保机器东谈主的开头才调不会退化。

第二位是"推理老诚"，这是一个在领略和分析方面极其出色的学者。它的任务是栽种机器东谈主如何进行逻辑推理、场景分析和战术制定。就像一位博学的栽种，它大概匡助机器东谈主领略复杂的指示、分析环境中的各式要素、制定合理的活动策划等等。这位老诚主要崇拜那些包含复杂推理内容的磨真金不怕火数据，确保机器东谈主的想维才调得到充分发展。

重要的编削在于"自适合"机制。系统大概智能地判断面前的磨真金不怕火内容应该由哪位老诚来率领。当遭受机器东谈主操作数据时，活动老诚会判辨主导作用，提供对于动作精度和操作技巧的紧密率领。当遭受多模态推理数据时，推理老诚会承担主要株连，传授领略和分析的方法。

这种单干合作的教导方式幸免了传统方法中的一个遑急问题：用归并套模范来栽种糟践不同类型的妙技。就像弗成用教数学的方法来教体育一样，想考妙技和操作妙技需要不同的培养样式。通过让专科的老诚栽种对应的专科妙技，DualVLA确保了机器东谈主大概在两个方面齐得到高质料的培养。

更遑急的是，这两位老诚之间存在着玄机的协调机制。它们不会相互烦躁，而是在各自的专科领域内判辨作用，共同培养出一个既能深度想考又能精确活动的机器东谈主。这种方法的效果就像一个东谈主既能写出深化的学术论文，又能小巧地制作手工艺品，两种才调相互促进而不相互妨碍。

三、VLA Score评估体系：全面预计机器东谈主才调的新模范

传统的机器东谈主评估方法就像只看磨砺是否合格一样轻便巧诈——任务完成了就算收效，没完成就算失败。但这种方法存在赫然的局限性。就好比评价一个厨师，弗成只是看菜作念出来了莫得，还要推敲菜品的色香味、制作过程是否优雅、食材搭配是否合理等多个方面。

商议团队诱骗了一个名为VLA Score的全新评估体系，这是有意为当代智能机器东谈主联想的概括评价模范。这个评估体系就像一位教化丰富的考官，大概从多个角度全面地预计机器东谈主的概括才调。

VLA Score包含四个中枢评价维度。第一个是"推理得分"，这个维度评估机器东谈主的想考质料。系统会分析机器东谈主在实施任务时的推理过程是否逻辑明晰、分析是否合理、判断是否正确。就像评价一个学生的解题过程，不仅要看谜底对分歧，还要看推理设施是否严谨、想路是否明晰。

第二个是"活动得分"，有意评估机器东谈主的操作质料。这包括动作是否开通、轨迹是否优化、力度限度是否精确等等。就像评价一个舞者的饰演，要看动作是否连贯、姿态是否优好意思、节奏是否准确。

第三个是"意图得分"，用来判断机器东谈主的活动是否确凿有助于完成贪图任务。有期间机器东谈主可能作念了许多动作，看起来很贫寒，但履行上对科罚问题莫得匡助，甚而可能以火去蛾。这个维度就像评价一个职工的使命效果，要看他的尽力是否确凿朝着正确的标的。

第四个是"推理-活动一致性得分"，这个维度查验机器东谈主的想法和作念法是否匹配。有期间机器东谈主可能想得很对，但作念得分歧；或者作念得可以，但想法有偏差。就像评价一个东谈主是否齐截不二，要看他说的和作念的是否相符。

为了确保评估的准确性和客不雅性，VLA Score继承了先进的大型视觉言语模子动作"智能评委"。这个评委具备强劲的领略才调，大概同期分析视觉信息和言语神情，就像一位既懂本事又有丰富教化的专科裁判员。

更遑急的是，VLA Score确立了一个常识库系统，包含了多数的模范案例和评分参考。当评估一个新的机器东谈主判辨时，系统会自动检索相似的历史案例动作参考，确保评分的一致性和公谈性。这就像法官在判案时会参考近似的判例一样，保证了评估模范的踏实性。

这种全地点的评估方法不仅大概更准确地预计机器东谈主的确凿才调，还大概匡助商议东谈主员发现机器东谈主存在的具体问题，从而有针对性地进行改良。比如，要是一个机器东谈主的推理得分很高但活动得分较低，就讲解它的想考才调可以，但需要加强动作磨真金不怕火。

四、实验考据：从仿真到现实的全面测试

为了考据DualVLA的有用性，商议团队进行了大领域的实验测试，涵盖了从诡计机仿真到确凿宇宙的各式场景。这就像一个新药在参预商场前需要经过从实验室到临床的层层考据一样，确保本事的可靠性和实用性。

在仿真环境测试中，商议团队使用了SimplerEnv这个被机器东谈主商议界普通招供的模范测试平台。这个平台就像机器东谈主的"驾校科场"，包含了各式模范化的任务场景，比如抽屉开关、物品抓取、精确放弃等等。测试涵盖了两种不同的机器东谈主配置：谷歌机器东谈主和WidowX机器东谈主，就像汽车测试会使用不同品牌和型号的车辆一样。

测试遣散令东谈主饱读吹。DualVLA在SimplerEnv平台上获得了平均61.0%的收效力，这个得益在同类系统中判辨优异。更遑急的是，DualVLA不仅保持了专科操作型机器东谈主的开头才调，还具备了智能推理型机器东谈主的想考才调。这就像培养出了一个既有工匠身手又有学者灵巧的全才。

在与其他先进系统的对比中，DualVLA展现出赫然的上风。比较于传统的专科操作型机器东谈主，DualVLA的收效力进步了5.0个百分点。比较于现存的智能推理型机器东谈主，上风愈加赫然，进步了约8个百分点。这种进步看似不大，但在机器东谈主领域，每个百分点的进步齐代表着繁密的本事进步。

更让商议团队惊喜的是出现了"学生超越老诚"的应承。在某些任务中，DualVLA的判辨甚而超越了它的活动老诚，也即是正本用作教导样本的专科操作型机器东谈主。这就像一个学生通过概括学习，最终在某些方面超越了单一专科的老诚。这种应承标明，适宜的想考才调如实大概进步操作判辨，重要在于如何正确地整合这两种才调。

除了仿真测试，商议团队还进行了确凿宇宙的机器东谈主实验。他们使用了Galaxea R1-lite双臂机器东谈主，这是一个具有14个解放度的复杂机器东谈主系统。测试任务包括物品迁移和双臂合作等复杂操作，这些任务在确凿宇宙中濒临着仿真环境无法模拟的各式不细目要素。

在确凿宇宙测试中，DualVLA展现出了雅致的适合性。在物品迁移任务中，收效力从原来的45%进步到了60%，这种进步在确凿机器东谈主哄骗中具有遑急的实践价值。双臂合作任务的判辨一样令东谈主酣畅，机器东谈主大概协调两个手臂完成复杂的物品嘱托和精确放弃操作。

商议团队还使用VLA Score评估体系对测试遣散进行了详备分析。遣散表露，DualVLA在四个评价维度上齐获得了平衡的发展，莫得出现疲於逃命的情况。这解说了双教师教导战术的有用性——机器东谈主如实学会了在不阵一火操作妙技的前提下进步想考才调。

五、本事细节与编削迫害

DualVLA的收效并非随机，而是确立在多项本事编削基础上的系统性迫害。这些编削就像一部精密机器中的各个零件，每一个齐判辨着不可替代的作用。

在双层数据剪枝本事方面，商议团队诱骗了一套小巧的算法机制。对于场景变化检测，他们改良了DDM-Net事件规模检测汇集，这个汇集大概像一个明锐的不雅察者一样，准确识别出视频中的遑急编削点。汇集的磨真金不怕火使用了全心标注的数据集，确保它大概领略什么样的场景变化才确凿需要深入想考。

对于动作重要性检测，商议团队联想了一个基于通顺学分析的判别算法。这个算法会及时诡计机器东谈主终端实施器的加快度变化，当加快度的二阶导数超越平均值时，就会被标志为重要动作点。同期，系统还会监测抓手的开合状况变化，这些变化频频对应着任求实施中的遑急节点。

在双教师蒸馏本事方面，商议团队继承了温度缩放的常识蒸馏方法。这种方法就像退换火候一样，通过限度"教导强度"来确保常识传授的效果。活动老诚使用较低的温度参数，提供愈加蛮横和精确的率领信号；推理老诚使用适中的温度参数，保持常识传授的纯真性。

系统的升天函数联想也颇具匠心。商议团队将传统的交叉熵升天与常识蒸馏升天进行了玄机的组合，通过动态权重退换确保两种学习贪图的平衡。这就像烹调时需要掌执各式调料的比例一样，过多或过少齐会影响最终效果。

在VLA Score评估体系的达成中，商议团队构建了一个基于GPT-4o的智能评价系统。这个系统不是轻便地套用现存模子，而是经过了有意的教导工程优化。商议团队联想了详备的评价模范和评分指南，确保评估遣散的一致性和可靠性。

为了提高评估的准确性，系统还继承了检索增强的评价方法。每次评估时，系统会自动从常识库中检索相似的历史案例，使用文本镶嵌和图像镶嵌本事找到最有关的参考样本。这种方法确保了评估模范的踏实性，幸免了评分的松驰性。

商议团队还进行了多数的消融实验，系统性地考据了每个本事组件的孝顺。遣散表露，双层剪枝战术孝顺了约3个百分点的性能进步，双教师蒸馏孝顺了约5个百分点的进步，两者的协同效应独特带来了约2个百分点的进步。这解说了本事联想的合感性和各个组件之间的雅致协调。

六、哄骗远景与履行好奇艳羡

DualVLA的收效不单是是一项学术恶果，更遑急的是它为机器东谈主本事的履行哄骗开辟了新的可能性。这项本事就像一把全能钥匙，大概解锁许多之前难以达成的机器东谈主哄骗场景。

在工业制造领域，DualVLA型机器东谈主大概胜任愈加复杂和千般化的坐蓐任务。传统的工业机器东谈主频频只可实施预设的固定动作序列，一朝坐蓐要求发生变化就需要再行编程。而具备想考才调的机器东谈主大概领略更纯确实指示，适合坐蓐线的动态挽回，甚而大概在遭受特地情况时自主决策。

在工作机器东谈主领域，这项本事的价值愈加赫然。家庭工作机器东谈主需要面对苍狗白衣的环境和需求，既要领略主东谈主的复杂指示，又要精确地完成各式家务操作。DualVLA让机器东谈主大概像一个灵巧的管家一样，不仅知谈该作念什么，还知谈怎么作念得更好。

在医疗健康领域，这种本事为手术机器东谈主和康复机器东谈主的发展提供了新的想路。手术机器东谈主需要在领略大夫意图的同期保持极高的操作精度，而康复机器东谈主需要左证患者的具体情况挽回磨真金不怕火战术。DualVLA的想考-活动协调机制正巧讲理了这些需求。

在栽种和科研领域，这项本事也展现出了繁密的后劲。实验室机器东谈主大概更好地领略复杂的实验过程，自主完成各式精密操作。教导机器东谈主大概左证学生的反映挽回教导战术，提供愈加个性化的率领。

更遑急的是，DualVLA为通用东谈主工智能的发展提供了遑急启示。确凿的智能不是单一才调的极致发展，而是多种才调的有机整合。通过科罚想考和活动之间的协调问题，这项本事为构建愈加全面的东谈主工智能系统奠定了基础。

从本事发展的角度来看，DualVLA代表了机器东谈主本事从专科化向通用化发展的遑急设施。往日几十年，机器东谈主本当事者要专注于在特定领域内达到超越东谈主类的性能。而当今，本事发展的重心正在转向构建像东谈主类一样具备多种才调的通用机器东谈主。

商议团队提供的开源代码和详备文档也为后续商议奠定了基础。其他商议者可以在DualVLA的基础上进一步改良和扩张，推动总共领域的快速发展。这种通达的商议作风对于科技进步具有遑急好奇艳羡。

天然，这项本事面前还存在一些局限性。比如，系统仍然需要两个寥寂的教师模子，增多了诡计复杂度。在履行部署时需要推敲诡计资源的限制。另外，VLA Score评估体系天然比传统方法更全面，但仍然依赖于东谈主工智能评判，可能存在评估偏差。

瞻望畴昔，商议团队策划进一步简化系统架构，减少对多个教师模子的依赖。他们也在探索愈加高效的磨真金不怕火方法，但愿在保持性能的同期裁汰诡计资本。同期，他们正在将这项本事扩张到更多的机器东谈主平台和哄骗场景，考据其通用性和鲁棒性。

说到底，DualVLA的好奇艳羡在于它解说了一个遑急不雅点：确凿的智能需要想考和活动的无缺协调。就像东谈主类一样，最优秀的才调频频来自于大脑和形体的默契配合。通过玄机的本事联想，商议团队收效地让机器东谈主学会了这种协调，为创造愈加智能和实用的机器东谈主系统铺平了谈路。这项商议不仅推动了机器东谈主本事的发展，也为咱们领略智能自己提供了新的视角。对于关怀机器东谈主和东谈主工智能发展的读者来说，这项商议值得深入关怀，它可能预示着机器东谈主本事行将进入一个全新的发展阶段。

Q&A

Q1：什么是DualVLA的"活动退化"问题？

A：活动退化是指机器东谈主在学会想考推理后，正本娴熟的操作妙技反而下落的应承。就像让一个优秀的钢琴演奏家在弹琴时握住想考表面，遣散反而弹不好琴。当机器东谈主秉承推理磨真金不怕火后，它的开头才调会变差，这是面前智能机器东谈主濒临的浩荡问题。

Q2：DualVLA的双教师蒸馏本事是怎么使命的？

A：双教师蒸馏就像安排两位专科老诚区分栽种不同妙技。活动老诚有意栽种精确操作技巧，推理老诚崇拜传授领略分析才调。系统会智能判断面前磨真金不怕火内容需要哪位老诚率领，确保想考和开头两种才调齐能得到专科培养，幸免相互烦躁。

Q3：VLA Score评估体系比传统方法有什么上风？

A：传统评估只看任务成败开云体育，就像只管磨砺合格不足格。VLA Score从四个维度全面评价：推理质料、动作开通度、活动见识性和想行一致性。这就像评价厨师不仅看菜作念没作念出来，还要看制作过程、食材搭配等。能匡助发现机器东谈主的具体问题，进行针对性改良。