端到端大模型的主要优缺点
·
◼ 优点(以VLA为例):
• 端到端架构:VLA是一个端到端的大模型,这意味着它可以简化传统上需要多个独立模块才能完成的任务流程。
这不仅可以提高系统的效率,还能增强其灵活性和适应性。
• 泛化能力:VLA具有强大的泛化能力。以谷歌DeepMind推出的RT-2为例,该模型可以在新的物体、背景和环境中表现出显著改善的性能。它可以理解并响应那些在训练数据集中未曾出现过的命令,并基于底层语言模型提供的思路链进行推理,从而做出合理的决策。
• 通用性:VLA具备高度的通用性。由于它是建立在一个通用的大规模预训练基础上,因此理论上几乎所有的“智能机器设备”都可以使用这套算法。无论是汽车、飞行器还是其他类型的机器人,只需要经过适当的微调就能满足特定应用场景的需求。
◼ 缺点:
• 数据来源非常有限:谷歌在Mountain Village(美国加州)办公室的厨房里采集了17个月,得到13万条数据,使得其机器人在谷歌的厨房里表现可以非常好。但一旦出了这个厨房,需要考察其环境泛化性,它的成功率就从97%骤降到30%左右。并且这种泛化是有选择的泛化,不是将其直接放到施工工地、非常嘈杂的后厨等场景中。
• 推理、响应速度仍有待提升:RT-2大模型中包含了谷歌上一代大模型PaLM-E,它的速度只能达到1~3Hz,对应机器人的反射弧长达0.3秒甚至1秒。
更多推荐


所有评论(0)