跳转至

TongSIM

TongSim Lite Hero

🔗 相关链接

随着以大语言模型(LLM)为代表的人工智能能力持续提升,研究焦点正从单一文本模态转向更具挑战性的多模态与具身智能。具身智能强调在逼真的仿真环境中,通过“身体—动作—反馈”闭环进行训练与发展,而不仅依赖传统的标注数据。然而,现有仿真平台多面向特定任务,能够从低层单智能体技能到高层多智能体社会模拟与人机协作提供一致训练体验的通用环境仍然较为稀缺。

TongSIM 是一个高保真、通用的具身智能体训练与测试平台,基于 Unreal Engine 构建,支持从低层次单智能体任务(如导航)到高层次任务(如多智能体社会模拟与人机协作)的广泛场景。TongSIM 构建了 100+ 个多房间室内场景,并提供一个开放式、交互丰富的室外仿真小镇;同时整合了覆盖 500+ 类别的数千个可交互 3D 物体模型。

在此基础上,TongSIM 设计了完整的评测体系,并提出一系列基准任务,覆盖智能体的主要能力:感知、认知、决策、学习、执行与社会协作。平台还提供高保真且可定制的场景、丰富的标注信息与并行训练能力,旨在为不同领域的研究者提供统一而强大的训练与测试平台,加速通用具身智能的研究与开发。

亮点

  • 高保真室内+室外:100+ 室内多房间场景与开放式室外小镇
  • 大规模可交互资产:数千个物体模型,覆盖 500+ 类别
  • 评测与基准:覆盖感知、认知、决策、学习、执行与社会协作
  • 多模态感知:内置视觉与听觉,可扩展到其它模态
  • 物理一致的仿真:遵循因果的世界动力学,并提供丰富标注
  • 并行仿真/训练:支持规模化训练与评测
  • 易于集成:基于 gRPC 的 Python SDK 与实用示例
  • 可扩展的插件式架构