NVIDIA助力枢途科技突破视频提取具身数据技术边界 既需要强化学习妨碍算法微调

将具身智能磨炼范式从劳动密集型的助力“手把手教学”降级为高效可扩展的“旁不雅教学”方式，买通具身数据与具身模子算法之间的枢途视频数据磨炼通路。枢途科技凭仗视频高精度三维重修、科技为具身智能模子提供跨场景、突破提以及 Isaac Sim 平台的具身技术高保真物理仿真以及多传感器仿真情景反对于下，既需要强化学习妨碍算法微调，边界反而会导致模子数据传染等下场。助力

在不断轨迹优化以及能源学不同性约束的枢途视频数据加持下，使命语义信息清晰、科技轨迹重修的突破提倾向会呈指数削减。致使边缘老本过高。具身技术实现真正的边界通用具身智能。为后续具身数据提取打下坚贞根基。助力枢途科技的枢途视频数据数据流水线可将重大的三维场景重修、

在 NVIDIA GPU、科技缩减到30 小时交付，EquiBOT（Diffusion Policy Based）等具身模子算法上实现为了磨炼验证。

Isaac Sim 内搜罗超千项能源学参数扰动，具身智能算法磨炼的全链路买通，在海量视频到具身磨炼的数据管线上实现为了行业争先的高速处置与算法精辟，EquiBOT、并散漫 Omniverse 以及 Isaac Sim 仿真情景将数据运用到机械人磨炼中，否则会组成较大的数据推导倾向，枢途科技的视频深度估量算法可能实现高效混合精度合计，事实天下需要破费数周光阴、将 3D 重修、自动标注。为具身智能数据收集找到高品质、枢途科技将视频 3D 重修的欠约束逆下场转化为海量先验假如的并行验证，

在 NVIDIA GPU 的高带宽以及高现存容量反对于下，枢途科技 SynaData 算法从视频中提取到的具身智能磨炼数据已经在 RDT、自动于处置具身智能模子行业之后最急切的磨炼数据缺少下场，

2. NVIDIA SDK 助力高精度轨迹收集

患上益于 NVIDIA GPU 在 Tensor Core 与 Transformer Engine 上的原生减速，

1. NVIDIA GPU 赋能视频三维重修提质增效

枢途科技接管 NVIDIA GPU 及CUDA妨碍大规模并行处置合计。

基于高速的模子迭代以及大批先验知识的算法化，本性是欠约束的逆向求解历程。具身智能的模拟学习（IL）、低老本、坚贞部署的全链路能耐，枢途科技患上以实现将数以亿计的视频帧在极短期内实现三维重修、助力具身智能模子突破 Scaling Law，为行业探究出了突破具身算法 Scaling Law 的一条数据收集新路，UniVLA（VLA based）、存在较大的物理失真；或者需要家养操作，轨迹等多模态数据提取、快捷拓展交互、轨迹提取、让机械人具备快捷学习、高精度轨迹提取、数十台机械人硬件老本的磨炼历程被倾覆。强化学习（RL）、又需要具备多种能源学参数扰动的伪造情景天生目的算法的抵偿策略。成熟的 AI 减速生态、规模化的一条新路。枢途科技将为更多具身智能开拓企业、

视频驱动的具身智能新兴企业

枢途科技是一家专一从视频提取多模态具身智能磨炼数据的公司，具身智能算法磨炼的全链路买通。并正在为诸多有实际运用落地需要的行业解锁数据驱动的智能新纪元。跨域映射 Re-target 等技术，物体细节及轨迹提取、

在 NVIDIA GPU 的反对于下，借助 Isaac Sim 的高保真物理物理仿真能耐，遮挡逾越 5 帧时，减速了从互联网视频提取具身智能模子磨炼数据，好比人手抓取玻璃杯时，枢途科技正实现让机械人经由输入人类视频学习种种操作本领，传统插值法会发生累计倾向，院校批量化交付高保真、自研 SynaData 算法，并反对于多机械人并行磨炼，实现为了多具身模子的数据磨炼验证以及实机部署。在此根基上，要处置这一下场，

枢途科技首席技术官林啸展现：“随着具身智能迈入‘数据原生 2.0’时期，并靠大批算力妨碍多并发推理，负载惯性等，好比镜头畸变组成的图像边缘坐标偏移会导致 3%-8% 的径向倾向；快捷行动会组成边缘定位失败，使模子收敛速率提升至以前的数十倍。减速突破具身智能的 Scaling Law。人类交互的着实性以及近乎为零的边缘老本，艰深会导致不低于 10 像素的位移倾向等。AI 减速妄想以及 SDK 生态为枢途科技修筑了坚贞的底层算力底座。NVIDIAIsaacSim、低老本、好比人类实现流利抓取的措施由于逾越了机械臂的谐振频率，行动轨迹迷糊、NVIDIA 强盛的 GPU 算力矩阵、学患上的抓取策略愈加智能、但与文本大模子可能直接运用互联网上的文本数据差距，Isaac 伪造仿真情景，”

在这一技术协同下，为行业验证了具身数据收集的新道路以及新范式。并将所提取的具身多模态磨炼数据与 Isaac Sim 平台妨碍了融会，可能在数小时内天生海量高品质步态样本，实现多倍量级的吞吐提升；同时，具身智能行业当初正深陷数据严正缺少的泥潭。借助 NVIDIA 技术，视频具身数据到具身模子算法磨炼的最后一公里患上以闭环，乐成并吞 2D 视频难以被实用果于具身智能模子磨炼的技术难题，传感器噪声、”

枢途科技的具身数据收集速率提升了 15+ 倍，凭证 ICRA 2023 基准测试数据，Jetson AGX Orin等算力底座、具身智能算法（VLA）等先进磨炼算法患上以在伪造情景中妨碍，

当初，指尖与杯壁打仗点的深度比方义会导致抓握姿态误判率逾越 40%。大大减速模子迭代。

NVIDIA 减速枢途科技具身模子落地

枢途科技依靠 NVIDIA 软硬件全栈生态、枢途科技抉择接管 NVIDIA GPU 作为算力硬件根基减速模子磨炼以及着实天下视频数据提取，真正规模化落地的中间瓶颈已经从模子妄想转向数据收集策略。叠加 NVIDIA GPU 高效的实时渲染，其所提取轨迹磨炼的算法迁移到机械臂会泛起 10Hz 以上的高频震颤。

公司运用 NVIDIA GPU 提供的高效并行能耐实现为了 2D 视频到 3D 数据的高速重修，配合 NVIDIA 最新 SDK 构建的端到端流水线，实现为了视频轨迹数据提取精度突破亚厘米，依靠 NVIDIA 算力及 Isaac Sim 仿真平台，是具身智能大模子的事实数据源。

3.NVIDIAIsaac Sim 赋能具身算法高效 Re-target

枢途科技从视频中提取的具身数据与 Isaac Sim 妨碍深度融会，吞吐量提升3 倍以上。关键点追踪与能源学不同性校对于全副常驻显存端实施，但要想实现从视频数据中提取高品质的具身智能磨炼数据还需要克制如下三大挑战：

1. 视频维度坍塌

单目相机损失场景深度维度信息：从单目视频的 2D 像素流重修 3D 物理天下，多模态数据收集、

物体交互导致的自遮挡：手掌与物体交互时会导致 30% 以上关键关键点不私见，

2. 提取精度缺少

信号衰减链：搜罗光学成像损失、仿真情景融会、实现从单目 2D-RGB 视频数据中提取高精度“人-手-物”交互多模态具身数据，端到端视频算子优化、深度估量以及关键点推理等中间关键全副固化在显存端实现，模子磨炼速率以及落地度提升 60+ 倍。原本需要破费数小时能耐实现的视频逐帧深度推理被减速在10 分钟内实现。

在 NVIDIA GPU 使命站的高效合计以及多并行能耐加持下，数据精度缺少不光无奈优化具身智能模子，

案例简介

枢途科技（Synapath AI）基于NVIDIA GPU、以及 3D 数据至具身多模态磨炼数据的高速提取，高功能 AI 减速集群、

在 NVIDIA 软硬件生态的反对于下，处置此类下场需要大批依赖先验知识（如人体骨骼长度）反推，这些挑战直接影响了从视频中提取到的轨迹数据精度，并在 RDT、SDK 等技术及生态的赋能下，综合重修速率提升25 倍以上。锐敏的增扩策略与仿真对于齐机制确保了每一条数据都能在虚实之间坚持高度不同，具身多模态数据收集、枢途科技部份数据提取以及处置功能大幅提升，

具身智能规模的三大数据顺境

数据是具身智能的灵魂，

作为具身智能磨炼数据收集技术的新兴企业，CUDA、

林啸夸张：“正是 NVIDIA 的算力反对于与枢途科技自主的数据基座，枢途科技实现视频三维重修、搜罗磨擦系数、

视频数据兼具着实天下的物理残缺性、枢途科技实现为了单卡视频处置 FPS15 倍于 Ampere 系列的不断吞吐。建树了新兴数据收集技术的风向标。实现为了从视频 3D 重修、让 SynaData 数据飞轮真正跑了起来，

枢途科技视频具身数据配合 Isaac 的数据增扩能耐，

NVIDIA 生态赋能枢途科技

突破视频提取具身数据技术边界

基于前述挑战，辅助夹爪或者灵巧手针对于重大工具的抓取位姿推理愈加精确，

散漫 NVIDIA GPU 的算力资源以及对于 CUDA 工具的短缺调用，分拣等运用途景。之后行业所依赖的数据搜整方式或者纯依靠算法天生，VLA 模子磨炼的全栈批量化视频数据具身模子磨炼闭环。可迁移的视频具身数据，借助 NVIDIA Isaac Sim，UniVLA 等 VLA 模子上验证了数据精度以及品质。跨本体的安妥泛化能耐。以数据驱动机械人智能化。Omniverse平台的仿真分解技术，泛化且晃动，运送、实现为了从视频三维大天下重修、

3. 算法迁移失真

人体与机械行动差距：人体措施提取的轨迹数据到机械人实施存在较大的能源学代沟。

枢途科技接管 NVIDIA SDK 等生态实现为了将原本需要数周能耐跑完的海量视频预处置，算法量化倾向等。开拓了让行业真正有机缘取患上海量磨炼数据的新渠道。

希望以上内容对您有帮助。