【杭州日报】从探索脑控机器人到“隔空”指挥机器狗,杭企发布多模态空间大模型创新应用
用“意念”就能远程操控机器人?9月19日,在当虹科技企业战略重大升级暨BlackEye 2.0多模态空间大模型新品发布会现场,当虹科技与神舞科技正式签署战略合作协议,并联合发布全球领先的脑机接口远程控制系统。
在现场演示环节,一位后脑勺表面贴着电极的工作人员,竟然通过人脑“意念”控制机器狗。起立、前进、拐弯……主持人话音刚落,机器狗就随之行动了起来。
据介绍,这一创新成果将脑机技术与机器人超远距离操控深度融合,让行动障碍人群突破身体桎梏,凭借“大脑”探索世界,以全新方式获得行动自由。与此同时,发布会现场,当虹科技的工作人员仅凭一部手机,就成功操控1700公里以外的机器狗爬火山,让“决胜于千里之外”的操控成为现实。
起立、右转、越障……随着工作人员发出指令,千里之外的机器狗在火山碎石坡上几乎实时响应,甚至吸引许多游客上前围观互动。
值得一提的是,工作人员通过机器狗获取的不仅是视频信息,还有文本、图片、音频、三维点云。这五个模态的融合应用,使千里之外的操控如临现场。
“想要实时操控千里之外的机器狗,首先必须解决延时问题。”当虹科技副总裁吴奕刚在发布会上表示,当虹科技BlackEye Vision机器人超远距离控制系统,把端到端的延时控制在80毫秒以内,比人类神经反应极限(100毫秒)还缩短20毫秒,所以操控起来和现场一样丝滑。
这些场景都是BlackEye2.0多模态空间大模型应用的一个缩影。围绕最新战略体系,当虹科技在现场发布BlackEye 2.0 多模态空间大模型及其在传媒文化、工业与卫星、车载智能座舱、机器人等领域的最新产品与应用,并与阿里云、云深处科技、镜识科技、神舞科技等合作伙伴签约。
发布会上,当虹科技董事长孙彦龙表示,当前正处于空间计算产业大爆发前夜,当虹科技将致力于空间世界的表达、感知、压缩、传输、重建和交互。因此,当虹科技的发展引擎将由原来单一的视频技术升级为“AI多模态+空间视频”双引擎。
孙彦龙强调,当下,视频是记录世界的工具,未来“AI多模态+空间视频”将是理解世界、与世界交互的智能媒介。他把当虹科技定义为空间视频时代的赋能者与生态建设者,希望与内容创作者、硬件伙伴、应用开发者共建空间计算新生态。
在大模型底座合作方面,当虹科技与阿里云签约,双方将依托阿里云领先的国产大模型基座、云计算与大数据能力,结合当虹科技在BlackEye多模态视听大模型与空间视频的深厚积累,共同打造自主可控、技术领先的AI大模型解决方案。
在机器人业务方面,当虹科技、云深处科技、亚太星通、星展测控联合发布“永不掉线”机器人新品,各方通过融合卫星通信等前沿技术,确保机器人在偏远山区等弱网环境下也能实现双向通信。当虹科技与镜识科技、浙江广电新媒体进行了战略签约,联合发布家庭机器人产品,融合多模态AI与超远距离机器人远程操控技术,为家庭与公共生活带来全新体验。
在电网方面,发布会现场宣布,当虹科技超级压缩算法已完成智芯系列AI芯片适配,在电力安监预警、输电线路可视化、变电站远程智能巡视等方面实现规模化应用。
当虹科技长期深耕智能视音频与AI技术,业务覆盖传媒文化、工业与卫星、车载智能座舱等多个方向,是浙江省经信厅评选的“AI应用标杆”。