一种利用混合现实和数字孪生来提高工程师技能以确保高速公路安全的教育和培训工具
支持 Nexco-East Engineering 开发尖端培训应用程序,以应对庞大高速公路网络的挑战,实现高效培训并确保工程师能够凭借所需的专业知识在自己的岗位上脱颖而出。

日本的高速公路网自20世纪60年代以来不断扩建,目前公路总长度已超过1万公里。另一方面,一半以上的高速公路网已使用30多年,路面、桥梁、隧道等结构老化已成为社会问题。随着生产力人口的下降,高速公路维护和管理工程师的数量不断减少也是重大挑战之一。
鉴于这种情况,运营日本约 4,000 公里高速公路的 Nexco-East Engineering 利用 MR 和数字孪生技术开发了 ETC 设备和隧道应急设施的培训应用程序,并在位于群马县高崎的培训中心“技术培训中心(TTC)”实施。该应用程序作为一种高效的教育和培训工具,为每位工程师提供培养优质工程师所需的知识和技能。
启动 MR 工具开发,以提高学员的理解水平并使其标准化
NEXCO东日本集团自大约10年前起,就预测了高速公路的老化以及维护和管理劳动力短缺的问题,并推动了智能维护高速公路(SMH)项目,以将集团获得的现有高速公路维护和管理技术与ICT技术相匹配。通过该项目,通过主动将数字能力应用于现场操作,例如在现场操作中,操作 DX 得到了推进。将纸质绘图准备转换为基于平板电脑的任务,并使用 Microsoft PowerBI 分析和利用积累的数据。负责该项目的 Nexco-East Engineering 董事总经理兼总策划经理 Tetsuo Hideshima 先生就项目政策表示:
“我们Nexco-East Engineering通过全年无休地提供检查和故障排除,确保驾驶员能够安全地使用高速公路。对于高速公路的持续维护和管理,进行彻底的检查和诊断至关重要,同时不能忽视设施和结构的任何微小变化。为此,基于信息通信技术的精简和节省劳动力势在必行。”
该公司还于 2012 年开设了 TTC,作为培训设施,以提高高速公路检测工程师的绩效。对于实际培训,TTC提供的培训环境配备了真实的受配电设备、ETC(自动收费系统)设备以及与高速公路上使用的完全相同的组件样本。
对于TTC的角色,TTC总经理并木雅之先生表示,“在TTC,每年有超过1000名工程师参加培训项目。他们通过内部技能考核体系的培训来提升技能,成为高速公路检查和维护方面的专家,被称为‘公路医生’。”
同时,随着技术的进步,公路结构和设施变得越来越复杂,尽管通过此类培训材料进行了实践学习,但学员对机构和内部结构的理解程度却存在差异。这阻碍了学员技术水平的标准化,成为 TTC 的一个问题。
这个问题在ETC设备教育中尤为突出。 Nexco-East Engineering 设施建设工程部设施建设工程部经理 Yoshitaka Nakamura 先生表示:“ETC 设备由多个设备组成,通过纸质无线电通信和控制信号流程图、PowerPoint 幻灯片以及讲师的粉笔演讲等大量材料解释了 ETC 设备的运行方式,然后用实际的 ETC 设备进行了测试。”
“但是,要理解培训材料之间的关联需要相当长的时间。而且无线电通信和控制信号流是无法看到的,所以我们只能依靠学员的想象力。这导致了理解上的差距。”
对此,该公司将注意力集中在MR(混合现实)和数字孪生技术上。随后启动了“ETC设备培训MR”项目,其想法是将ETC设备的3D模型以及红外传感器、无线电通信和数据通信路线(现实中不可见)与ETC练习车道相结合,以促进更直观的理解。
努力开发易于每个学员使用的培训材料,且没有可用的示例作为模型
DataMesh因其在数字孪生和XR领域的广泛成就和经验而与Nexco-East Engineering签约。 DataMesh Japan Co., Ltd.市场销售总监Kensho Kashimada先生回顾道:“当时至少在日本还没有类似的尝试。关键是我们如何制作出对每个学员来说都易于理解的MR材料,而对于结果应该是什么样子却没有正确答案。”
为此,他们采取的第一步是采用基于快速 PDCA 循环的敏捷开发方法,而不是从一开始就依赖于详细规范的瀑布模型开发。 “我们通过与项目领导部门和将在实践中实际使用该工具的 TTC 讲师进行多次听证会,谨慎地进行开发,”鹿岛田先生说。他们还接受了TTC实际为学员提供的相同课程,以了解ETC设备机制并将其应用到系统中。
“通过接受带有口头解释和2D材料的讲座,我们亲眼目睹了理解ETC机制是多么困难。我们也可以体会到我们试图创建的工具的潜在价值。所以我认为这是一个非常有价值的过程,”鹿岛田先生说。
因此,经过大约六个月的开发期,制作了ETC设备的精确3D模型,并完成了使用叠加在通过平板设备或微软MR设备“HoloLens 2”可见的ETC设备上的3D动画的ETC设备MR训练。
“通常情况下,SLAM(同步定位与建图)在MR叠加定位中的精度取决于硬件性能。然而,对于这次用于ETC设备训练的MR,DataMesh专有的数字孪生平台(FactVerse)的SLAM功能被用来使多个设备的SLAM精度水平保持一致。”鹿岛田先生解释道。通过仅加载必要部分数据的技术,巧妙地实现了海量3D数据的叠加,而不依赖于设备性能。
Kashimada 先生表示,这些功能为学员提供了 MR 世界的沉浸式体验,而不会出现 3D 动画错位或冻结等压力事件。
并木先生说:“用语言解释看不见的事物确实是一项艰巨的工作。但现在数据和无线电波是可见的,这极大地提高了理解水平。”
一旦习惯了HoloLens 2的操作感觉,学员只需读取显示屏上的二维码即可调整位置,无需执行任何复杂的操作。据悉,讲师只需通过DataMesh提供的为期一天的讲座即可掌握基本操作方法。
ETC设备培训MR也得到了现场操作人员的认可,并根据讲师的反馈进一步完善。目前,重复播放各个工作步骤和调整动画速度以进行深入解释等附加功能使该工具更加有效。
充分利用 HoloLens 2 特性的 MR 隧道应急设施培训
出于对 ETC 设备培训 MR 成功的信心,Nexco-East Engineering 立即开始了下一次培训 MR 开发,即“隧道应急设施培训 MR”。
“隧道紧急情况自动喷水灭火系统的内部结构无法从外部看到,因此我们叠加了内部水流的CG模拟,并开发了内部结构和运行状态可视化的培训材料,”中村先生说。
并木先生表示:“过去,我们通过展示真实设备的管道样品和插图来教授其结构和操作,但我们实际上无法让水通过它们来演示其机制。而且,讲师之间的解释也有所不同。与ETC设备一样,学员之间的理解水平差距也是一个问题。”
作为解决该问题的措施,DataMesh基于通过开发ETC设备培训MR而获得的专业知识,再现了从车辆起火到浇水的设备运动,并将内部结构可视化。此外,还添加了调整管道内水流 3D 动画透明度的功能,让学员可以自由观察水在管道内流动和停止的情况。实现逼真的 3D 火焰效果还可以提供真实的体验以增强理解。
最后,即使对于包括 Hideshima 先生在内的经验丰富的工程师来说,用于隧道应急设施培训的 MR 的质量也令人惊讶地高和精确。 “从水流、阀门开启机构到管道后面的情况都一目了然。我重新感受到了MR的装腔作势。”秀岛先生说道。
由于用于隧道应急设施培训的MR具有“伪再现功能”,可以学习出现故障时的检查点和恢复方法,因此MR系统有可能应用于未来的远程维护系统。
此外,连接平板电脑和其他设备可以实现远程培训,创造一个可以让更多学员参与的环境。
最重要的是,与ETC设备培训的MR相比,隧道应急设施培训的MR充分挖掘了HoloLens 2的潜力。事实上,对于使用 MR 进行 ETC 设备训练以及室外 ETC 设备训练时,平板电脑主要用作输出设备,因为 HoloLens 2 的可见度可能会根据阳光强度而变差。另一方面,隧道应急设施是室内设备,不受阳光照射。这就是 HoloLens 2 的用武之地。
Namiki 先生表示:“平板电脑需要双手握住,而 HoloLens 2 是一款头戴式显示器,可以解放双手。因此学员可以在进行 MR 培训时触摸设备。它还允许个别学员倒带、暂停和调整透明度级别,从而有利于根据个人理解水平定制培训课程。”
通过专业合作实现更有效的信息通信技术
在利用数字孪生和MR技术实现高质量培训工具后,Nexco-East Engineering计划进一步推广ICT的使用,以解决设施老化和劳动力短缺问题,预计这一问题将进一步加速。
在探讨ICT在各种场景中的应用可能性时,中村先生表示:“我们希望将ICT的使用范围从TTC实践培训扩展到在线培训、OJT培训、建立实践安全教育体系以提高现场安全管理技能以及远程维护等。”
为了建立有效利用ICT的系统,在培训领域苦苦挣扎的并木先生表示:“近年来,设备和设施越来越先进,故障也越来越少。这似乎是一件好事,但另一方面,未来大多数工程师在故障应对方面可能缺乏经验。我们希望建立一个系统,以ICT的力量支持工程师,而不是到时候依赖经验丰富的工程师。”
另一方面,秀岛先生对专业合作伙伴关系充满希望。他表示:“尽管我们在高速公路技术方面拥有出色的专业知识,但我们承认我们无法完全赶上不断完善的ICT种子和技术创新。在这方面,我们非常希望继续与DataMesh和微软日本等ICT专业人士保持合作伙伴关系。”
基于高速公路专业人员和 ICT 专业人员共同解决问题并相互提供宝贵的技术和知识投入的理想伙伴关系,Nexco-East Engineering 将继续维护和提高高速公路的安全性,这是我们现代生活的必需品之一。
“从水流、阀门开启机构,到管道后面的情况,一目了然。我重新感受到了MR的装腔作势。”
— Mr. Tetsuo Hideshima, Managing Director and Chief of Planning Headquarters, Nexco-East Engineering
“虽然平板电脑需要用双手握住,但 HoloLens 2 是一款头戴式显示器,可以解放双手。因此学员可以在进行 MR 培训时触摸设备。它还允许个别学员倒带、暂停和调整透明度级别,从而有利于根据个人理解水平定制培训课程。”
— Mr. Masayuki Namiki, General Manager, Technical Training Center Manager, Nexco-East Engineering
“我们的目标是将ICT的使用从TTC实践培训扩展到在线培训、OJT培训、建立实践安全教育系统以提高现场安全管理技能以及远程维护等。”
— Mr. Yoshitaka Nakamura, Manager, Facilities Construction Work Division, Facilities, Construction Work Department, Nexco-East Engineering
“当时,至少在日本还没有类似的尝试。关键是我们如何制作出每个学员都易于理解的 MR 材料,而对于结果应该是什么样子却没有正确答案。”
— Mr. Kensho Kashimada, Director, Marketing and Sales, DataMesh Japan Co., Ltd.
此客户案例最初由 Microsoft 在此发布。