일본의 고속도로망은 1960년대부터 지속적으로 확장되어 현재 총 도로 길이는 10,000km가 넘습니다. 한편, 고속도로망의 절반 이상이 30년 이상 이용되면서 노면, 교량, 터널 등 구조물의 노후화가 사회적 문제로 대두되고 있습니다. 생산가능인구 감소에 따른 고속도로 유지관리 엔지니어의 감소도 큰 과제 중 하나이다.

이런 상황을 고려해 일본 전체 고속도로 약 4,000km를 운영하고 있는 넥스코이스트엔지니어링은 MR과 디지털 트윈 기술을 활용해 ETC 장비와 터널 비상시설 교육 앱을 개발했고, 이 앱을 군마 다카사키에 위치한 자사 교육센터 '기술교육센터(TTC)'에서 구현하고 있다. 이 앱은 모든 엔지니어가 우수한 엔지니어를 양성하는 데 필요한 지식과 기술을 갖추도록 하는 효율적인 교육 및 훈련 도구 역할을 합니다.

연수생의 이해 수준 향상 및 표준화를 위한 MR 도구 개발 시작

NEXCO EAST 그룹은 약 10년 전부터 고속도로의 노후화와 유지 관리 인력 부족을 예측하고 그룹이 습득한 기존의 고속도로 유지 관리 기술과 ICT 기술을 일치시키기 위한 스마트 유지 관리 하이웨이(SMH) 프로젝트를 추진해 왔습니다. 이번 프로젝트를 통해 디지털 역량을 현장 운영에 적극적으로 적용해 운영 DX가 고도화됐다. 종이 기반의 도면 작성 작업을 태블릿 기반 작업으로 전환하고, 축적된 데이터를 Microsoft PowerBI로 분석 및 활용합니다. 본 프로젝트를 맡은 Nexco-East Engineering의 상무이사이자 총괄 기획 관리자인 Tetsuo Hideshima는 프로젝트 정책에 대해 "Nexco-East Engineering은 일년 내내 점검과 문제 해결을 제공하여 운전자가 고속도로를 안전하게 이용할 수 있도록 보장합니다. 고속도로의 지속적인 유지 관리 및 관리를 위해서는 시설과 구조의 작은 변화도 간과하지 않고 철저한 점검과 진단을 수행하는 것이 중요합니다. 이를 위해 ICT는 필수입니다.”

또한 회사는 고속도로 점검 엔지니어의 역량 강화를 위한 교육 시설로 2012년에 TTC를 개설했습니다. 실습 교육을 위해 TTC는 실제 수배전 장비, ETC(요금 자동 결제 시스템) 장비, 고속도로에서 사용되는 것과 동일한 부품 샘플을 갖춘 교육 환경을 제공합니다.

TTC의 역할에 대해 나미키 마사유키 TTC 총괄 매니저는 “TTC에서는 매년 1,000명 이상의 엔지니어가 교육 프로그램에 참여하고 있으며 내부 스킬 체크를 바탕으로 기술 향상을 위한 교육을 받고 있습니다. '고속도로 의사'라고 불리는 고속도로 검사 및 유지 관리 전문가가 되기 위한 시스템입니다.”

한편, 고속도로 구조와 시설은 기술 발전에 따라 점점 더 복잡해졌고, 이러한 교육 자료를 통한 실습 학습에도 불구하고 교육생마다 메커니즘과 내부 구조에 대한 이해 수준이 달랐습니다. 이는 훈련생의 기술 수준 표준화를 방해하여 TTC에 문제가 되었습니다.

이 문제는 특히 ETC 장비 교육에서 두드러졌습니다. Nexco-East Engineering 시설건설사업부 시설공사사업부장 나카무라 요시타카씨는 “ETC 장비는 여러 장치로 구성되어 있으며 ETC 장비의 작동 원리를 종이 기반의 무선 통신 및 제어 신호 흐름도, 파워포인트 슬라이드, 강사의 초크 토크 등 광범위한 자료를 통해 설명한 후 실제 ETC 장치로 테스트했습니다”라고 말했습니다.

그러나 교육 자료 간의 연관성을 이해하는 데는 상당한 시간이 필요합니다. 흐름을 볼 수 없어 연습생들의 상상에만 의존해야 했고, 이로 인해 이해의 격차가 발생했다.”

이에 회사는 MR(혼합현실)과 디지털트윈 기술에 주목했다. 그러다가 ETC 장비의 3D 모델과 적외선 센서, 무선 통신, 데이터 통신 경로(실제로는 보이지 않음)를 ETC 연습 레인과 결합하여 보다 직관적인 이해를 돕자는 아이디어에서 "ETC 장비 훈련을 위한 MR"을 개발하는 프로젝트가 시작되었습니다.

예제가 없는 교육 자료를 모든 훈련생이 쉽게 사용할 수 있도록 노력합니다. 모델

디지털 트윈 분야에서 폭넓은 성과와 경험을 쌓은 넥스코이스트엔지니어링과 XR을 계약한 것이 바로 DataMesh이었습니다. (주)DataMesh Japan Co., Ltd.의 마케팅 및 영업 이사인 Kensho Kashimada 씨는 "그 당시에는 적어도 일본에서는 비슷한 시도가 없었습니다. 결과가 어떨지에 대한 정답이 없는 상황에서 어떻게 모든 연습생이 이해하기 쉬운 MR 자료를 구축할 수 있는지가 포인트였습니다."

그러기 위해 그들이 취한 첫 번째 단계는 빠른 PDCA를 기반으로 한 Agile 개발 접근 방식인 채용이었습니다. 처음부터 세부 사양에 의존하는 폭포형 모델 개발이 아닌 주기적인 개발이 가능합니다. 가시마다 씨는 “프로젝트 주관부서와 실제로 툴을 사용할 TTC 강사와의 반복적인 청취를 통해 신중하게 개발을 진행했다”고 말했다.
또한 TTC가 실제로 연수생에게 제공하는 것과 동일한 교육을 받아 ETC 장비 메커니즘에 대한 지식을 얻고 이를 시스템에 적용했다.

“구두 설명과 2D 자료가 포함된 강의를 들으면서 ETC 메커니즘을 직접 이해하는 것이 얼마나 어려운지 깨달았다. 그래서 우리가 만들고자 했던 도구의 잠재적인 가치를 매우 귀중한 과정이라고 생각합니다.”라고 Kashimada 씨는 말했습니다.

이렇게 약 6개월의 개발 기간을 거쳐 ETC 장치의 정확한 3D 모델이 만들어졌고, 태블릿 장치 또는 Microsoft MR 장치 “HoloLens 2”를 통해 볼 수 있는 ETC 장비에 중첩된 3D 애니메이션을 사용한 ETC 장비 교육용 MR이 완성되었습니다.

“일반적으로 MR 중첩 위치 지정에 대한 SLAM(동시 위치 측정 및 매핑)의 정확도는 하드웨어 성능에 따라 다릅니다. 그러나 ETC 장비 교육을 위한 이번 MR의 경우 DataMesh의 독자적인 디지털 트윈 플랫폼(FactVerse)의 SLAM 기능을 사용하여 여러 장치의 SLAM 정확도 수준을 균일하게 만들었습니다.”라고 Kashimada 씨는 설명했습니다. 데이터의 필요한 부분만 로드하는 기술을 사용하여 기기 성능에 의존하지 않고 대용량 3D 데이터의 중첩을 실현하는 독창성을 발휘했습니다.

Mr. Kashimada는 이러한 기능이 3D 애니메이션의 정렬 불량이나 정지와 같은 스트레스를 주는 사건 없이 훈련생들에게 MR 세계에서 몰입형 경험을 제공한다고 말했습니다.

Mr. 나미키는 "눈에 보이지 않는 것을 말로 설명한다는 게 정말 엄청난 작업이었다. 그런데 이제는 데이터와 전파가 눈에 보여 이해도가 비약적으로 높아졌다"고 말했다.

홀로렌즈2의 조작감에 익숙해지면 훈련생들은 복잡한 절차 없이 디스플레이에 나오는 QR코드만 읽는 것만으로도 위치를 조정할 수 있다. 강사들은 DataMesh에서 제공하는 1일 강의를 통해서만 기본적인 조작 방법을 익힐 수 있었던 것으로 전해졌다.

현장 운영자에게도 호평을 받고 있는 ETC 장비 교육용 MR은 강사들의 피드백을 바탕으로 더욱 개선됐다. 현재는 개별 작업 단계 반복 재생, 심층 설명을 위한 애니메이션 속도 조절 등의 추가 기능을 추가해 더욱 효과적인 도구가 됐다.

HoloLens 2 특성을 활용한 터널 비상시설 훈련용 MR

ETC 장비 훈련용 MR의 성공을 확신한 넥스코이스트엔지니어링은 차기 훈련 MR 개발에 즉각 착수했다. 나카무라 씨는 “터널 비상용 자동 살수 장치의 내부 구조는 외부에서 볼 수 없기 때문에 내부 물 흐름에 대한 CG 시뮬레이션을 중첩하고 내부 및 작동 상태를 시각화하기 위한 교육 자료를 개발했다”고 말했다.

나미키 씨는 "과거에는 구조와 작동을 가르치기 위해 실제 장비의 파이프 샘플과 일러스트레이션을 제시했지만 메커니즘을 시연하기 위해 실제로 물을 통과시킬 수는 없었다. 또한 강사마다 설명이 다소 달랐다. ETC 장비와 마찬가지로 교육생 간의 이해도 격차가 문제로 인식됐다"고 말했다. ETC 장비 교육을 위한 MR 개발을 통해 얻은 노하우.
또한 3D에는 파이프 내부에 물이 흐르는 애니메이션의 투명도를 조정하는 기능이 추가되어 훈련생이 파이프 내부에서 물이 흐르고 멈추는 모습을 자유롭게 관찰할 수 있습니다. 현실적인 3D 화재 효과의 구현은 이해도를 높이는 현실적인 경험을 제공합니다.

마지막으로, 터널 비상 시설 훈련을 위한 이 MR의 품질은 히데시마 씨를 포함한 숙련된 엔지니어들에게도 놀라울 정도로 높고 정확합니다. "물의 흐름과 밸브 열림 메커니즘부터 파이프 뒤에 일어나는 일까지 모두 한 눈에 이해할 수 있습니다. MR의 포저를 다시 한번 느꼈습니다."라고 히데시마 씨는 말했습니다.

터널 비상시설 훈련용 MR에는 고장 시 점검 포인트와 복구 방법을 학습할 수 있는 '의사 재현 기능'이 탑재돼 향후 원격 유지관리 시스템에 적용 가능성도 있다.

또한 태블릿과 기타 기기를 연동해 원격 훈련이 가능해 더 많은 훈련생이 참여할 수 있는 환경이 조성됐다.

무엇보다 터널 비상시설 훈련용 MR은 풀탭으로 활용 가능하다. ETC 장비 훈련용 MR과 HoloLens 2의 잠재력 비교
실제로 실외 ETC 장비를 이용한 ETC 장비 훈련용 MR을 이용한 훈련의 경우 햇빛 강도에 따라 HoloLens 2의 시인성이 저하될 수 있기 때문에 태블릿을 출력 장치로 주로 사용합니다. 반면, 터널 비상시설은 실내 장비로 햇빛을 받지 않습니다. 이것이 바로 HoloLens 2가 등장하는 곳입니다.

Mr. 나미키는 "태블릿은 양손으로 쥐어야 하지만 HoloLens 2는 두 손을 자유롭게 해주는 헤드마운트 디스플레이입니다. 따라서 훈련생은 MR 훈련을 진행하는 동안 장치를 만질 수 있습니다. 또한 개별 훈련생이 되감기, 일시정지, 투명도 수준을 조정할 수 있어 개인의 이해 수준에 맞게 훈련 세션을 맞춤화하는 데 이점이 있습니다."

전문가를 통해 더욱 효과적인 ICT를 지향합니다. 협력

Nexco-East Engineering은 디지털 트윈과 MR 기술을 사용하여 고품질 교육 도구를 구현한 후 앞으로 가속화될 것으로 예상되는 시설 노후화 및 인력 부족 문제를 해결하기 위해 ICT 활용을 더욱 촉진할 계획입니다.

다양한 현장에서 ICT 활용 가능성을 탐색한 나카무라 씨는 “TTC 실습 교육을 넘어 온라인 교육, OJT 교육, 현장 안전관리 능력 향상을 위한 실무형 안전교육 시스템, 원격 유지보수 등을 준비하고 있다.”

ICT의 효과적인 활용을 위한 시스템 구축을 위해 훈련 현장에서 고군분투하는 나미키 씨는 “최근에는 장비와 시설이 점점 더 정교해지고 고장이 줄어드는 것이 좋은 일처럼 보일 수도 있지만, 반대로 미래의 대부분의 엔지니어는 실패 대응에 경험이 부족할 수 있다. 때가 되면 경험 많은 엔지니어에게 의지하기보다는 ICT의 힘을 발휘해야 합니다.”

한편 히데시마 씨는 전문적인 파트너십에 대해 희망을 품고 있습니다. 그는 “고속도로 기술에 대한 탁월한 전문성을 갖추고 있지만 나날이 발전하는 ICT 씨앗과 기술 혁신을 완전히 따라잡을 수는 없다는 점을 인정한다”며 “그런 점에서 DataMesh, 일본 마이크로소프트 등 ICT 전문가들과의 파트너십이 지속되길 희망한다”고 말했다. 고속도로에서의 안전은 현대 생활의 필수 요소 중 하나입니다.

"물 흐름과 밸브 열림 메커니즘, 배관 뒤에 일어나는 일까지 한 눈에 알 수 있다. MR의 포저를 새롭게 느꼈다."

— Nexco-East Engineering 전무이사 겸 기획본부장 Tetsuo Hideshima

"태블릿은 양손으로 쥐어야 하지만 HoloLens 2는 두 손을 자유롭게 해주는 머리 장착형 디스플레이입니다. 따라서 교육생은 MR 교육을 진행하는 동안 장치를 터치할 수 있습니다. 또한 개별 교육생이 되감기, 일시 중지 및 투명도 수준을 조정할 수 있으므로 교육 세션을 개인의 이해 수준에 맞게 조정하는 데 이점이 있습니다."

— 나미키 마사유키(Masayuki Namiki) 기술 교육 센터 총괄 관리자, Nexco-East Engineering

“TTC 실무교육을 넘어 온라인 교육, OJT 교육, 현장 안전 관리 능력 향상을 위한 안전 실무 교육 시스템 구축, 원격 유지보수 등 ICT 활용 범위를 확대하겠다는 포부를 갖고 있습니다.”

— Yoshitaka Nakamura, Nexco-East Engineering, 시설 건설 작업부 시설 건설 작업 부문 관리자

"당시에는 적어도 일본에서는 비슷한 시도가 없었습니다. 결과가 어떻게 될지에 대한 정답이 없는 상황에서 어떻게 모든 연습생이 이해하기 쉬운 MR 자료를 구축할 수 있는지가 포인트였습니다."

— Mr. Kensho Kashimada, DataMesh Japan Co., Ltd.의 마케팅 및 영업 이사

이 고객 사례는 원래 Microsoft 여기.