mr 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈...

12
2 www.iitp.kr * 강진석 노병희* ㈜프론티스 수석연구원 아주대학교 교수 * 혼합현실(Mixed Reality) 기술의 등장으로 시공간적인 접근성(Reach)이 개선됨에 따라 그 응용 활용성에 관심이 증가하고 있다. 대표적인 활용 예로 홀로렌즈를 활용한 국방 응용기술인 합동전술 지휘 플랫폼과 군장비 정비를 들 수 있다. 이는 혼합현실 기술의 활용에 의해 군장비의 정비는 물론 전장 공간인식을 통한 전투지휘체계가 컴퓨팅 환경에서 상황정보에 따라 서비스 제공 및 제어 가 가능해지고 있음을 의미한다. 이에 본 고에서는 혼합현실 환경에서 국방정보기술 분야의 한 축을 담당하는 첨단 연구개발, 요소기술 연구개발, 시스템 통합 등의 전 단계를 포괄하여 기술의 응용성을 극대화할 수 있는 새로운 체계로서 그 개념 모델과 관련 이슈의 프로토타입을 다룬다. I. 서론 ICT 기반 기술 발달로 인한 대표적인 참여형 콘텐츠 기술인 혼합현실(Mixed Reality) 기술은 인간의 인지능력을 현실과 가상공간에서 경험과 감성으로 확장시키면서 오락, 문화, 교육, 의료 및 국방 등 다양한 분야에 제공되고 있다. 사용자 웨어링(User Wearing) 형태로 인체에 착용하면 컴퓨팅 행위가 가능하게 되면서 체험 분야의 다양한 서비스로 확산되며 정보이용과 소통방식의 변화 를 주도하고 있다[1]. 이러한 변화에 따라 정보화된 미래의 국방 응용 분야에서 홀로렌즈 또는 HMD (Head Mount Display)의 적용 방안에 대한 관심이 고조되고 있다. 대표적인 국방산업의 응용으 로, 전장에서 현실세계의 지형지물을 전자공간에 투사화(projection)하여 현실세계가 전자화된 제3 의 공간(전장공간 인식 및 증강현실)을 통해 혼합현실 디바이스에서 플랫폼 응용기술을 활용하여 * 본 내용은 강진석 수석연구원(☎ 031-695-6988, [email protected])에게 문의하시기 바랍니다. ** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다. ***본 내용은 2018년도 과학기술정보통신부 및 정보통신기술인력양성사업의 일부 지원을 받아 수행된 연구결과임(MR-IoT융합 기반의 재난대 응인공지능 응용기술, IITP-2018-0014310012002) MR 기술의 국방 응용 현황 및 이슈

Upload: others

Post on 18-May-2020

12 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

2 www.iitp.kr

주간기술동향 2018. 12. 12.

*

강진석 노병희*

㈜프론티스 수석연구원

아주대학교 교수 *

혼합현실(Mixed Reality) 기술의 등장으로 시공간적인 접근성(Reach)이 개선됨에 따라 그 응용

활용성에 관심이 증가하고 있다. 대표적인 활용 예로 홀로렌즈를 활용한 국방 응용기술인 합동전술

지휘 플랫폼과 군장비 정비를 들 수 있다. 이는 혼합현실 기술의 활용에 의해 군장비의 정비는

물론 전장 공간인식을 통한 전투지휘체계가 컴퓨팅 환경에서 상황정보에 따라 서비스 제공 및 제어

가 가능해지고 있음을 의미한다. 이에 본 고에서는 혼합현실 환경에서 국방정보기술 분야의 한

축을 담당하는 첨단 연구개발, 요소기술 연구개발, 시스템 통합 등의 전 단계를 포괄하여 기술의

응용성을 극대화할 수 있는 새로운 체계로서 그 개념 모델과 관련 이슈의 프로토타입을 다룬다.

I. 서론

ICT 기반 기술 발달로 인한 대표적인 참여형 콘텐츠 기술인 혼합현실(Mixed Reality) 기술은

인간의 인지능력을 현실과 가상공간에서 경험과 감성으로 확장시키면서 오락, 문화, 교육, 의료 및

국방 등 다양한 분야에 제공되고 있다. 사용자 웨어링(User Wearing) 형태로 인체에 착용하면

컴퓨팅 행위가 가능하게 되면서 체험 분야의 다양한 서비스로 확산되며 정보이용과 소통방식의 변화

를 주도하고 있다[1]. 이러한 변화에 따라 정보화된 미래의 국방 응용 분야에서 홀로렌즈 또는 HMD

(Head Mount Display)의 적용 방안에 대한 관심이 고조되고 있다. 대표적인 국방산업의 응용으

로, 전장에서 현실세계의 지형지물을 전자공간에 투사화(projection)하여 현실세계가 전자화된 제3

의 공간(전장공간 인식 및 증강현실)을 통해 혼합현실 디바이스에서 플랫폼 응용기술을 활용하여

* 본 내용은 강진석 수석연구원(☎ 031-695-6988, [email protected])에게 문의하시기 바랍니다.

** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.***본 내용은 2018년도 과학기술정보통신부 및 정보통신기술인력양성사업의 일부 지원을 받아 수행된 연구결과임(MR-IoT융합 기반의 재난대

응인공지능 응용기술, IITP-2018-0014310012002)

MR 기술의 국방 응용 현황 및 이슈

Page 2: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 3

기획시리즈 – AR·VR·MR

지능화된 주위환경(건물, 도로, 나무 및 기상 정보 등으로부터의 상황인지/분석 부문)과 유기적으로

소통함으로써, 다양한 정보기반 군사작전 전개를 구성하는 기초적 요소가 되는 시·공간 식별에 대한

전장공간인식을 위한 전술운용 시대가 도래하고 있다[2],[3].

다른 한편의 활용 예로는, 군장비 정비지원 및 교육을 위해 VR·AR·MR 기반으로 현실세계에

가상의 정보나 콘텐츠를 자연스럽게 병치하여 인간의 감각과 인식을 확장시켜 정비응용과 정비교육

을 홀로렌즈 또는 HMD 등을 통해 지원하는 기술로, 기존 정비지원/정비교육시스템과 운영관리시

스템(Learning Management System: LMS)과의 연동을 통한 정비운영 다중 플랫폼 구축을 목

표로 연구 진행 중에 있다. 군에서는 첨단 방산 장비를 제어하기 위한 고도의 숙련도 습득이 요구되

는 한편으로 군 정비인력의 빈번한 교체로 인해 고도의 숙련도를 갖추기 어려운 현실을 타개하고

방산장비를 다루는 상황에서 사고 발생 위험이 매우 높은 상황에서 안전성을 확보하기 위해서 가상

정비 환경을 구축하여 정비지원과 교육 과정을 진행하고 있다. 그 결과, 단순 반복 훈련과정으로 해결

되지 않는 고위험/고숙련이 요구되는 고도화된 정비가 가능한 숙련된 인력을 양성하고, 숙련되지 않은

인력도 쉽게 정비를 할 수 있는 시스템을 구축하여 실전에 활용 가능성을 보여주고 있다[4],[5].

II. 미래의 국방 ICT 기술

1. 미래의 국방기술

미 국방부는 이미 [그림 1]과 같이 방위산업 분야에 비정형 데이터의 빅데이터 운용으로 연간

2억 5,000만 달러 이상을 투입하고 있으며, 대표적으로 ‘빅데이터 R&D 이니셔티브’ 사업의 일환으

로 전투원 및 군 분석가의 전투 수행 능력을 배가시키기 위해 빅데이터 기술 연구에 주력하고 있다.

미국의 방위고등연구계획국(DARPA)에서는 자율의사결정시스템과 전장의 상황 및 공간인식 기술

을 개발하고 있으며, 이의 일환으로 대용량 데이터에서 특정 정보만을 탐지하는 기술 개발에 초점을

둔 ‘ADAMS’(The anomaly detection at multiple scales) 프로젝트를 추진하고 있다. 이 프로

젝트는 전장에서 발생할 수 있는 적의 위협요소를 찾아 전술 네트워크(Tactical Network) 운영방식

으로 사전에 적군의 공격을 차단하고, 방어가 가능한 기능을 제공하고 있다. 그리고 위성영상 또는

무인항공기(UAV)에서 촬영된 영상을 토대로 전장의 상황을 수집하여 추론과 내러티브를 통해 전장

에서 펼쳐지고 있는 상황을 기초하여 위협요소를 검색, 분석할 수 있도록 지원하고 있다.1)

1) 미 국립연구재단(NSF)의 주요연구지원 프로그램, 2014. 12.

Page 3: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

4 www.iitp.kr

주간기술동향 2018. 12. 12.

미래전은 군사과학기술의 발전으로 인해 다양한 전장 환경에서 전투원 간의 상호운용성을 기반으

로 실시간 연계성을 띠고 있는 네트워크 중심전(Network Centric Warfare)으로 환경이 변화하고

있다. 이는 전장에서 무기체계의 운영과 병사들의 기동성 그리고 화력 지원에 있어 다양하고 안전한

군사작전 지원을 목표로 한다. 이러한 통합적인 시스템을 통해 아군과 적군의 전술적 상황정보 즉,

병력이동, 지형/지물, 무기체계 등 전장공간에서 오감을 활용하여 상호작용(Interactive)하는 시공

간적, 지리적, 물리적 요소를 활용하여 체감할 수 있는 전투지휘체계로 발전하고 있다.

이렇듯 네트워크 중심전은 작전에 있어 군사력을 파괴보다는 전투원 요소 간의 효과와 심리적

마비를 통한 전술 운용으로 변화하여 무기체계와의 연동을 통해 전투원 요소 간의 개별적인 플랫폼

운영이 아닌 네트워크 중심전으로 기동과 화력 그리고 전장의 상황인식 정보를 통한 상호작용 형태

로 변화될 것이다([그림 2] 참조).

ExistingMetadataProcessor

ExistingGeo-spatial Registration Processor

PrimitivesLibrary

InteractiveQuery

RefinementModule

Activity and Object

Searcher

Activity and ObjectIndexer

Data stored with descriptors

Data stored with descriptors

Data wtextindexed

Preprocessed Data and Example

Video clips that match index, features, and detailed appearances

Video clips that match index and video

features and Alerts

Video clips that match descriptors

of queryArchived Data(from local, regional, or joint repositories

Streaming Data(from Predator, Raven, GH, etc.)

Example Clip+Search Fiters(from available list or new video)

Data Flows

Indexing Flow

Retrieval Flow

<자료> Defense Advanced Research Projects Agency

[그림 1] 미 방위고등연구계획국(DARPA)의 VIRAT 개발 프로젝트

Page 4: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 5

기획시리즈 – AR·VR·MR

2. 혼합현실의 국내외 기술 동향 및 이슈

지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를 기반으로 이루어지고 있으며 우리나

라의 경우 국산화를 위한 기술 확보와 해외 우수 군수품의 국산화를 위한 추격형 운영 단계에 있다.

국방예산 역시 계속적으로 증가하고 있지만 대부분 해외 무기체계의 운영과 유지보수 수준으로 진행

되고 있으며, 신기술 확보를 위한 첨단국방기술개발 사업의 경우 방위산업체와 학계 등에서의 다양

한 연구가 미흡한 상황으로 선진국에 비해 턱없이 부족한 실정이다.

가. 국외 동향

미국을 비롯한 선진국의 기술 동향으로부터 살펴본 미래전의 기본 개념은 ICT 기술을 기반으로

전투원들 간의 정보처리 능력 향상으로 전장의 상황정보가 공유되고, 작전상황실을 중심으로 전술

운영을 위한 작전계획과 절차가 자동화되어 육상, 해상, 공중 및 우주공간에 이르기까지의 다양한

전장공간에 대한 작전환경으로 표현될 것이다. 이러한 미래전의 전술운용으로 비대칭전(Asymmetric

<자료> United States Army's

[그림 2] 미 육군의 네트워크 중심전(Network Centric Warfare)을 위한 체계도

Page 5: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

6 www.iitp.kr

주간기술동향 2018. 12. 12.

warfare), 정보전(Information warfare), 정밀타격

전(Precision warfare), 우주전(Space warfare),

로봇전(Robot warfare) 등으로 작전 환경이 변화될

수 있다. 정확하고 적보다 한발 빠른 전장공간인식

그리고 정밀한 타격력은 미래전의 핵심요소이며 우위

를 선점할 수 있는 가장 중요한 요소이기 때문이다.

그 예로, 미군이 이라크전에서 전술적 우위를 선점

할 수 있었던 중요한 요인은 전장공간의 환경에 대한

모델링과 시뮬레이션(Modeling and Simulation) 기술을 활용하여 가상의 전장공간에서 사전에

수립된 작전계획에 따라 복잡한 전쟁수행 절차를 수회에 걸쳐 시뮬레이션하고, 예측 가능한 결과를

유추 및 해석하여 예상되는 문제점을 모두 제거한 후 실제 병력과 장비를 투입했기 때문이다. 대표적

인 예로 증강현실 또는 혼합현실 기술을 들 수 있으며 군사 시뮬레이션이나 전술지원/훈련과 정비지

원/훈련 등에 적용될 수 있다[2],[3].

구체적으로 혼합현실 기술의 경우 지뢰제거 작전훈련, 화생방 상황(오염지역) 극복훈련, 적과의

교전상황 훈련, 모의 전투훈련 등에 적용되어 실전과 같은 효과적인 표현과 정보공유를 위한 기술로

적용이 가능하다. 그리고 군 장비 정비지원 및 훈련에 있어서도 가상 혹은 증강현실 정보를 실제

물체와 동시에 볼 수 있도록 함으로써, 정비과정에서 빈번하게 발생하는 사고위험을 줄이고 안전교

육 강화를 위한 새로운 패러다임으로 자리매김이 가능하다.

미군에서 개발 운용하고 있는 대표적인 군 장비 정비지원 시스템으로 ARMAR(AR for Maintenance

and Repair)이 있다. 이 장비는 HMD에서 뎁스 카메라(Depth Camera)를 통해 정비 진행 상황을

<자료> AFRL-RH-WP-TR-2007-0112, ARMAR, August 2007.

[그림 4] 혼합현실 기술에서 군장비 정비지원으로 고장난 부분을 수리하는 ‘ARMAR’

<자료> Rob Schuette, ‘DSTS,’ 2012.

[그림 3] 미 육군 혼합현실 기반의 전술훈련

Page 6: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 7

기획시리즈 – AR·VR·MR

인식하고, 인식된 정비영역을 토대로 순차적으로 정비 진행에 대한 설명을 풍선 도움말 행태로 지원

하여 3차원 형태로 보여준다. 이 기술은 안드로이드로 구현된 핸드폰을 이용하여 미군과 컬럼비아대

학의 컴퓨터 그래픽 & 유저인터페이스 연구소에서 계속적인 발전을 이루고 있다([그림 4] 참조).

나. 국내 동향

2011년 7월 국방부는 최첨단 3차원 지형정보 지원을 위해 ‘국방지형정보단’을 창설하였다. 국방

지형정보단의 핵심 업무 영역은 지형정보와 영상정보가 융합화된 3차원 지리공간정보(GEOINT)의

구현 및 합동작전에 소요되는 지형정보의 제작이다. 시설물, 지형의 속성 그리고 이와 연계된 각종

활동을 영상과 공간정보에 바탕을 두고 시각적으로 전장 운영에 활용할 수 있도록 국토 및 전장지역의

지형 영상을 통해 군사지도의 제작 수준을 넘어 첨단 입체 디지털 지형정보를 구축하고 적 지휘부가

운영하는 주요 시설과 군 시설을 3차원 영상으로 제작하기 위해 아리랑 위성 또는 기타 외국 상용

위성에서 받은 사진에 지형정보와 3D 렌더링 작업화된 모델링 정보를 토대로 3차원 공간을 구축하고

자 하였다. 그 동안 확률에 기대한 광범위한 타격이 주를 이루었지만 이제는 순항미사일에 3차원

좌표를 입력하면 몇 층의 어떤 창문까지도 정밀타격이 가능한 공격을 기대하고 있다.

국방지형정보단에서는 전장상황에 꼭 필요한 지형분석도를 만들고, 작전 지역의 전장공간 구축이

가능한 음영기복지도(Shaded relief image)와 3차원으로 건물을 입체화시킨 증강현실 기반의 밀

리터리 맵 등을 연구하고 있다. 이는 도시 시가전

및 대테러 상황 등에서 적을 정밀하게 타격하거나

해외 파병부대에 해당 지역의 공간정보 등을 제공

하여 정밀한 지형분석으로 적을 최대한 저지하고

아군의 피해를 최소화할 수 있도록 정확한 분석과

이를 바탕으로 한 성공적인 작전 목표 달성을 위한

것이다. 이처럼 국내에서도 증강현실 디바이스를

통해 작전 수행이 가능한 밀리터리 맵 운영에 의해

단순히 작전지역을 표시하는 것에서 벗어나 적과

싸워 승리할 수 있는 지형분석도의 활용을 위한 지

형정보 분석기법, 영상처리 기술 및 혼합현실과 같

은 신기술 등 전장공간에서 작전수행이 가능한 기

술 개발을 추진하고 있다.

* 평양 김일정 종합경기장 증강현실 모형도<자료> 대한민국 국방부 국방지형정보단

[그림 5] 북한의 3차원 지형가시화

Page 7: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

8 www.iitp.kr

주간기술동향 2018. 12. 12.

III. 혼합현실 디바이스를 활용한 국방 응용 프로토타입

1. VR/AR/MR의 이해

혼합현실의 시초로는 모튼 하일리그(Morton Heilig)를 통해 소개되었던 가상현실 디바이스인

센소라마(Sensorrama)를 들 수 있는데, 현재 많이 사용하고 있는 HMD와 유사한 기법으로 3차원

가상환경에서의 상호작용을 위해 현실세계와 가상공간에서 인터랙션이 가능한 기술을 지원하였다.

이 디바이스는 가상공간에서 시각, 청각, 후각, 미각, 촉각의 오감을 통해 사용자의 몰입감을 높인

시뮬레이션 겸용 오락기기이다. 이후 가상현실 기술이 지속적으로 발전함에 따라 현실공간과 가상 객체

의 결합과 카메라에서의 시각적(Visualization) 기술의 진보에 의한 진화된 증강현실(Augmented

Reality) 기술을 통해 체험과 경험이 확대되었으며, 나아가 각종 센서와의 연동과 사물인터넷(IoT),

무선통신의 결합이 가능한 혼합현실에 이르게 되었다[8]. 가상현실, 증강현실 등의 기술이 혼합된

혼합현실 기술의 점진적인 연구개발 발전주기였던 2000년대 중반까지는 연구단계에 머물렀으나,

최근 3D 카메라 기술의 발전과 카메라의 소형화, 향상된 그래픽 처리, 무선통신 기술의 발달, 위성

항법기술(GPS)을 갖춘 4세대 이동통신기반 홀로렌즈의 등장 등에 의해 항공우주, 국방 및 전장

환경과 연계된 협업 환경 제공, 더불어 현실세계의 실물을 대상으로 가상정보와의 연동, 결합과정으

로 실용화가 진전되었다.

[표 1] VR, AR, MR 기술 원리와 장·단점

구분 가상현실(VR) 증강현실(AR) 혼합현실(MR)

원리실세계 공간을 차단하고 가상의

환경 콘텐츠 구축

현실공간에서 가상의 오브젝트를

결합하여 보여주는 기술

현실과 가상 공간에서 각종 센서,

유무선 통신을 결합한 융합 기술

장점

- 가상의 콘텐츠를 활용하여 입체

감이 뛰어남

- 몰입감/현실감 뛰어남

- 현실공간에서 가상의 그래픽으로

구현된 정보를 직접적으로 표현

- 현실공간과 상호작용이 가능

- 현실과 상호작용 우수

- 사실감, 몰입감 극대

단점

- 현실세계에서 표현되는 정보가

차단되어 상호작용이 떨어짐

- 가상공간의 표현을 위해 컴퓨터

그래픽으로 구현해야 함

- 현실세계의 시야와 가상정보가 분

리 운영됨

- 몰입감 떨어짐

- 처리할 렌더링 데이터 용량이 커

서 다루기 어려움

- 장비나 기술적 제약 있음

<자료> 중앙일보, 2018. 3. 6.

Page 8: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 9

기획시리즈 – AR·VR·MR

2. 혼합현실 디바이스 홀로렌즈

마이크로소프트(MS)가 개발한 혼합현실 디바이스인 홀로렌즈(Hololens)는 컴퓨터 그래픽을 통

해 만든 영상을 볼 수 있는 기기로, 렌즈에 맺힌 영상에서 실제 사물과 중첩하여 컴퓨터 시스템에서

만들어진 콘텐츠를 렌더링을 통해 실제와 같은 환경으로 체험할 수 있는 HMD 형태이며, 안경이나

머리 부분에 착용하여 이동성이 매우 우수한 혼합현실 디바이스이다. 프레임과 디스플레이, 광각

렌즈, 모션센서(적외선, 자이로, 지자기, 가속도 등)로 구성되어 있으며 전체 프레임은 원활한 헤드

트래킹(Tracking)을 위해 일반적으로 고글형으로 제작되어 인체와 유시한 90∼110° 시야각에서

가상 환경과 실세계 환경의 디스플레이가 가능하다. 빛의 간섭을 이용한 사진법인 홀로그래피

(Holography) 원리에서 3차원 정보를 재생하기 위해 피사체 표면에서 반사와 굴절된 레이저 광원

에서 빛의 진폭과 위상 정보를 제공하는 기술이다.

3. VR/AR/MR 기반의 국방 응용기술 개발을 위한 프로토타입

가. 군 장비 정비지원 및 교육

VR/AR/MR 기반으로 기본적으로 현실세계에 가상의 정보나 콘텐츠를 자연스럽게 병치하여 인

간의 감각과 인식을 확장시키는 기술이다. 또한, 증강현실은 가상현실과 달리 현실공간을 미디어로

활용하기 때문에 실감 있는 가상세계 구성을 위한 3차원 모델링/렌더링의 부담이 줄어든 반면, 사용

자의 움직임이나 의도, 주변환경 변화에 대응하여 가상정보를 적응적으로 제공해야 한다. 군장비

정비지원 및 교육에 있어 가장 기본적이고 핵심적인 기술은 정비부품의 사물객체나 정비품목의 장면

을 홀로렌즈에 비추어 인식하고 군장비의 정비 공간에서 정비품목의 부품을 추적하는 것이며, 이를

위해 객체인식 및 추적을 위한 비전 기반 기술을 중심으로 홀로렌즈 카메라에서 군장비 정비 지원

및 교육 관련 부품의 장면 인식과 부품 추적을 혼용해서 사용되고 있다.

<자료> 마이크로 소프트

[그림 6] MS의 대표적인 혼합현실 디바이스 홀로렌즈

Page 9: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

10 www.iitp.kr

주간기술동향 2018. 12. 12.

VR/AR/MR 기반 군 장비 정비지원 및 정비교육 시스템 개발에 따른 구체적인 프로토타입 시스

템 개발을 위해서는 군 적용단계에서 정확도 향상을 위한 비마커 기반 인식 및 추적기술을 위한

책자식 기술교범, 전자식 기술교범(IETM) 및 CBT 적용 규격에 근거한 기술 개발을 추진해야 한다.

그 다음으로 군 장비에 대한 정비 유형별 교육, 평가 방법 및 훈련 평가방법에 대한 LMS 플랫폼

기반의 훈련 데이터 관리, 정비교육관리 및 교육평가관리 시스템 구축이 이루어져야 한다. 아울러

VR/AR/MR 기반 군 장비 정비 응용 및 콘텐츠 개발의 편의를 위해 홀로렌즈 및 HMD 등을 지원하

는 기술로 기존 정비지원/교육시스템과 운영관리시스템(LMS)의 연동을 통해 현장적용과 검증을

통한 통합 저작 다중 플랫폼 구축으로 신뢰성을 확보해 나가야 한다.

요소기술 개발 및 활용

- 군 적용 단계에서 정확도 향상을 위한 비마커 기반 인식 및 추적기술 개발

- VR/AR/MR기반 군 장비 정비지원/정비교육 시스템 개발

- 책자식 기술교범, 전자식 기술교범과 CBT 적용 규격에 근거한 군 장비 정비지원/정비교육시스

템 분석 콘텐츠 개발

VR/AR/MR기반 정비지원/정비교육 관리를 위한 기술정보 관리시스템 개발

- 수리부속 고장이력 등과 같은 기술자료 통합관리 및 VR/AR/MR 기술 관련 정보 추출 기술

개발

<자료> ㈜프론티스

[그림 7] 군장비 정비지원 및 교육을 위한 설계 프로토타입

Page 10: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 11

기획시리즈 – AR·VR·MR

- 기존 정비지원/교육시스템, 운영관리시스템과의 연동으로 현장 적용 및 검증

VR/AR/MR기반 군 장비 정비운용 및 콘텐츠 개발편의 도구 개발

- Hololens 및 VIVE 등을 지원하는 개발편의 도구 개발

나. 전장공간에서의 전술지원 및 훈련

북한의 전술 변화는 특수전과 게릴라전에서 시가지전, 소규모전으로 변화하고 있다. 미래전의

향방은 소규모 전술운용으로, 한반도의 3차원 지형지물을 활용하여 합동전술지휘통제체계에서 전술

운용이 가능한 전술지원, 교육 및 훈련 시뮬레이터와 콘텐츠 개발에 있다. 혼합현실 응용기술인

홀로렌즈 시각화(Visualization)에서 군 전술운영에 필요한 작전상황의 인지를 위해 전술 시나리오

구축과 전술변화에 따른 무기, 화력, 병력이동 체계의 활용에 의해 전투원들 간에 전장정보가 손쉽게

공유되고, 지휘소를 중심으로 각종 작전계획 수립 절차가 자동화되고, 육상·해상·공간 및 우주공간

에서 사이버 공간까지 합친 다차원 통합 전술지휘통제 체계의 활용에 의해 군사작전이 전개되어야

한다.

전술운용 지원, 교육 및 훈련을 위해 전술이동통신체계를 모델링하여 전술 네트워크를 구성하여

종단 간 전술자료 유통, 성능분석 및 효과도 분석을 수행한다. 군 야전교범(Field Manual) 전술작전

개념을 토대로 적응성, 생존성을 고려한 라우팅 및 토폴로지 제어 기술을 활용하여 작전지역의 지형

을 3차원 밀리터리 맵(Military Map)으로 형상화하여 3군(육/해/공) 지원체계에 의한 상호운용성

지원을 위한 요소별 서비스 지원을 위한 VR/AR/MR 기반의 전술운용으로 확대해 나간다.

- VR(가상현실) 서비스: 전술훈련 교육지원 및 지형/지물의 3차원 모델링, 공간 모델링 저작기술

- AR(증강현실) 서비스: 전술훈련 지원 및 각종 전시상황 작전전개, 마커 및 비마커 기반의 전술

운용

<자료> Royal Australian Air press release

[그림 8] 홀로렌즈를 활용한 VR/AR/MR기반 전술운용 지원 및 교육훈련

Page 11: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

12 www.iitp.kr

주간기술동향 2018. 12. 12.

- MR(혼합현실) 서비스: VR/AR지원 서비스 기술을 포함한 전시작전 계획에 의한 전술지원

연동

- 전술 네트워크(Tactical Network)의 상용운용성 기술: 합동전술작전에 전술 네트워크 운영

및 한국군 작전환경을 고려한 모델링과 시뮬레이션 운영

- 야전교범(Field) 기반의 전술교육훈련 시스템: 홀로렌즈를 활용하여 360° 전방향 사용자 전술

훈련시스템 및 스크린 실사격 가상훈련 시스템 기술운영 등

IV. 결론 및 시사점

4차 산업혁명 시대의 진입으로 국방기술에 대해서도 많은 관심이 집중되고 있다. 이러한 사회적

분위기 속에서 실물 운영을 위한 기술 접근보다는 국방산업에서 꼭 사용할 수 있는 기술, 꼭 필요한

기술을 위한 접근으로 국방사업과 혼합현실 기술의 연계를 위한 신뢰성 확보가 가장 중요하다. 이를

위해서는 현존하는 혼합현실 환경에서의 장·단점 분석이 필요하다. 대표적으로 혼합현실 디바이스

인 홀로렌즈의 경우 1인칭 시점으로 사용자 개인만 볼 수 있는 문제를 해결하기 위해 스펙테이터 뷰

(Spectator View)를 통해 시각화가 우선 이루어져야 하며, 해상도 부분에 있어서는 어두운 부분에

서만 몰입감이 향상되는 문제를 해결해야 한다. 배터리 용량 문제로 3~4시간 정도만 제대로 쓸

수 있다는 점과 원근감의 문제로 실제 2~3m 거리에 구현된 홀로그램만이 현실감이 있다는 점도

<자료> 강진석, “전장공간을 위한 스마트폰기반 인터렉티브 혼합현실 기술 개발” 중견연구자지원사업 핵심연구, 2014.

[그림 9] 전장공간에서의 전술지원을 위한 혼합현실 기술 개발

Page 12: MR 기술의 국방 응용 현황 및 이슈2. 혼합현실의 국내외 기술 동향 및 이슈 지금까지의 국방기술 개발은 선진국 또는 미국의 무기체계를

정보통신기술진흥센터 13

기획시리즈 – AR·VR·MR

해결해야 한다. 또한, 너무 멀거나 너무 가까우면 눈으로 초점을 맞출 수 있는 제스처 인식 및 시선추

적이 힘들며, 밝기의 단위(안시루멘, American National Standard Institute Lumen)가 낮은 문제

점과 저품질 렌즈로 인한 영상의 캘리브레이션(Calibration) 문제를 극복해야 한다. 마지막으로 혼합

현실 기술을 활용한 국방산업 활용성을 높이기 위해 기술의 신뢰성을 바탕으로 정보화, 국제화,

전문화, 다양화가 연계된 국방 R&D 노력이 지속적으로 이루어져야 한다.

[ 참고문헌 ]

[1] 방준성, 최은주, “증강현실(Augmented Reality) 국·내외 기술동향과 발전전망”, Emerging Issue Report

16, 한국과학기술정보연구원, 2017. 1.

[2] 강진석, “전장공간을 위한 스마트폰기반 인터렉티브 혼합현실 기술 개발”, 중견연구자지원사업, 핵심연구, 2011.

5.~2014. 4.

[3] 강진석, “비정형 데이터마이닝에서 군 전술운용에 관한 연구”, 중견연구자지원사업, 도약연구(전략), 2014. 11.

~ 2017. 10.

[4] 강진석, “증강현실, 가상현실 또는 혼합현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바

이스,” 특허등록 10-1874461-0000, 2018. 6.

[5] 강진석, “증강현실에서 사례의 추론, 분류, 결정 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블

디바이스,” 특허등록 10-1891992-0000, 2018. 8.

[6] 강진석, “증강 현실에서 객체 간의 상호 연관성 데이터에 기초하여 군용 장비의 정비를 지원하는 서버, 방법

및 웨어러블 디바이스,” 특허등록 10-2018-0035213, 2018. 9.

[7] 윤준환, “과학기술정보 공유를 통한 국방연구 개발의 민간참여 확대방안: 국방기술정보통합서비스(DTiMS) 구

축을 중심으로,” 정보통신산업진흥원 주간기술동향 1444호, 2010. 5.

[8] Yongbin Sun et. al, “X-Vision: An augmented vision tool with real-time sensing ability in tagged

environments,” arXiv:1806.00567v1[cs.HC] 2 Jun 2018.

[9] Heilig M., 'Sensorama', US Patent #3, 050, 870, 1962.

[10] Irrlicht Open Source Gaming Engine, http://irrlicht.sourceforge.net/

[11] Valve Source Engine Software Development Kit, http://developer.valvesoftware.com/

[12] https://www.accenture.com/_acnmedia/Accenture/Conversion-Assets/DotCom/Documents/

Global/PDF/ Industries_19/Accenture-Mixed-Reality-POV-Final.pdf