[ATN뉴스=이기종 기자] 지난 2019년 12월 중국 우한에서 처음 발생한 코로나바이러스감염증-19(COVID-19)는 전 세계적으로 퍼져 결국 세계보건기구(WHO)는 2020년 3월 11일 팬데믹(Pandemic, 대유행병)을 선언했다.

2년이 경과한 지금 국내에서 많은 정치사회적인 변화가 발생하고 있으며 심지어 학술적으로 정의되지 않은 언택트(Untact), 메타버스(metaverse)라는 단어가 사회변화를 지칭하거나 국가정책을 설명하는 데 활용되고 있다.

특히 언택트(Untact)의 단어는 부정, 반대 등을 의미하는 언(Un)과 연락, 접촉 등을 의미하는 콘택트(Contact)를 붙여서 비대면의 대명사로 사용하고 있는데 이는 영어답지도 않고 외래어답지 않으며 그 단어대로 읽으면 온라인이든 오프라인이든 접촉이 없는 것(NO-Contact) 상태로 해석할 수 있어 과학적 지식을 기반으로 올바른 이해가 필요한 이 시기에 적합하지 않을 수 있다.

이에 본지는 코로나19 시대에서 부정확한 과학기술 지식이나 불명확한 사회현상 설명의 확산을 예방하고 코로나 종식 이후 국가정책이나 사회의 방향성을 제시할 수 있는 “포스트 코로나”를 기획했다.

최근 학문적으로 정의되지 않았지만 특정 산업의 목적에 따라 온라인의 가상 공간과 현실의 융합공간으로서 ‘가상 공존 세계(virtual shared space)’를 의미하는 ‘메타버스(Metaverse)’ 개념이 유행하고 있다.

이에 그동안 국내 디지털 문화 콘텐츠와 관련해 연구개발을 지속해 온 한국전자통신연구원(ETRI) 콘텐츠연구본부 김종성 책임연구원을 만나 국내 디지털 문화 콘텐츠의 성공사례로 인정받고 있는 가상현실(VR), 증강현실(AR) 스포츠의 연구개발 현황과 앞으로 메타버스 기반 ‘XR 스포츠’의 발전방향에 대해 살펴본다.<편집자 주>

- 가상현실(VR) 스포츠 기술은?

▶ 한국전자통신연구원은 어린이, 청소년, 노약자를 위해 미세먼지, 황사, 폭염, 그리고 최근 코로나19 바이러스 확산 등에도 안전한 체험 공간에서 축구, 야구, 골프, 볼링, 게이트볼과 같은 다양한 구기 스포츠를 적외선 고속 카메라 기반 스포츠용 볼 모션분석 기술을 통해서 가상으로 체험할 수 있는 다종목 스크린 스포츠 통합 플랫폼 및 콘텐츠를 개발하고 있다.

- 가상현실(VR) 스포츠 기술의 연구배경은?

▶ 해마다 심각한 환경문제로 이슈가 되고 있는 미세먼지와 폭염 등 환경변화와 체육시설 부족 등으로 실외 체육활동 참여저조와 청소년의 운동부족, 기피현상, 그리고 그로 인한 비만문제 등이 사회문제로 부상했다.

이를 해결하기 위해 지난 2015년도부터 문화체육관광부와 국민체육진흥공단(KSPO), ETRI 콘텐츠연구본부가 VR 스포츠 과제를 수행했다.

현재에는 한국콘텐츠진흥원(KOCCA)과 저희 본부가 증강현실(AR) 스포츠 과제를 진행하고 있다.

- 가상현실(VR) 스포츠 기술의 핵심기술은?

▶가상현실(VR) 기술의 핵심 기술은 적외선 고속 카메라 기반 스포츠용 볼 모션분석 기술이다.

이 기술은 적외선 고속 카메라를 통해서 고속으로 획득되는 축구공, 야구공, 골프공과 같은 스포츠용 볼의 적외선 영상에서 볼의 3차원 궤적을 시뮬레이션을 하기 위해 필요한 3차원 속도와 스핀을 인식하고 볼과 VR공간의 인터랙션을 위해 필요한 초기 위치와 충돌 위치를 인식하는 것이다.

- 가상현실(VR) 스포츠 기술의 구현방법은?

▶ 가상현실(VR) 기술의 구현방법을 야구 경기와 비교해 설명하면 먼저 타석 위에 설치된 적외선 고속 카메라를 통해 축구공, 야구공, 골프공 등을 사용자가 타격하는 순간에 고속으로 적외선 영상을 촬영한 후 컴퓨터 비전과 패턴 인식 기술을 통해서 볼의 3차원 속도와 스핀을 인식한다.

이후 이를 통해 스포츠 종목별로볼의 3차원 궤적을 속도뿐만 아니라 스핀에 의한 매그너스 이펙트(Magnus effect)까지 계산해서 시뮬레이션하며 볼의 초기 위치 및 충돌 위치 기반으로 볼과 VR 공간의 인터랙션을 구현함으로써 사용자가 VR 공간에서 다양한 구기 스포츠를 가상으로 체험하거나 실내 연습과 경기를 지원하는 기술이다.

여기에서 매그너스 이펙트(Magnus effect)는 유체 속에서 회전하며 운동하는 물체에서 이 물체와 유체 사이의 상대속도가 존재할 때 그 물체의 속도에 수직인 방향으로 물체에 힘이 발생하는 현상을 말한다.

- 증강현실(AR) 스포츠 기술이란?

▶ 증강현실(AR) 스포츠 기술은 실내 놀이문화 공간에서 2인 이상의 사용자를 위한 다시점(RGB-D) 카메라 기반 다중 사용자 모션추적 기술, 가변형 피드백 도구 기반 스포츠 햅틱인터페이스 등과 실시간 연동되는 스크린 기반 비착용형 AR 실내 스포츠 체험 플랫폼을 개발하는 것이다.

특히 AI, IoT, RFID, 5G 기술과 같은 4차 산업 기술을 스포츠에 융합하는 것을 목표로 하고 있다.

또 AR 스포츠 기술은 2인 이상의 다중 사용자가 스크린 기반 AR 플랫폼을 통해 오프라인과 5G 유·무선 네트워크 기반의 온라인으로 개인 대결형, 그룹 협동형, 단체 참여형의 구기와 비구기 스포츠를 통한 운동, 게임, 경기가 모두 가능한 다자간 다종목 인터랙티브 AR 스포츠 체험 콘텐츠를 개발하는 것입니다.

이러한 AR 스포츠 기술을 통해서 미세먼지와 같은 환경문제와 코로나19와 같은 팬데믹 상황에서도 안전하게 다양한 스포츠를 즐길 수 있도록 비대면 온라인 AR 화상 경기까지 지원하는 것이 최종 목표이다.

- 증강현실(AR) 스포츠 기술의 핵심기술은?

▶ 증강현실(AR) 기술의 핵심기술은 다시점 RGB-D 카메라 기반 다중 사용자 모션추적 기술이다.

이 기술은 서로 분리되어 있는 2개의 체험공간에서 사용자의 영상 데이터와 관절 데이터를 3대의 RGB-D 카메라를 통해 획득한 후 이를 통해서 AR 스포츠 콘텐츠에서 필요한 각 사용자의 3차원 스켈레톤(Skeleton)과 사용자 위치 및 ID 정보를 실시간(HMT)으로 추적한다.

또 진동, 타격, 충돌과 같은 스포츠 햅틱피드백(SHF)과 미세먼지와 유저 등을 관리하는 원격 IoT 서버와 유·무선 5G 네트워크로 연결된 AR 플랫폼을 통해 AR 스포츠 콘텐츠를 제공한다.

이를 위해 증강현실(AR) 스포츠 기술은 네트워크로 연결된 2개의 체험 공간에 3대의 RGB-D 카메라를 설치해서 체험 공간에 있는 사용자의 영상 데이터와 관절 데이터를 실시간 획득하고 이를 컴퓨터 비전 및 인공지능(AI)기술로 분석 및 정합해서 AR 스포츠 콘텐츠에 필요한 사용자의 3차원 스켈레톤과 위치 데이터 그리고 ID 정보를 추적한다.

그리고 이러한 데이터를 멀티 스크린과 입체 사운드, 햅틱인터페이스를 통해 체험공간에 시각·청각·촉각적으로 증강(Augmentation)함으로써 개인 사용자가 공간에 증간된 가상의 캐릭터와 복싱 경기를 하거나 다중 사용자가 온라인 AR을 통해서 원격으로 서로 마주보면서 공간에 증강된 볼과 네트를 이용해 테니스 연습 또는 경기를 할 수 있도록 지원하는 기술이다.

현재 ETRI가 개발한 VR·AR 스포츠 기술은 국내의 골프존이나 SKT의 AR Jump, 해외의 SwingTrack, Nintendo, Hololens, ARKit, HADO와 같은 게임용 VR·AR 스포츠 기술과는 달리 게임뿐만 아니라 운동, 경기, 교육에도 활용 가능한 실감형 VR·AR 스포츠 기술이다.

- ETRI가 개발한 VR·AR 기술의 파급효과는?

▶ ETRI VR 스포츠 기술은 2016년도에 ETRI와 참여기업, 그리고 서울시교육청이 실내 체육 시설 형태로 서울에 있는 옥수초등학교, 신정초등학교, 삼양초등학교 등에서 VR 스포츠실 시범학교를 시작했다.

이러한 시범학교 운영결과를 바탕으로 문화체육관광부와 국민체육진흥공단이 VR 스포츠실 보급사업을 지난 2017년 10개를 시작으로 해 현재까지 약 500여개가 보급됐다.

또 최근 5년간 총 17건의 특허를 국내와 해외에 출원 및 등록했고 총 16편의 논문을 발표했고 스포츠 콘텐츠 기업들과 총 9건의 기술 이전을 통해 국내와 해외에서 다양한 사업화를 진행하고 있다.

- 메타버스 관련 정부 과제 방향은?

▶ 문화체육관광부는 코로나19 극복을 위한 콘텐츠산업 혁신 전략으로 문화를 통한 일상 회복, 콘텐츠 산업 디지털 역량 강화, 콘텐츠 산업 생태계 혁신 및 한류 아웃바운드 활성화(안)을 발표했다.

특히 확장 가상세계(메타버스), 실감 콘텐츠 육성을 통해 디지털 역량 강화와 콘텐츠 생태계 혁신 및 문화예술의 지역 균형 발전을 추진하겠다는 것이다.

올해부터 문화체육관광부에서 가상공연, 스포츠 등을 위한 메타버스 연구개발이 시작된다.

- 마지막으로 하고 싶은 말은?

▶ 앞으로 가상현실(VR)·증강현실(AR) 스포츠 기술은 후속 연구개발을 통해 실세계 수준의 초실감 가상세계에서 다양한 스포츠를 향유할 수 있도록 메타버스 기반 XR 스포츠로 발전시킬 계획이다.

특히 현재 연구개발 중인 가상현실(VR)·증강현실(AR) 스포츠 기술을 더욱 확장해 XR 스포츠 메타버스와 AI 스포츠 인공지능 기술을 추가로 연구개발을 한다. 

이를 바탕으로 노약자도 쉽게 사용할 수 있는 비대면 온라인 생활체육 플랫폼을 개발하고, 이를 통해 VR·AR·XR+AI 융합 형태의 스포츠 메타버스 사업화를 지원할 계획이다.