내 손안의 스마트폰 시선추적

전 세계 스마트폰 사용인구가 30억 명 이상이 되어가고 있습니다. 이제는 어떤 혁신적인 기술이든 간에 스마트폰에 적용할 수 있다면 기대할 수 있는 시장 규모가 거대해집니다. 모두가 스마트폰을 하나쯤은 지니고 있는 시대가 왔기 때문에 전시회에 가면 일반 관람객들이 한 번씩 질문을 던지고 갑니다.

“시선 추적? 그거 비싸지 않나요? 일반 사람들도 쓸 수 있나요? 스마트폰에 앱 같은 걸로도 나오나요?”

스마트폰에 적용하기는 아직 어렵겠지라는 생각으로 던졌을지도 모르는 질문에 답변으로 저희 시선추적 데모를 시연해드리면, 일반 관람객이던 비즈니스 관람객이던 의심의 눈초리가 살며시 풀리는 것을 볼 수 있죠. 그렇습니다. 스마트폰에서도 시선 추적이 가능합니다. 스마트폰 HW/SW의 발달과 인공지능(AI) 기술로 구현이 가능해졌습니다.

아래 데모 영상을 봐주세요. 스마트폰 화면을 눈의 움직임 만으로 컨트롤할 수 있습니다.

그럼 어떻게 시선 추적이 가능해진 것일까요? 이전에는 스마트폰 시선 추적이 없었을까요?

스마트폰에 시선 추적을 적용하려는 노력은 꾸준히 있어왔습니다.

삼성 갤럭시 S4

2013년, 삼성에서 갤럭시 S4에 시선인식 기능을 넣었다 하여 세간의 주목을 받았던 적이 있습니다. 스크롤도 되고, 동공인식을 이용한 스마트 스테이 기능이 된다고 홍보되어 갤럭시 S4에 대한 소비자의 기대감을 한껏 부풀렸습니다. 하지만 실제 동공인식이라는 말 대신 머리인식(Head Tracking)으로 갤럭시 S4가 출시되었고 당시 사람들은 어리둥절했습니다. HEAD와 EYE 움직임은 생각보다 차이가 많이 나서 기능을 선 보였을 때 만족할 만한 성능이 아니었거든요. 이후 LG전자에서 ‘눈동자 인식’에 대한 특허는 LG에 이미 있었던 것이라고 주장하며 양사간 기싸움도 있었을만큼 당시에는 화제였습니다.

<기사 참조>

http://www.dt.co.kr/contents.html?article_no=201305100201053175900

https://www.hankyung.com/it/article/2013031933788

이렇게 잠깐 시장에 얼굴을 내밀었던 스마트폰 시선추적. 어디론가 사라져 버린뒤, 5년이 흐르게 됩니다.

Hawkeye

삼성 이후 스마트폰과 시선 추적은 연이 없어 보였습니다. 그런데 2018년, 애플 앱스토어에 시선 추적 앱이 하나 나왔습니다. 아이폰 X의 뎁스(Depth) 카메라를 이용하여 한 학생이 재밌는 앱을 개발한 것이죠. 앱 이름은 ‘Hawkeye’. 아이폰 10이라고 불리는 X세대부터 사용이 가능한 이 앱은 스마트폰 시선 추적을 내세워 차례대로 두 개의 서로다른 기능으로 출시됩니다.

1. Hawkeye Access

2. Hawkeye User testing

Access는 안구 마우스(Eye Mouse) 개념으로 시선을 이용하여 브라우저를 컨트롤할 수 있는 앱이고, User testing은 모바일 웹페이지를 분석할 수 있도록 하는 앱입니다. 전체적으로 깔끔한 UI에 심혈을 기울인 기능들도 보입니다. 모바일 UX디자인을 고민하는 디자이너나 기획자에게는 이 서비스를 통해 앱 사용성에 대한 FGI를 진행할 수도 있습니다.

다만, 아직 실제로 사용하기에는 정확도 변수가 많고 아이폰 X이상만 가능하다는 한계가 있습니다.

NETFLIX Hack day

2018년에 아이폰 X를 이용하여 시선 추적 기능을 재미있게 활용한 회사가 있습니다. 전 세계에서 가장 영향력 있는 동영상 스트리밍 앱, 넷플릭스(Netflix)입니다. 물론 Hawkeye처럼 새로운 앱을 출시했다거나 시선 추적 기능을 실제 넷플릭스 앱에 적용한 것은 아닙니다. 넷플릭스 내부에서 ‘2018년 추계 Hack Day’를 열었는데, 한 개발팀이 넷플릭스 앱에 시선 추적을 적용한 데모를 선보였습니다. 시선 추적을 활용해 넷플릭스 앱을 조종(Navigate)한다하여 ‘Eye Nav’라는 귀여운(?) 프로젝트명도 붙어있는데, 이 역시 아이폰 X시리즈에 장착된 Face tracking을 이용한 기능으로 보입니다.

<기사 참조>

https://www.engadget.com/2018/11/07/netflix-eye-nav-iphone-hack-day/

“드디어 스마트폰 시선추적 시장이 열리는 것일까요?”

SeeSo SDK

맨 앞에 봤던 시선 스크롤링 데모는 2018년 6월, MWC Shanghai 2018에서 비주얼캠프가 세상에 처음 내놓은 모바일 시선 추적 데모입니다. 당시 데모로 시연했던 기기는 아이폰 8이었습니다. 앞서 글을 쭉 읽었다면 아이폰8이 무언가 다르다는 것을 눈치채셨을 겁니다. Hawkeye나 넷플릭스의 ‘Eye Nav’ 모두 아이폰 X시리즈를 이용했기 때문이죠. 다른 시선추적기능과 다르게 비주얼캠프의 시선추적기술은 아이폰 6S이상 스펙, 갤럭시 S7이상 스펙의 디바이스 모두 지원합니다. ToF센서 없이도 전면 RGB카메라(여러분이 셀카찍는 일반 카메라)로 인공지능 딥러닝을 이용하여 시선을 추적합니다.

그리고, 어쩌면 이 스마트폰 시장에서는 최초로 개발자들이 시선추적기능을 이용하여 자유롭게 재밌고 신선한 앱을 만들 수 있도록 SDK(Software Development Kit)을 만들어 제공하고 있습니다.