Gesture mouse는 사람 손의 제스쳐가 마우스의 역할을 수행하는 인터랙션 패턴이다. 사람들에게 가장 익숙한 마우스를 이용한 다양한 조작을 마우스 없이 제스쳐 만으로 수행이 가능하다.
With this pattern, we can solve....
마우스는 WIMP (Window, Icon, Menu, Pointing device)기반 GUI 환경에서 필수적인 도구이며, 많은 사람들이 매우 익숙하게 사용하는 입력방법이다. (따라서 대형화면을 조작하는 경우와 같이 마우스가 없는 환경에게 사람들에게 익숙한 마우스를 사용하는 듯한 UX를 제공하는 경우 유용하게 활용할 수 있다.)
Smart TV, Kinect [ 대형 공공 디스플레이 ] 등 제스쳐 기반 시스템에서 전통적 마우스의 기능을 마우스 없이 수행할 수 있다. + 사람들에게 익숙한 UX
- Smart TV와 같은 인터랙티브 대형화면에서 다양한 조작을 제스처만으로 할 수 있다.
- Leap Motion을 활용하여 다양한 조작을 제스처만으로 할 수 있다.
- Kinect 을 활용하여 Windows 환경에서 마우스 없이 OS를 조작할 수 있다.
Example : Samsung Smart TV
Pointing
Samsung _ Smart TV
- 키넥트, 립모션 등의 동작인식 기술을 바탕으로 사용자의 움직임을 인식하여 화면상에 현재 위치를 포인팅할 수 있다.
- 아래는 스마트 티비에서 제공하는 컨텐츠를 둘러보는 상황에서 손의 움직임을 인식하여 화면상에 표시해주는 사례이다.
Staying for selection
X box _ 키넥트어드밴쳐
- 메뉴를 선택하는 상황에서 일정 자세로 손을 유지하여 메뉴를 선택한다.
Knowledge Bank _ Asia-Gloval Dialogue 2013
- 메뉴를 선택하는 상황에서 일정 자세로 손을 유지하여 메뉴를 선택한다.
Leap Motion _ NT TIMES
- 손가락으로 원하는 기사를 1초간 Pointing하면 해당 기사를 자세히 볼 수 있다.
Leap Motion_Lotus
- 손가락으로 눈동자를 수 초간 가리키는 행동을 통해 게임을 실행하도록 한다.
Rotating for selection
Leap motion _ The weather channel
- 화면상에 표시된 가상의 컨트롤러 위에 포인팅한 상태에서 손가락을 돌리는 행위를 통해 돌려서 메뉴를 선택한다.
Grasping & Folding for selection
LG _ Smart TV _ Virtual Controller
- 검지손가락을 편 상태를 일정시간 유지하면 가상의 컨트롤러를 활성화 시킨다.
- 검지손가락을 굽혔다 펴는 동작을 통해 현재 포인팅하고 있는 가상의 버튼을 선택할 수 있다.
- 아래는 스마트 티비의 가상 컨트롤러를 활성화시켜 검지손가락을 굽혔다 펴는 동작을 통해 볼륨 또는 채널을 변경하는 사례이다.
Samsung _ Smart TV _ Virtual controller
- 손을 펼친 상태에서 화면의 일정역역에 손을 포인팅하면 가상의 컨트롤러를 활성화 시킨다.
- 손을 쥐었다 펴는 동작을 통해 현재 포인팅하고 있는 가상의 버튼을 선택할 수 있다.
- 아래는 스마트 티비의 가상 컨트롤러를 활성화시켜 손을 쥐었다 펴는 동작을 통해 볼륨을 변경하는 사례이다.
LG _ Smart TV
- 손을 쥐었다 펴는 동작을 통해 현재 포인팅하고 있는 메뉴를 선택할 수 있다.
- 아래는 손을 쥐었다 펴는 동작을 통해 스마트 티비의 메뉴를 선택하는 사례이다.