Symbol gesture

Symbol gesture

Symbol gesture는 화면상의 객체를 조정하거나 시스템을 조작하는데 있어서 시스템이 요구하는 동작을 이해, 학습하여 이루어지는 인터랙션 패턴이다. 직관적인 제스처를 활용하는 Natural gesture 나 사회적, 관습적 제스쳐를 활용하는 Gesture language의 상위 개념이라 할 수 있다. 일반적으로 사용자가 자연스럽게 인터랙션을 수행할 수 없기 때문에 화면상에 가이드 아이콘이 표시되거나 메뉴얼이 존재한다.

Symbol gesture는 크게 Descrete 와 Continous 의 개념으로 나누어 정의된다. Descrete symbol gesture는 사용자의 제스쳐를 일회적, 단계적으로 인식하여 테스크 수행에 적용하는 패턴으로 명령(command) 개념의 사례가 주로 포함된다. Continous symbol gesture는 사용자의 행동변화를 인식하여 테스크 수행에 지속적으로 적용하는 패턴으로 조절(transformation, control) 개념의 사례가 주로 포함된다.

With this pattern, we can solve....

Symbol gesture는 시스템이 요구하는 행동을 사용자가 이해, 학습하여 조작하는 패턴으로, 경우에 따라 테스크 수행과 직접적인 연관성이 떨어지는 행위가 테스크를 수행하는데 요구될 수 있다. Gesture mouse를 이용하여 다양한 동작을 수행하는 과정에서 특정한 명령이나 시스템에 대한 조절과 같이 주로 사용되지 않는 테스크를 수행하는데 주로 사용된다. 다양한 제스쳐를 개별적인 테스크와 연계함으로써 Multi-touch gesture(Multi-touch for transform, Multi-touch etc)와 같이 멀티태스킹, 숏컷 명령에 적용하거나, 다양한 테스크를 복합적으로 수행해야 하는 전문적인 시스템에 활용할 수 있다.

• 주로 사용하지 않는 메뉴나 특수한 테스크를 수행하는데 사용될 수 있다.
• 시스템의 상태를 변경, 조절하기 위한 테스크를 수행하는데 사용될 수 있다.
• 멀티태스킹이나 숏컷 명령을 실행하기 위한 테스크에 사용될 수 있다.
• 전문적인 시스템에 복합적인 메뉴얼을 적용해야 할 때 사용될 수 있다.

Example : Hand tracking experiment_ribbons

Example : Leap Motion _ 360 Fly

아래 영상은 Natural gesture, Descrete symbol gesture, Continous symbol gesture 를 이용하여 화면에 비춰진 이미지를 볼 수 있는 다양한 방법에 대하여 설명한다.

1. 5s - 12s : 손을 좌우로 움직이면 움직임이 향하는 방향에 맞춰 자연스럽에 화면에 비춰진 이미지가 이동한다. _ Natural gesture
2. 12s - 20s : 손가락을 시계방향(반시계방향)으로 돌리면 화면에 비춰진 이미지를 단계적으로 이동하여 오른쪽(왼쪽) 부분을 볼 수 있게 한다. _ Descrete symbol gesture
3. 20s - 30s : 손목을 아래로(위로) 기울이면 화면에 비춰진 이미지를 지속적으로 이동하여 오른쪽(왼쪽) 부분을 볼 수 있게 한다. _ Continous symbol gesture

---

Descrete symbol gesture

Hand Tracking Gesture Experiment #1 _ Ribbons

• 손가락으로 브이를 그리는 제스처를 취하면, 손의 움직임에 따라 그림을 그릴 수 있게 된다.
• 엄지손가락을 구부리는 제스처를 취하면, 화면에 그려진 그림을 녹화할 수 있게 된다.

Samsung Smart TV

• 영상이 재생되고 있을때 주먹을 쥐었다 펴는 동작을 취하면 영상이 일시정지된다.
• 일시정지 상태에서 다시 주먹을 쥐었다 펴는 동작을 취하면 영상이 재생된다.

Leap Motion _ NY TIMES

• 손바닥이 땅을 향한 상태에서 좌우로 휘져으면 창이 닫힌다.

Leap Motion _ IONE

• 손가락으로 쿡 찌르는 동작을 취하면 게임을 일시정지한다.

Samsung Smart TV

• 손을 반시계 방향으로 돌리면 상위 메뉴로 이동하게 한다.

Leap Motion _ IONE

• 손가락을 한바퀴 돌리는 제스처를 통해 게임을 다시 시작한다.

---

Continuous symbol gesture

Leap Motion _ HandWAVE

1. 손가락을 시계방향으로 돌리면 볼륨을 지속적으로 키워 재생중인 음악을 크게 들을 수 있게 한다.
2. 손가락을 반시계방향으로 돌리면 볼륨을 지속적으로 줄여 재생중인 음악을 작게 들을 수 있게 한다.

Leap Motion _ NY TIMES

1. 손가락을 시계방향으로 돌리면 화면의 상하 스크롤러가 아래로 계속 이동하며 기사의 아랫 부분이 보여지게 한다.
2. 손가락을 반시계방향으로 돌리면 화면의 상하 스크롤러가 위로 계속 이동하며 기사의 윗 부분이 보여지게 한다.

Leapmotion _ NY TIMES

1. 손가락을 시계방향으로 돌리면 화면이 좌우 스크롤러가 오른쪽으로 계속 이동하며 다른 기사를 볼 수 있게 한다.
2. 손가락을 반시계방향으로 돌리면 화면의 좌우 스크롤러가 왼쪽으로 계속 이동하며 다른 기사를 볼 수 있게 한다.

Leap Motion _ Lotus

1. 손을 쥐었다 펴는 동작에 맞춰 영상과 음악의 속도가 변한다.
2. 손을 완전히 쥘경우 음악과 영상의 속도가 느려지며 동작을 멈추며 손을 펼경우 음악과 영상의 속도가 원상태로 돌아온다.

---

멀티 심볼 제스쳐 ??

• 다양한 심볼 제스쳐를 이용하여 화면에 띄워져 있는 객체를 변경할 수 있다.
• 각각의 제스쳐는 멀티 터치 제스쳐와 유사한 개념으로 작동하며 특정한 명령 개념으로 사용자가 이해, 학습하고 사용해야 한다.

Leap Motion _ threeleapcontrols - Control THREE.js with Leap Motion

1. 손가락 두개를 펼친 상태에서 손을 움직이면 화면에 떠 있는 객체를 바라보는 시선의 위치를 변경한다.
2. 손가락 세개를 펼친 상태에서 손을 움직이면 화면에 떠 있는 객체의 위치를 변경한다.
3. 손가락을 모두 펼친 상태에서 손을 앞뒤로 움직이면 보여지는 화면을 확대하거나 축소한다.
4. 손가락 한개를 펼친 상태에서 객체중이 하나를 가리키면 색이 변하며 선택된다.

""

Leap Motion _ Radiological Image Manipulation using Leap Motion Controller

1. 손가락 두개를 펼친상태에서 손을 위와래로 움직이면 연속 촬영되어져 있는 MRI 레이어를 상하로 이동하여 볼 수 있다.
2. 손가락 두개를 오므리거나 벌리면 화면에 보여지고 있는 MRI 화면을 확대 축소하여 볼 수 있다.

""