Symbol gesture

Symbol gesture

Symbol gesture는 테스크 수행을 위해 시스템에서 인위적으로 정해놓은 특정 제스쳐를 취하도록 하는 인터랙션 패턴이다. 이는 테스크와 연관성 높은 직관적이고 자연스러운 제스처를 사용하는 Natural gesture 패턴과 구분된다.

With this pattern, we can solve....

Natural gesture는 직관적이라는 장점이 있지만, natural함에 대한 개인 차가 있을 수 있어서 의도하지 않은 제스처로 인해 기기가 오작동할 수 있는 단점이 있다. 사용자의 특성에 상관없이 정확한 조작이 필요한 경우, Symbol gesture를 사용하는 것이 효과적이다.

• 분절적인(discrete) symbol gesture를 통해 컨텐츠를 재생하거나 정지, 이동할 수 있다.
• 연속적인(continuous) symbol gesture를 통해 컨텐츠를 재생하거나 정지, 이동할 수 있으며, 상황을 기록하거나 삭제할 수 있다.

Example : Hand tracking experiment_ribbons

Example : Leap Motion _ 360 Fly

아래 영상은 Natural gesture, Descrete symbol gesture, Continous symbol gesture 를 이용하여 화면에 비춰진 이미지를 볼 수 있는 다양한 방법에 대하여 설명한다.

1. 5s - 12s : 손을 좌우로 움직이면 움직임이 향하는 방향에 맞춰 자연스럽에 화면에 비춰진 이미지가 이동한다. _ Natural gesture
2. 12s - 20s : 손가락을 시계방향(반시계방향)으로 돌리면 화면에 비춰진 이미지를 단계적으로 이동하여 오른쪽(왼쪽) 부분을 볼 수 있게 한다. _ Descrete symbol gesture
3. 20s - 30s : 손목을 아래로(위로) 기울이면 화면에 비춰진 이미지를 지속적으로 이동하여 오른쪽(왼쪽) 부분을 볼 수 있게 한다. _ Continous symbol gesture

---

Discrete symbol gesture

Hand Tracking Gesture Experiment #1 _ Ribbons

• 손가락으로 브이를 그리는 제스처를 취하면, 손의 움직임에 따라 그림을 그릴 수 있게 된다.
• 엄지손가락을 구부리는 제스처를 취하면, 화면에 그려진 그림을 녹화할 수 있게 된다.

Samsung Smart TV

• 영상이 재생되고 있을때 주먹을 쥐었다 펴는 동작을 취하면 영상이 일시정지된다.
• 일시정지 상태에서 다시 주먹을 쥐었다 펴는 동작을 취하면 영상이 재생된다.

Leap Motion _ NY TIMES

• 손바닥이 땅을 향한 상태에서 좌우로 휘져으면 창이 닫힌다.

Leap Motion _ IONE

• 손가락으로 쿡 찌르는 동작을 취하면 게임을 일시정지한다.

Samsung Smart TV

• 손을 반시계 방향으로 돌리면 상위 메뉴로 이동하게 한다.

Leap Motion _ IONE

• 손가락을 한바퀴 돌리는 제스처를 통해 게임을 다시 시작한다.

---

Continuous symbol gesture

Leap Motion _ HandWAVE

1. 손가락을 시계방향으로 돌리면 볼륨을 지속적으로 키워 재생중인 음악을 크게 들을 수 있게 한다.
2. 손가락을 반시계방향으로 돌리면 볼륨을 지속적으로 줄여 재생중인 음악을 작게 들을 수 있게 한다.

Leap Motion _ NY TIMES

1. 손가락을 시계방향으로 돌리면 화면의 상하 스크롤러가 아래로 계속 이동하며 기사의 아랫 부분이 보여지게 한다.
2. 손가락을 반시계방향으로 돌리면 화면의 상하 스크롤러가 위로 계속 이동하며 기사의 윗 부분이 보여지게 한다.

Leapmotion _ NY TIMES

1. 손가락을 시계방향으로 돌리면 화면이 좌우 스크롤러가 오른쪽으로 계속 이동하며 다른 기사를 볼 수 있게 한다.
2. 손가락을 반시계방향으로 돌리면 화면의 좌우 스크롤러가 왼쪽으로 계속 이동하며 다른 기사를 볼 수 있게 한다.

Leap Motion _ Lotus

1. 손을 쥐었다 펴는 동작에 맞춰 영상과 음악의 속도가 변한다.
2. 손을 완전히 쥘경우 음악과 영상의 속도가 느려지며 동작을 멈추며 손을 펼경우 음악과 영상의 속도가 원상태로 돌아온다.

---

Continuous symbol gesture - Multi symbol gesture

• 다양한 심볼 제스쳐를 이용하여 화면에 띄워져 있는 객체를 변경할 수 있다.
• 각각의 제스쳐는 멀티 터치 제스쳐와 유사한 개념으로 작동하며 특정한 명령 개념으로 사용자가 이해, 학습하고 사용해야 한다.

Leap Motion _ threeleapcontrols - Control THREE.js with Leap Motion

1. 손가락 두개를 펼친 상태에서 손을 움직이면 화면에 떠 있는 객체를 바라보는 시선의 위치를 변경한다.
2. 손가락 세개를 펼친 상태에서 손을 움직이면 화면에 떠 있는 객체의 위치를 변경한다.
3. 손가락을 모두 펼친 상태에서 손을 앞뒤로 움직이면 보여지는 화면을 확대하거나 축소한다.
4. 손가락 한개를 펼친 상태에서 객체중이 하나를 가리키면 색이 변하며 선택된다.

""

Leap Motion _ Radiological Image Manipulation using Leap Motion Controller

1. 손가락 두개를 펼친상태에서 손을 위와래로 움직이면 연속 촬영되어져 있는 MRI 레이어를 상하로 이동하여 볼 수 있다.
2. 손가락 두개를 오므리거나 벌리면 화면에 보여지고 있는 MRI 화면을 확대 축소하여 볼 수 있다.

""