Seguimiento de dedos

En el campo de la tecnología y el procesado de la imagen el seguimiento de dedos es una técnica de alta resolución utilizada para conocer cual ha sido el posicionamiento consecutivo de los dedos de un usuario y poder representar así objetos en 3D, en la pantalla de trabajo. Consecuentemente, la técnica de seguimiento de dedos es utilizada como herramienta de la computadora, actuando de este modo como periférico externo de nuestro ordenador, de la misma manera que lo es el teclado y el ratón.

Introducción

El sistema de seguimiento de dedos está fundamentado en la interacción datos – usuario; donde este último interactúa con los datos virtuales, manipulando directamente a través de los dedos la volumetría del objeto 3D que queremos representar. Este sistema nació a partir de la importante problemática de interactuación entre el ser humano y la computadora. Con el fin de facilitar la comunicación entre ambos y usar gestos o movimientos de manos mucho más intuitivos, se han creado los sistemas de seguimiento de dedos. Dicho sistema rastrea a tiempo real la posición 3D y 2D de la orientación de los dedos de cada marcador y aprovecha los movimientos intuitivos de gestos y manos para interactuar.

Tipos de seguimiento

Existen varias técnicas de seguimiento de dedos, inicialmente el seguimiento sólo era posible mediante la utilización de marcadores en cada uno de los de dedos “operativos”. En este sistema se realiza un seguimiento de la ubicación de los marcadores en el espacio 3D, el sistema los identificaba de forma única y etiqueta cada marcador de acuerdo con la posición de los dedos del usuario. Las coordenadas 3D de las etiquetas de estos marcadores se producen a tiempo real junto con otras aplicaciones. Actualmente se ha implementado nuevas técnicas en las cuales no son necesarios dichos marcadores.

Sistema de seguimiento.

Seguimineto de dedos con marcadores

La técnica está basada en un sistema de captura de movimiento, en la que la alternativa principal para la utilización de un punto de cursor es el rayo de selección del cursor, donde un rayo virtual es emitido des de la posición de la mano del usuario. Por lo que el usuario tiene el control sobre el punto de partida y de la dirección del rayo, como si de un puntero láser se tratara. El primer objeto que se cruza es el que típicamente se selecciona. Se estableció este criterio porque hay múltiples objetos que pueden interseccionar con el rayo y pueden dar lugar a ambigüedades, y provocar así una mala visualización del cursor. En muchos entornos virtuales los objetos son manipulados usando el sensor 6 tracker DOF. Este enfoque permite asignaciones directas, donde la posición y la orientación de los objetos virtuales se corresponden directamente con los movimientos del usuario. Otros han utilizado técnicas gestuales directas de interacción en los movimientos de la mano se asignan directamente a los el movimiento de objetos.

Técnica de Homer

Consiste en a selección del rayo con la manipulación directa: se selecciona un objeto, y luego su posición y orientación se manipulan como si estuviera conectada directamente a la mano.

Archivo:Marcadores.jpg

Marcadores.

Técnica de Conner

Presentan un conjunto de widgets 3D que permiten interacción indirecta con los objetos virtuales a través de un widget virtual que actua como mediador.

Seguimineto de dedos sin marcadores

Descripción

Para realizar la implementación existen las fases del sistema de seguimiento que observamos a continuación:

• Sustracción de fondo: convolución de todas las imágenes capturadas con un filtro de Gauss de 5x5. Luego se escala para reducir píxeles con ruido.
• Segmentación de piel: aplicación de máscara binaria donde se representan con un color blanco, los píxeles que pertenecen a la mano y negro al resto.
• Región de estracción: detección de la mano derecha y/o izquierda a partir de la comparación entre ambas manos.
• Extracción de características: localización de la punta del dedo y detectar si se trata de picos o valles. Con el fin de clasificar los puntos, ya sea como picos o valles, se convierten los vectores en 3D, llamados pseudo vectores en el plano xy y luego calcular el producto cruzado. Si la señal de la z componente del producto cruzado es positiva, consideramos que el punto es un pico, por el contrario, en el caso de que el resultado del producto cruzado sea negativo, será un valle.
• Puntos y reconomiento de gestos: Según los puntos de referencia visibles (punta del dedo) se le asocia a un gesto determinados.
• Posición estimada: procedimiento consiste en identificar la posición de las manos mediante algoritmos de cálculo de distancias entre posiciones.

Archivo:Pesic.jpg

Sin marcadores.

Aplicación

El objetivo es conseguir que tanto máquinas como ordenadores sean mucho más fáciles de utilizar si existe la posibilidad de operar mediante el lenguaje natural o interacciones gestuales. Así pues la aplicación principal de esta técnica saca el máximo provecho en el diseño y animación 3D. Ya que muchos programas que hay actualmente en el mercado relacionados en este ámbito, (por ejemplo Maya, 3D StudioMax) utilizan este tipo de herramientas de trabajo. El motivo de todo esto es debido a que les permiten un control de las instrucciones que queremos ejecutar mucho más preciso y sencillo. En definitiva, es muy amplio el abanico de posibilidades que ofrece esta tecnología, pero sin duda la de esculpir, construir y modelar en 3D a tiempo real a través del ordenador es una de las más importantes.

Utilitzación marcador en programas.

Referencias

Anderson, D., Yedidia, J., Frankel, J., Marks, J., Agarwala, A., Beardsley, P., Hodgins, J., Leigh, D., Ryall, K., & Sullivan, E. (2000). Tangible interaction + graphical interpretation: a new approach to 3D modeling. SIGGRAPH. p. 393-402.

Angelidis, A., Cani, M.-P., Wyvill, G., & King, S. (2004). Swirling-Sweepers: Constant-volume modeling. Pacific Graphics. p. 10-15. Grossman, T., Wigdor, D., & Balakrishnan, R. (2004). Multi finger gestural interaction with 3D volumetric displays. UIST. p. 61-70.

Freeman, W. & Weissman, C. (1995). Television control by hand gestures. International Workshop on Automatic Face and Gesture Recognition. p. 179-183.

Ringel, M., Berg, H., Jin, Y., & Winograd, T. (2001). Barehands: implement-free interaction with a wall-mounted display. CHI Extended Abstracts. p. 367-368.

Cao, X. & Balakrishnan, R. (2003). VisionWand: interaction techniques for large displays using a passive wand tracked in 3D. UIST. p. 173-182.

Enlaces relacionados

http://www.vicon.com/

http://www.dgp.toronto.edu/~ravin/videos/graphite2006_proxy.mov

http://actuality-medical.com/Home.html

http://www.dgp.toronto.edu/