Archive

Archivo de Autor

ReacTIVision VS D-touch

Tanto ReacTIVision como D-touch son sistemas para el seguimiento de la ubicación y la orientación de marcadores (fiducials) en tiempo real.

ReacTIVision surge como una continuación de d-touch principalmente debido a los bajos tiempos de los frame rates alcanzados con d-touch.

D-touch utiliza una topología única para todos los fiduciales en un set.

El set consta de 120 fiduciales únicos que se diferencian mediante un código de permutación expresado por el número de hojas negras en el grafo de adyacencia. En el siguiente ejemplo el código de permutación es  (1,2,3,6,5,4).

d-touch asocia el código de permutación de las regiones de hojas negras a un conjunto específico de fiduciales.

En segundo lugar, el d-touch original no prescribe un determinado método para calcular la ubicación y orientación de los fiduciales.

Por último, las geometrías simples de los fiduciales (que por cierto tienen la ventaja de ser fácilmente dibujados a mano) no fueron diseñados para minimizar el tamaño de los mismos.

Por otra parte el sistema de reacTIVision admite conjuntos de fiduciales de distintos tamaños y topologías sin ningún cambio de código.

Consideramos que esta es una mejora significativa respecto a d-touch en nuestro contexto, donde queremos experimentar con fiduciales más pequeños.

El set consta de 128 fiduciales exclusivos, logrando tener una superficie del casi 50% menos que las del set de 120 fiduciales de d-touch.

A continuación mostramos una comparación de performance entre las diferentes librerías.

Figura 1

La figura 1 compara el uso de la CPU y el frame rate obtenido con reactTivision (libfidtrack) y dos versiones de d-touch: una versión reciente (libdtouch) y la versión original (dtouch_old)

Podemos ver que la actual implementación de reacTivision es 4 veces mas rápido que la versión actual de d-touch y mas de 16 veces mas rápido que la versión original.

Podemos resumir entonces las mejoras conseguidas por la reacTIVision frente a d-touch en tres áreas:

Funcionamiento, tamaño de los fiduciales y escalabilidad para diferentes topologías de fiduciales y tamaños establecidos.

Categorías:Estado del Arte

Estado del Arte II

abril 24, 2010 2 comentarios

Reactable

Reactable es un instrumento musical electrónico pensado para crear música cooperativamente mediante una interfaz tangible.

De forma simplificada se podría decir que es un sintetizador modular clásico provisto de una potente y creativa interfaz tangible y multi-táctil.

Más en concreto Reactable es una mesa redonda de superficie translúcida, que hace las veces de pantalla para un proyector que reside en su interior y que proyecta sobre la misma diversas formas y patrones de onda en respuesta a la interacción de los usuarios. Estos controlan la mesa situando objetos de diversas formas y con distintos efectos sonoros sobre la superficie de la mesa.

Cada uno de los objetos representa un componente de un sintetizador modular.

La mesa está iluminada desde abajo mediante luz infrarroja cuyo reflejo en la superficie interior de la mesa es captado por una cámara que detecta la posición de los objetos, su codificación distintiva y la situación y movimiento de los dedos de los usuarios cuando tocan la superficie. De esta forma la información visual proyectada y la que se capta de la interacción van por canales de frecuencias espectrales distintas y no se interfieren.

Esto podría ser de gran utilidad a la hora de diseñar el Yarmi

Variando la orientación y la situación del objeto se puede cambiar su comportamiento, por ejemplo la frecuencia del sonido que produce o las propiedades de su rango de actuación lo que hace no es producir una onda sonora sino modificar o filtrar el sonido que se está produciendo.

Un arco luminoso que rodea al objeto en cuanto se coloca sobre la mesa indica en que punto de su rango de frecuencias o de actuación está situado el output del sintetizador. Un punto luminoso que se puede “capturar” con el dedo permite aumentar o disminuir el volumen de sonido que emite. Todo ello se dibuja dinámicamente en tiempo real de modo que, por ejemplo, las ondas vibran y los pulsos se transfieren de unos lugares a otros de forma realista.

Reactable detecta la posición de los dedos cuando tocan la superficie de la mesa, lo que permite modificar el “dial” de cada objeto, como ya hemos visto, pero también se puede dibujar el tipo de onda que queremos obtener sin más que mover el dedo apropiadamente al lado del generador de ondas deseado.

También se puede parar temporalmente el flujo de sonido colocando la punta del dedo encima de la imagen de una onda o “cortar” permanentemente una conexión entre dos objetos cruzando con el dedo por encima de la misma.

Los objetos pueden ser láminas planas con distintas formas en su periferia o bien simples cubos. Hay cuadrados, cuadrados de puntas romas, pentágonos, y otras formas. Cada objeto lleva un icono en la parte superior que lo identifica para los humanos y una codificación en la parte inferior, visible para el sistema cuando posicionamos el objeto sobre la mesa. Los cubos tienen un identificador distinto en cinco de sus caras (la sexta es para el icono reconocible por humanos) y son como un almacén de funcionalidades ya que actúan de forma diferente según qué cara esté en contacto con la mesa.

Algunos objetos se pueden programar colocando a su lado un papel con el código correspondiente de forma que el objeto es reconocido en adelante con la funcionalidad que se le acaba de adscribir, por ejemplo una muestra de piano o cualquier otro instrumento.

El objetivo declarado de Reactable es, entre otras cosas, ser intuitivo y no necesitar manual de instrucciones.

Como esta diseñado ?

Figura 1: Esquema ReacTable

ReacTiVision (mtg.upf.es/reactable/) es una herramienta de software desarrollada por Sergi Jordà, Martin Kaltenbrunner, Günter Geiger y Marcos Alonso, quienes conforman el Grupo de Tecnología Musical dentro del Instituto Audiovisual en la Universidad Pompeu Fabra (Barcelona España). Esta tecnología permite reconocer patrones fiducials (llamados “fiducials”) impresos a piezas de interfaces tangibles que funcionan sobre una pantalla sensible al tacto.

Como muestra la figura 1, ReacTiVision permite hacer el reconocimiento de patrones fiducials, a través de un sistema óptico, que en el caso de la ReacTable se implementa con luces y cámara infrarrojas. La pantalla es un acrílico con superficie esmerilada, las imágenes se retro-proyectan desde abajo usando un cañón de video, a su vez una luz infrarroja permite iluminar los patrones que serán captados por una cámara, también infrarroja.

Dicha luz y cámara son infrarrojas para no interferir la luz del proyector de video (que pertenece al rango visible de la luz), y para que la cámara no vea a su vez las proyecciones.

Uno de los aspectos más interesantes de ReacTiVision es que está construido como un software independiente, que envía datos respecto de los parámetros de los “fiducials”: la ubicación, identificación, rotación y otros; vía el protocolo OSC (Open Sound Control). Esto permite que cualquier otro software que reciba mensajes en OSC, pueda comunicarse con ReacTiVision e interpretar información respecto del estado de cada uno de los patrones fiducials ubicados sobre la pantalla. Debido a esto, existe en el sitio de ReacTiVision, ejemplos de conexión de este software con lenguajes como: C++, Java, C#, Processing, Pure Data, Max/MSP, Flash y otros.

Creo que de este proyecto surgen algunas ideas muy interesantes que podrían ser aplicadas o discutidas para el diseño del Yarmi.

Sería una buena opción iluminar la mesa desde abajo mediante una luz infrarroja cuyo reflejo sobre la mesa (acrílico) sea captado por la cámara ubicada también debajo de la mesa que detecta la posición de los objetos, de esta forma se evitarían posibles problemas en el uso del Yarmi en lugares con mala iluminación.

Esto también nos ahorraría problemas para la proyección de las imágenes, ya que la información visual proyectada y la que se capta de la interacción van por canales de frecuencias espectrales distintas y no se interfieren.

Link al paper

Categorías:Estado del Arte Etiquetas: