Inicio > Estado del Arte > Estado del Arte II

Estado del Arte II

Reactable

Reactable es un instrumento musical electrónico pensado para crear música cooperativamente mediante una interfaz tangible.

De forma simplificada se podría decir que es un sintetizador modular clásico provisto de una potente y creativa interfaz tangible y multi-táctil.

Más en concreto Reactable es una mesa redonda de superficie translúcida, que hace las veces de pantalla para un proyector que reside en su interior y que proyecta sobre la misma diversas formas y patrones de onda en respuesta a la interacción de los usuarios. Estos controlan la mesa situando objetos de diversas formas y con distintos efectos sonoros sobre la superficie de la mesa.

Cada uno de los objetos representa un componente de un sintetizador modular.

La mesa está iluminada desde abajo mediante luz infrarroja cuyo reflejo en la superficie interior de la mesa es captado por una cámara que detecta la posición de los objetos, su codificación distintiva y la situación y movimiento de los dedos de los usuarios cuando tocan la superficie. De esta forma la información visual proyectada y la que se capta de la interacción van por canales de frecuencias espectrales distintas y no se interfieren.

Esto podría ser de gran utilidad a la hora de diseñar el Yarmi

Variando la orientación y la situación del objeto se puede cambiar su comportamiento, por ejemplo la frecuencia del sonido que produce o las propiedades de su rango de actuación lo que hace no es producir una onda sonora sino modificar o filtrar el sonido que se está produciendo.

Un arco luminoso que rodea al objeto en cuanto se coloca sobre la mesa indica en que punto de su rango de frecuencias o de actuación está situado el output del sintetizador. Un punto luminoso que se puede “capturar” con el dedo permite aumentar o disminuir el volumen de sonido que emite. Todo ello se dibuja dinámicamente en tiempo real de modo que, por ejemplo, las ondas vibran y los pulsos se transfieren de unos lugares a otros de forma realista.

Reactable detecta la posición de los dedos cuando tocan la superficie de la mesa, lo que permite modificar el “dial” de cada objeto, como ya hemos visto, pero también se puede dibujar el tipo de onda que queremos obtener sin más que mover el dedo apropiadamente al lado del generador de ondas deseado.

También se puede parar temporalmente el flujo de sonido colocando la punta del dedo encima de la imagen de una onda o “cortar” permanentemente una conexión entre dos objetos cruzando con el dedo por encima de la misma.

Los objetos pueden ser láminas planas con distintas formas en su periferia o bien simples cubos. Hay cuadrados, cuadrados de puntas romas, pentágonos, y otras formas. Cada objeto lleva un icono en la parte superior que lo identifica para los humanos y una codificación en la parte inferior, visible para el sistema cuando posicionamos el objeto sobre la mesa. Los cubos tienen un identificador distinto en cinco de sus caras (la sexta es para el icono reconocible por humanos) y son como un almacén de funcionalidades ya que actúan de forma diferente según qué cara esté en contacto con la mesa.

Algunos objetos se pueden programar colocando a su lado un papel con el código correspondiente de forma que el objeto es reconocido en adelante con la funcionalidad que se le acaba de adscribir, por ejemplo una muestra de piano o cualquier otro instrumento.

El objetivo declarado de Reactable es, entre otras cosas, ser intuitivo y no necesitar manual de instrucciones.

Como esta diseñado ?

Figura 1: Esquema ReacTable

ReacTiVision (mtg.upf.es/reactable/) es una herramienta de software desarrollada por Sergi Jordà, Martin Kaltenbrunner, Günter Geiger y Marcos Alonso, quienes conforman el Grupo de Tecnología Musical dentro del Instituto Audiovisual en la Universidad Pompeu Fabra (Barcelona España). Esta tecnología permite reconocer patrones fiducials (llamados “fiducials”) impresos a piezas de interfaces tangibles que funcionan sobre una pantalla sensible al tacto.

Como muestra la figura 1, ReacTiVision permite hacer el reconocimiento de patrones fiducials, a través de un sistema óptico, que en el caso de la ReacTable se implementa con luces y cámara infrarrojas. La pantalla es un acrílico con superficie esmerilada, las imágenes se retro-proyectan desde abajo usando un cañón de video, a su vez una luz infrarroja permite iluminar los patrones que serán captados por una cámara, también infrarroja.

Dicha luz y cámara son infrarrojas para no interferir la luz del proyector de video (que pertenece al rango visible de la luz), y para que la cámara no vea a su vez las proyecciones.

Uno de los aspectos más interesantes de ReacTiVision es que está construido como un software independiente, que envía datos respecto de los parámetros de los “fiducials”: la ubicación, identificación, rotación y otros; vía el protocolo OSC (Open Sound Control). Esto permite que cualquier otro software que reciba mensajes en OSC, pueda comunicarse con ReacTiVision e interpretar información respecto del estado de cada uno de los patrones fiducials ubicados sobre la pantalla. Debido a esto, existe en el sitio de ReacTiVision, ejemplos de conexión de este software con lenguajes como: C++, Java, C#, Processing, Pure Data, Max/MSP, Flash y otros.

Creo que de este proyecto surgen algunas ideas muy interesantes que podrían ser aplicadas o discutidas para el diseño del Yarmi.

Sería una buena opción iluminar la mesa desde abajo mediante una luz infrarroja cuyo reflejo sobre la mesa (acrílico) sea captado por la cámara ubicada también debajo de la mesa que detecta la posición de los objetos, de esta forma se evitarían posibles problemas en el uso del Yarmi en lugares con mala iluminación.

Esto también nos ahorraría problemas para la proyección de las imágenes, ya que la información visual proyectada y la que se capta de la interacción van por canales de frecuencias espectrales distintas y no se interfieren.

Link al paper

Anuncios
Categorías:Estado del Arte Etiquetas:
  1. Aún no hay comentarios.
  1. abril 25, 2010 en 6:08 pm
  2. abril 29, 2010 en 1:44 pm

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

A %d blogueros les gusta esto: