La interacción con el objeto produce sonidos a partir distintos gestos con los dedos. Es difícil explicarlo con palabras, así que mejor vean el video:

Click aqui para ver el video.

Zamborlin explica que, a través de técnicas de reconocimiento de gestos, se detectan diferentes toques hechos con los dedos, los que son asociados con distintos sonidos. En el video se utilizaron dos técnicas de síntesis de audio distintas. La primera es el “modelamiento físico”, que consiste en generar sonidos simulando las leyes físicas. La segunda es una “concatenación de síntesis” o “mosaicos de audio”, donde se asocia el sonido del micrófono de contacto con otro parecido obtenido de una base de datos de sonidos.

Explicado con peras y manzanas, cuando tocamos un material con los dedos se generan vibraciones que son captadas por el micrófono. Después, son procesadas por medio de un programa, que asigna un sonido y un beat de acuerdo a la velocidad y la fuerza del impacto de los dedos sobre la superficie del material.

Esto se ve más claramente en el video. Podrás notar que el sonido de un árbol es diferente al tocarlo que al momento de rascar la superficie del tronco. Lo mismo sucede con el vidrio de una estación de autobús o el de un espejo, obteniendo sonidos diferentes.

Zamborlin ha mencionado que el código fuente del programa estará disponible cuando el proyecto haya concluido, y no descartó una edición para teléfonos móviles. Si bien algunos sonidos se parecen a los que se generan en los vasos de cristal con agua, un sistema Mogees junto a una caja de ritmos humano podría convertirse en una experiencia urbana alucinante.

Link: Mogees (Bruno Zamborlin vía Technology Review)

Esto significa que el SDK funciona tanto en Windows 7 como Windows 8 Developer Preview, como aplicación de escritorio. El SDK beta 2, que incluye también varias mejoras respecto de la primera versión, está disponible bajo una licencia académica de Microsoft.

“Desarrollar aplicaciones para Kinect es esencialmente lo mismo que desarrollar otras aplicaciones de Windows, excepto que este SDK entrega soporte para las características del sensor Kinect (imágenes a color, profundidad, audio, datos de esqueleto, etc)”, señaló la empresa.

Microsoft ha dicho que lanzará una versión comercial del SDK a principios del próximo año. Según la empresa, más de 200 compañías están interesadas en investigar el potencial comercial de Kinect combinado con un PC.

Link: Microsoft adds Windows 8 support to its Kinect development kit (ZDNet)

Ir a “vitrinear” es una práctica que se volvió habitual de los fines de semana desde la instalación de los malls, y que muchos odian porque significa ir a mirar vitrinas por laaaaargas horas sin comprar nada. Ahora, la vitrina podría volverse más inteligente e interactiva, si es que la idea presentada por el Instituto Fraunhofer en la feria IFA llega a ser adoptada por las tiendas.

Los investigadores del instituto mostraron un prototipo que permite que los compradores obtengan más información de lo que hay en la tienda, especialmente cuando ésta está cerrada.

La “vitrina interactiva” consiste en un monitor con un sistema de detección de movimientos desarrollado por el instituto (no es un Kinect). Cuando los compradores están frente a la vitrina, pueden apuntar a un producto que les guste, y éste se iluminará. En la pantalla además aparecerá información sobre el mismo, donde se pueden elegir distintos colores y tamaños.

El sistema es controlado por gestos del comprador, y el instituto busca ahora socios que estén interesados en implementar el sistema en sus tiendas. Aunque ya podría ser implementado, todavía hay que hacerle algunos ajustes al sistema porque no siempre detecta lo que el cliente quería. Además hay que regular el reflejo que produce el vidrio sobre el sistema de reconocimiento.

También, el sistema no es del todo intuitivo, y los posibles compradores tienen que aprender los gestos para manejarlo. Aunque la idea es que el sistema permita que la gente averigüe sobre lo que quiere comprar mientras la tienda está cerrada, en lugares donde el comercio se cierra con triple candado y persianas de fierro difícilmente podrá ser usado. ¿Qué creen ustedes?

Link: Window shopping goes high tech with gesture recognition (TechWorld)

Mientras desarrollas tus poderes telepáticos o artísticos para que la gente baile al son que marcas puedes entrenar con el robot Qbo, que ahora ha adquirido habilidades musicales que te harán sentir como Lady GaGa.

Equipado con unos ojos estereoscópicos y un sistema de identificación facial capaz de reconocerte tanto a ti como a tus gestos (que aprenderá), bastará con una simple palmada para que Qbo imite la lambada o el techno-viking (a tu gusto).

Pero la configuración de sus movimientos va más allá y si, por ejemplo, haces el signo de la paz (humana, no trekkie) hacia Qbo este subirá el volumen de su música en reproducción. Canciones que además es capaz de nombrar por su título e intérprete.

¿No es genial? Quiero uno para mis sesiones como deejay forever alone.

Link: Qbo music player robot responds to hand gestures, challenges DJ Roomba to a dance-off (video) (Engadget)

La actuales cámaras digitales han facilitado  tomar autorretratos con la integración de sistemas de autodisparo, detección de sonrisa o movimiento y la colocación de pantallas en la parte frontal de la cámara; pero unos investigadores del Departamento de Ciencias de la Computación en la Universidad de Tsukuba (Japón) están desarrollando un sistema que incorpore el reconocimiento de gestos manuales para capturar fotografías. De esta manera, no tendrías que correr para incorporarte en la foto, hacer una sonrisa falsa después del tercer intento o sostener la cámara para una toma emo-pokémon.

El sistema inicial ideado por Shaowei Chu y Jiro Tanaka emplea un algoritmo de visión por computadora que es capaz de detectar el contorno de la mano y la punta de los dedos del usuario. Requiere de una cámara con visor frontal – ya sea integrado o rotable – para mostrar el video en tiempo real que rastrea y detecta los gestos de la mano.

Para el estudio, los investigadores utilizaron una cámara de vídeo Logitech Orbit AF que captura a una resolución de 640×480 píxeles a 30 fps, 1024 x 768 a 15 fps y 1600 x 1200 a 5 fps. Cuenta con una campo de 189 grados de giro y 102 grados de inclinación, mientras que la pantalla mide 30 pulgadas de diagonal. Esto significa que, además de disparar el obturador, es posible girar e inclinar la cámara con gestos. Para realizar una toma, el usuario debe tener un dedo firme sobre el icono de la cámara durante un segundo.

El prototipo obviamente es demasiado grande para su inclusión en una cámara digital portátil, pero los investigadores prometen su integración en sistemas compactos y añadir nuevas funciones para mejorar la precisión de su sistema. Mientras tanto, resulta un buen sistema para cámaras de video con sistema de captura al estilo Kinect.

Link: Kinect-like camera interface for taking self-portraits (Gizmag)

Crux Loaded ubicada el iPad como pantalla y viene con un teclado y un trackpad. Éste último funciona a través de bluetooth y se convierte en una extensión de la pantalla: se puede usar como un trackpad normal pero que también tiene todos los gestos de iOS.

Además, trae incorporada una batería extra para el iPad, que le agrega 7,5 horas de uso sin tener que cargarlo. Uno de los puntos que más promociona la empresa es la utilidad de la carcasa al momento de usar el tablet para acceder a otros computadores, dado que con su teclado y trackpad es como estar usando un computador.

No hay fecha definitiva de lanzamiento para Crux Loaded, aunque lo anuncian para el otoño del hemisferio norte. Si te interesa, ya se puede preordenar.

Link: Crux Loaded

Lo realmente interesante es su forma de uso. No tiene un trackball o un sensor óptico, como los mouse que vemos en la actualidad. EvoMouse proyecta una luz que sigue todos los movimientos de tu dedo. Así, tu ya no mueves el mouse, no hay que empujarlo. Se instala, tú mueves tu dedo sobre la mesa y EvoMouse lo identifica.

Permite hacer todos las acciones típicas de un mouse: hacer click, doble click y click derecho. Además puedes usar gestos para hacer scroll, zoom, girar fotos, ir atrás o adelante en un browser. Puedes escribir y dibujar con él. Y también puedes comprar una “guía” con un dibujo de un teclado que permite usar a EvoMouse como un teclado virtual.

Otra de las gracias que tiene es su compatibilidad: va a funcionar con Mac, Windows, iPhone, iPad, iPod Touch, Android y Blackberry. Se conecta a través de Bluetooth o con un cable USB. Va a salir a la venta en Inglaterra a fines de mes por un precio cercano a los US$ 99. Se ve interesante, habrá que ver si realmente funciona. Después del salto, un video mostrando las cualidades de EvoMouse.

Click aqui para ver el video.

Link: EvoMouse Pet Offers Multitouch Control, Looks Like a Cute Dog (Mashable)

¿Qué es esto? ¿Un bebé japonés descabezado? La verdad no, pero casi: es una cabeza robot creada por investigadores de la Universidad de Osaka en Japón, que la crearon para intentar realizar expresiones faciales realistas, de modo que los humanos puedan interactuar con androides en una forma más natural.

Se llama Affetto y fue modelado como un niño de entre 1 y 2 años, y será usado para estudiar la interacción entre robots con cara de bebé y personas, y cómo eso se relaciona con el desarrollo social (un fenómeno también llamado “Valle Inquietante“).

Aunque en el video de arriba se ve hasta normal – si no fuera porque le falta el cuerpo – en este video de abajo seguro que no despierta ningún sentimiento de ternura. Míralo tras el salto.

Click aqui para ver el video.

Link: Meet Affetto – A robot with realistic facial expressions (GetRobot vía Engadget)

Una empresa colombiana desarrolló unas pantallas que no requieren contacto ni ningún tipo de controles para manejarlas. A primera vista, se ve como lo que hace Kinect al reconocer gestos, pero aplicado a otro tipo de software que no es videojuegos. Nos llegó por correo el video que está arriba y  nos quedamos intrigados con este desarrollo, que se ve muy interesante.

Como el sitio web de la empresa Inter-Screen Technology no da muchos detalles de la tecnología, hablamos con Mario Darisic, gerente comercial de la empresa, quien nos explicó que se trata de “pantallas integrales de multimedia (Audio, Video, imágen estática, texto y botones de activación), que mediante reconocimiento del movimiento exclusivamente de las manos y en tiempo real puede ejecutar cualquier tipo de aplicación por eventos en entorno Windows, reconociendo y siendo posible implementar aplicativos desde flash hasta lenguaje máquina, c++, etc. mediante nuestra software de interfase”.

Las pantallas son plasmas de 50 pulgadas, aunque también se puede implementar sobre otro tipo de televisores (LCD o LED) de entre 29 y 60 pulgadas, que se pueden controlar desde 9 metros de distancia. La tecnología se basa en sensores y “a diferencia de la realidad aumentada no implica problemas de iluminación, no precisa de marcas o señalizadores y únicamente precisa una fuente de poder (un enchufe)”.

Según explica Darisic, toda la tecnología fue desarrollada en Colombia, y la empresa está comercializando y arrendando estos equipos para distintos fines, como publicidad, promociones, turismo, etc. No nos especificaron precios, porque son variables de acuerdo a lo que pida el cliente, pero nos imaginamos que no debe ser muy barato.

El equipo será presentado durante Campus Party Colombia, así que quienes estén por allá tal vez tendrán la oportunidad de probarlo y contarnos qué tal funciona.

Click aqui para ver el video.

Link: Inter-Screen Technology

Durante el Embedded Systems Expo (11-13 mayo, Tokio) Toshiba Information Systems presentó AirSwing, una interfaz de usuario que puede ser operada al estilo de Minority Report empleando una cámara y sin requerir hardware caro ni recursos sustanciales de la CPU para trabajar.

AirSwing muestra un menú y una imagen semi-transparente del usuario en pantalla, de manera que detecta los movimientos gestuales superpuestos sin necesidad de usar dispositivos de entrada convencionales (ratón, teclado, etc.).

De acuerdo con Toshiba, el software sólo utiliza cerca del 3% de la potencia de un procesador ARM 11 a 400MHz, lo que significa que tienes procesador de sobra para ejecutar sus “diagnósticos pre-crimen”.

Aunque no es tan complejo como los actuales sistemas de juego (Project Natal, Sony Motion controller y Wii Motion Plus) o el iPoint 3D, resulta una solución multimedia ideal para escaparates digitales en los centros comerciales y espacios públicos, como su similar.

Click aqui para ver el video.

Link: AirSwing: Toshiba’s gesture-based UI system in action (Crunchgear)

John Underkoffler en TED2010, Sesión 8, "Boldness," en Long Beach, California. Crédito: TED / James Duncan Davidson

Oblong Industries propone la combinación gestual en un “entorno espacial operativo” (SOE, Spatial Operating Environment), redes y pixeles del mudo real, para crear un interfaz de computadora distinta a las vigentes basadas en la metáfora de escritorio.

Es un completo entorno que mediante su lenguaje de inmediatez espacial y respuesta de información en tiempo real, se pueden realizar análisis de grandes conjuntos de datos, operar interfaces en 3 dimensiones, así como integrar grandes pantallas y múltiples computadoras para entornos interactivos de trabajo.

Para esto desarrollo G-speak, como una plataforma de software adecuada para la concesión de licencias y aplicación. G-speak utiliza la articulación a mano alzada, permitiendo realizar movimientos gestuales en 3 dimensiones ya sea con las dos manos o de manera colaborativa (multi-táctil en el mudo de las pantallas).  Las aplicaciones son controladas por posturas, movimientos y señas, realizadas con el dedo o movimiento de mano con un seguimiento exacto (hasta 0,1 mm a 100 Hz).

Algunas de las ideas fundamentales de la SOE ya conocen de la película Minority Report, cuyos personajes utilizaban pantallas manejadas gestualmente para realizar “análisis forenses”. La similitud no es casualidad, ya que John Underkoffler (uno de los fundadores de Oblong) fue el consejero de ciencia de la película Minority Report, basándose en su anterior trabajo en el MIT, y creo la compañía especialmente para tratar de imitar esta tecnología.

Click aqui para ver el video.

Durante su presentación en la Conferencia TED 2010, Underkoffler dijo que esta tecnología gestual ya se utiliza en empresas, organismos gubernamentales y universidades, pero podría estar disponible para los consumidores en un plazo de cinco años.

Click aqui para ver el video.

Links:
- Getting Hard to Wave Away All These “Minority Report” Gesture Computers (Motherboard.tv)
- G-Speak – Future of Interfacing with Your Computer (Opportunity Green)
- Minority Report Interface Is Real, Hitting Mainstream Soon (Video) (Singularity Hub)

Pero siendo realistas, en un teléfono de pantalla reducida los gestos táctiles son contados, mientras que Windows 7 sólo tiene alrededor de 7 gestos básicos. Por eso la compañía canadiense BumpTop, de la que ya habíamos hablado en un par de oportunidades, ha creado una interfaz personalizada que añade una serie de nuevos gestos táctiles dentro de un escritorio 3D.

Para esto será necesario tener instalado Windows 7 y naturalmente tener  una pantalla multitáctil lo suficientemente grande para sacarle provecho a este software, que se venderá en USD$30.

BumpTop Multi-touch amplía enormemente la lista de movimientos e incluye varios gestos para los que dice tener patente. Básicamente utilizan gestos donde se utilizan todos los dedos y las dos manos dentro de un ambiente de visualizaciones 3D que se puede personalizar con temas y  widgets (Facebook, Twitter, email e Impresora). Con BumpTop podrá cortar, amarrar, empujar y triturar, entre otras cosas.

Click aqui para ver el video.

Link: BumpTop Goes Multi-Touch. Um, Awesome (Techcrunch)

El primero de abril es un día incomodo para las noticias. Nunca sabemos si estamos ante la mayor innovación de la década o solo un tomadura de pelo del símil gringo de nuestro Día de los Santos Inocentes: April Fools’ Day.

Dentro de este ultimo conjunto, nos encontramos con la broma de los noruegos de Opera: Gestos Faciales. Si bien la idea puede no ser del todo tonta, la ‘actuación’ de Angus, el presentador y los gestos en si mismo, son realmente hilarantes.

Link: Introducing Opera Face Gestures (¡Gracias H!)

Revisando la cámara de vídeo que llevamos a la Consumer Electronics Show 2009, encontramos un material que habíamos olvidado por completo. Se trata de una demostración de Hitachi, donde hacen alarde de su tecnología para controlar el televisor usando gestos con las manos sobre el aire.

Bastante interesante y cuando pensamos en el Nintendo Wii, nada nos hace pensar que esta tecnología se encuentre en un futuro muy lejano.