La aplicación Fingerspelling.xyz ayuda a las personas a aprender el alfabeto del lenguaje de señas

Vía https://www.dezeen.com

 
Facebook
Google plus
Linkedin
Twitter
 


Publicado el 27 de agosto de 2021

La aplicación Fingerspelling.xyz ayuda a las personas a aprender el alfabeto del lenguaje de señas

El estudio creativo Hello Monday ha creado una aplicación que enseña y corrige las posiciones de las manos en tiempo real para facilitar que las personas aprendan el alfabeto de la lengua de signos.

Hello Monday trabajó con la Sociedad Estadounidense para Niños Sordos para diseñar Fingerspelling.xyz, una aplicación que se ejecuta en navegadores web.

Fingerspelling.xyz pantalla de inicio que muestra un modelo 3D de una mano con los dedos cruzados
Fingerspelling.xyz pantalla de inicio que muestra un modelo 3D de una mano con los dedos cruzados

Al igual que la popular aplicación de aprendizaje de idiomas Duolingo, Fingerspelling.xyz puede evaluar los intentos de sus usuarios de aprender palabras en tiempo real.

La aplicación utiliza la cámara web de una persona para rastrear los movimientos de sus manos mientras intentan las posiciones de las manos del alfabeto del lenguaje de señas americano (ASL), mientras que un algoritmo entrenado en imágenes de posiciones correctas de las manos analiza su precisión.

Pantalla de configuración de Fingerspelling.xyz que solicita a los usuarios que elijan si son diestros o zurdos
Pantalla de configuración de Fingerspelling.xyz que solicita a los usuarios que elijan si son diestros o zurdos

"El juego de deletreo manual es una excelente manera de presentar los conceptos básicos de ASL de una manera divertida y divertida", dijo el socio fundador de Hello Monday, Anders Jessen.

Según Jessen, la tecnología utilizada por la aplicación ofrece una experiencia de aprendizaje más atractiva que los métodos tradicionales de aprender el alfabeto de la lengua de signos a través de la lectura o la visualización de videos.

Fingerspelling.xyz pantalla de inicio de nivel uno que da instrucciones para mirar la mano en la pantalla y copiar su forma de mano
Fingerspelling.xyz pantalla de inicio de nivel uno que da instrucciones para mirar la mano en la pantalla y copiar su forma de mano

"El juego aprovecha la tecnología avanzada de reconocimiento de manos, combinada con el aprendizaje automático, para brindarte retroalimentación en tiempo real a través de la cámara web para cada signo y palabra que deletreas correctamente", dijo Jessen.

"Es divertido pensar en cómo este modelo de aprendizaje automático altamente capacitado, en el que los investigadores han dedicado innumerables horas a capacitar, ahora hace lo contrario, ahora nos vuelve a entrenar y nos hace mejores en el deletreo manual".

Una pantalla de nivel uno le dice al usuario que aprenderá a deletrear la palabra 'capaz'
Una pantalla de nivel uno le dice al usuario que aprenderá a deletrear la palabra 'capaz'

En ASL, el deletreo manual se usa para los nombres propios o cuando una persona no conoce el signo de una palabra.

En una interfaz de color púrpura y amarillo mantequilla, Fingerspelling.xyz comienza dando al usuario una serie de palabras, junto con un modelo 3D de una mano que muestra la posición requerida para cada letra.

Historia relacionada Liron Gino diseña dispositivos Vibeat para que las personas sordas experimenten la música

Luego, la aplicación analiza el intento del usuario, brinda comentarios hasta que logran la alineación correcta y luego les permite avanzar a través de los niveles.

Hello Monday promete que los datos de la cámara web no se almacenan ni se envían a ninguna parte.

La pantalla le dice al usuario que coloque su mano donde sea visible en su cámara web
La pantalla le dice al usuario que coloque su mano donde sea visible en su cámara web

El estudio está dirigiendo la aplicación especialmente a los padres de niños sordos, para que puedan fomentar el desarrollo de sus hijos al presentarles el lenguaje de señas en una etapa temprana.

Señala estadísticas que muestran que dos o tres de cada 1.000 niños nacen sordos o con problemas de audición en los EE. UU., Y el 90 por ciento de ellos nacen de padres oyentes.

La pantalla dividida de FingerspA muestra la letra A y una mano en 3D en forma de saludo de puño en el lado izquierdo y una vista de la cámara web de la palma plana de un usuario en el lado derecho
La pantalla dividida de FingerspA muestra la letra A y una mano en 3D en forma de saludo de puño en el lado izquierdo y una vista de la cámara web de la palma plana de un usuario en el lado derecho

Sin embargo, el 72 por ciento de las familias no firma con sus hijos sordos, y Hello Monday y la Sociedad Estadounidense para Niños Sordos esperan cambiar eso.

"Esperamos que esto pueda resultar útil para cualquiera que desee aprender el deletreo con los dedos y los siguientes pasos después de esto serían tomar un curso de deletreo con los dedos / ASL", dijo Jessen.

Una pantalla dividida muestra la letra A y una mano en 3D en forma de saludo de puño en el lado izquierdo y una vista de cámara web de una forma de puño a juego a la derecha
Una pantalla dividida muestra la letra A y una mano en 3D en forma de saludo de puño en el lado izquierdo y una vista de cámara web de una forma de puño a juego a la derecha

Hello Monday es un estudio creativo enfocado en productos y experiencias digitales. Su trabajo reciente ha incluido el diseño de una exposición virtual Summer Show para la Escuela de Arquitectura Bartlett en 2020.

En 2011, una pareja de sordos diseñó su casa en Tokio para permitirles hacer señas entre sí y a sus hijos a través de las paredes. Está cubierto con casi un centenar de pequeñas ventanas.

  • Diseño
  • diseño accesible
  • Aplicaciones
  • Tecnología
  • Gráficos
  • Software y diseño web