Javier Cantón: "Virtual Stage permite trasportar personas de diferentes partes del mundo a escenarios virtuales"

Las incógnitas sobre cómo será el nuevo curso están a la orden del día, pero lo que sí está claro es que nada volverá a ser como antes hasta que se desarrolle una vacuna que inmunice a la población frente a la Covid-19. Aun así, hay cambios que han venido para quedarse y cuanto antes seamos conscientes de ello antes seremos capaces de adaptarnos la nueva situación. Esto implica decir adiós a las habituales aglomeraciones en la entrada de las aulas o a los juegos apretujados en el recreo. El equipo de investigación e inteligencia artificial de Microsoft Corp ha desarrollado, en colaboración con Plain Concepts, un escenario virtual (Virtual Stage) que permite a los profesores impartir sus clases desde sus hogares como si estuvieran en un aula. Javier Cantón, responsable de Innovación en Plain Concepts, detalla en qué consiste este escenario. 

¿En qué consiste exactamente esta nueva herramienta para impartir clases?, ¿Cuáles son los objetivos de Virtual Stage?

Virtual Stage es una aplicación?que aprovecha la potencia del Azure Kinect y de los últimos avances en IA para grabar a los ponentes /profesores en sus hogares como si estuvieran en un estudio de grabación profesional hablando delante de un croma. Estas grabaciones se envían a postproducción donde se pueden reproducir escenarios virtuales, animaciones o distintas composiciones.

Realmente no es una herramienta creada con el fin de impartir clases, sino que esta tecnología fue creada para hacer posibles los grandes eventos internacionales permitiendo mantener el cartel de ponentes inicial y retransmitir sus charlas desde sus casas evitando el movimiento de personas y velando por su seguridad. Virtual Stage permite trasportar personas de diferentes partes del mundo a escenarios virtuales y mostrar la información presentada en las charlas de una forma mucho más atractiva y dinámica que con las herramientas tradicionales de streaming.

Y, por supuesto, este desarrollo puede aplicarse en diferentes sectores o áreas como la educación en remoto, que permitiría a los alumnos asistir a clases mucho más reales.

¿Qué papel ha tenido la inteligencia artificial en la creación de este escenario?

Para conseguir una imagen completamente real del ponente o docente superpuesta sobre el fondo, consiguiendo perfilar con la mayor precisión posible las zonas más delicadas o complejas como son el pelo y los dedos, ha sido imprescindible el uso de Inteligencia Artificial.

La aplicación?Background Matting?utiliza la información de Depth obtenida del Azure Kinect para generar una máscara por segmentación del cuerpo y posteriormente un modelo de IA para mejorar la precisión de dicha máscara y aportar un mejor recorte en zonas con pelo o dedos. Esta máscara será utilizada en el paso final para recortar la información de color del ponente o docente y generar un nuevo vídeo con fondo transparente al cual ya se le podrá sustituir por el de un escenario virtual.

El Background Matting se basa en una?nueva técnica?de la Universidad de Washington. Debido a la falta de datos de entrenamiento etiquetados que retraten a los humanos de pie, la?IA?original fue entrenada con imágenes/vídeos cuadrados de 512×512 hasta la cadera o la rodilla.

Para conseguir un primer plano de alta calidad en zonas como el pelo, las manos o los pies se hicieron dos contribuciones importantes al método original. Primero, se reemplazó el paso de segmentación original por los?modelos de IA del?Azure Body Tracking SDK, consiguiendo una segmentación más tolerante con las similitudes de color y las zonas ambiguas de la imagen gracias a la información del sensore de depth. Después, se dividió el cuerpo en dos imágenes cuadradas con una pequeña superposición y procesándolas por separado. Esto permite al modelo "ver" mejor en zonas difíciles como la sombra entre los pies, sin perder precisión en el cabello o las manos.

¿Qué ventajas aportará en el proceso de enseñanza-aprendizaje entre profesor y alumno el Virtual Stage?

Permite visualizar y modificar escenarios de forma dinámica, hacer las clases mucho más atractivas y amenas a los alumnos, mostrando información adaptada al speech del docente y eliminando elementos del entorno que puedan distraer la atención del alumno.

¿Cómo podrán los docentes y las instituciones educativas incorporar esta herramienta a la docencia?

Todo el código está disponible en GitHub para utilizarlo y añadirlo en las herramientas o aplicaciones de formación. Y quién sabe, tal vez las clases remotas en escenarios virtuales serán nuestra forma de avanzar a la educación de la próxima Era. 

Desde su punto de vista, ¿cuáles son las claves principales en las que se va a sustentar la educación tras el coronavirus?

El uso de herramientas colaborativas como MS Teams, Hangouts, Zoom, Skype o Discord serán fundamentales para continuar con el día a día de las clases. Mantener conectados a los alumnos y profesores, permitir realizar video llamadas, compartir documentos, control de versiones, asignación de tareas y evaluaciones online serán imprescindibles en todas las aulas.

A medio plazo será necesario revisar los contenidos en la enseñanza para digitalizarlos y hacerlos más interactivos encontrando formas de colaboración remota entre alumnos ya que no solo la comunicación entre profesor y alumno es importante, la comunicación y colaboración entre alumnos tendrá que adaptarse y potenciarse dentro de las nuevas herramientas.

¿Considera que la sociedad española está preparada para un cambio de la educación presencial a la online?

No somos expertos en la docencia sino en tecnología, creemos que teniendo las herramientas necesarias para poder impartir las clases remotas no debería ser un problema para la educación online, pero por supuesto tanto la base tecnológica como el conocimiento técnico será clave para ello.

¿Hasta qué punto peligra la figura del docente en el proceso formativo a partir de ahora?

Sin ser expertos en la materia, creemos que el docente seguirá siendo una figura imprescindible de las clases, lo único que cambia es que tendrá que adaptarse a la nueva situación e intentar impartir la materia y evaluar a los alumnos de forma remota apoyado siempre de la tecnología.

¿Cómo serán las aulas en un futuro?

Creemos que las aulas del futuro deberán estar apoyadas de las últimas tecnologías, tanto con herramientas de colaboración, como soluciones de realidad aumentada, virtual o Inteligencia artificial que faciliten tanto al docente como al alumnado de todo el material necesario para las clases remotas o de una mejor experiencia en las presenciales/mixtas.