Video de la demo Mintzai-live (en preparación): Demo de traducción automática de habla a texto, desarrollada en el marco del proyecto.
Demo en vivo: La demo está disponible en snlt.vicomtech.org/mintzai-live. Contáctenos para obtener acceso al sistema (tetchegoyhen arroba vicomtech punto org).
El proyecto MINTZAI investiga tanto la traducción automática de habla a texto (ST) como de habla a habla (S2S).
Los sistemas y componentes desarrollados se basan en redes neuronales artificiales y métodos de Deep Learning.
En el marco del proyecto, se han desarrollado dos tipos de modelos:
En cascada (CAS):
El audio de origen se transcribe automáticamente mediante sistemas de reconocimiento automático de voz (ASR)
Las transcripciones generadas se convierten al idioma de destino mediante sistemas de traducción automática (MT)
En un contexto de traducción de habla a habla, las traducciones automáticas se convierten en habla en el idioma de destino, mediante sistemas de generación del habla (TTS)
Extremo a extremo (E2E):
El audio de origen se convierte directamente en el idioma de destino, mediante una red neuronal única
Los sistemas E2E pueden traducir automáticamente de habla a texto o de habla a habla, sin los pasos intermedios de los sistemas en cascada
A continuación se muestran ejemplos de traducciones generadas por cada tipo de sistema:
Ejemplo 1: Audio de entrada
ST-CAS: Me comprometo a intentar superar los retos porque nuestra prioridad es salir de la crisis garantizando la cohesión social y fijando la vía del futuro económico de Euskadi.
ST-E2E: Lo que vamos a hacer es ratificar lo que vamos a hacer, eso es lo que nos parece una prioridad: Garantizar la cohesión social, la equidad, la justicia social, la solidaridad y el futuro de Euskadi.
Referencia humana: Prometo que nos esforzaremos en superar los retos, porque esa es nuestra prioridad: salir de la crisis, garantizando la cohesión social y marcando el camino del futuro económico de Euskadi.
Ejemplo 2: Audio de entrada
ST-CAS: Por lo tanto, lo urgente es tomar medidas efectivas en este ámbito.
ST-E2E: Por lo tanto, es imprescindible tomar medidas más efectivas en este ámbito.
Referencia humana: Por lo tanto, es necesario tomar medidas eficaces en ese sentido.