Blog
Promesas de Deep Learning para el Lenguaje Natural
- Publicado por: Rafael Fernandez
- Categoría: Natural Language Processing
La Promesa de Deep Learning para el Lenguaje Natural, es conocido como el mejor rendimiento de los modelos existentes que pueden requerir más datos, pero menos experiencia lingüística para formarse y poder operar. Hay muchos reclamos en torno a los métodos de aprendizaje profundo, pero más allá de eso; los métodos de aprendizaje profundo están logrando resultados de vanguardia en la resolución de problemas desafiantes. Especialmente en el procesamiento de lenguaje natural. En este capítulo, tú descubrirás las promesas específicas que los métodos de Deep Learning tienen para abordar los problemas de procesamiento del lenguaje natural. Después de leer este capítulo sabrás:
- Todas las promesas específicicas de un deep learning para el procesamiento del lenguaje natural.
- Lo que los profesionales e investigadores científicos tienen que decir acerca de la promesa del deep learning para PNL (Procesamiento del Lenguaje Natural).
- Métodos y aplicaciones clave de deep learning para el procesamiento del lenguaje natural.
Las promesas del Deep Learning
Los métodos de deep learning son populares, principalmente porque están cumpliendo lo que prometen. Esto no quiere decir que no haya elogios publicitarios en torno a esta tecnología, sino que el bombo publicitario se basa en resultados muy reales que se están demostrando, a través de un conjunto de problemas de inteligencia artificial muy desafiantes de la visión por ordenador y el procesamiento del lenguaje natural. Algunas de las primeras grandes demostraciones del poder del deep learning fueron en el procesamiento del lenguaje natural, específicamente en el reconocimiento del habla. Luego, recientemente en traducción automática.
En este capítulo, vamos a analizar cinco promesas específicas de métodos de deep learning en el campo del procesamiento del lenguaje natural. Promesas destacadas recientemente por investigadores y profesionales en el campo, personas que pueden ser más moderadas que el promedio reportado en lo que pueden ser las promesas. En resumen, lo son:
- La promesa de los modelos de reemplazo sin cita previa: esta promesa se refiere a que los métodos de deep learning pueden dejarse caer en los sistemas de lenguaje natural existentes como modelos de reemplazo, los cuales pueden lograr un rendimiento proporcional a este, o mejor.
- La promesa de los nuevos modelos de PNL: esto quiere decir que los métodos de deep learning ofrecen la oportunidad de nuevos enfoques de modelado, para desafiar problemas del lenguaje natural; tales, como la predicción de secuencia a secuencia.
- La promesa del aprendizaje de características: es decir, que los métodos de deep learning pueden aprender las características del lenguaje natural requerido por el modelo, en lugar de requerir que las características sean especificadas y extraídas por un experto.
- La promesa de la mejora continua: esta promesa se refiere a el rendimiento del deep learning en el procesamiento del lenguaje natural, este se basa en resultados reales y que las mejoras parecen continuar y quizás acelerarse.
- La promesa de los modelos de principio a fin: esta promesa quiere decir, que los grandes modelos de deep learning de principio a fin pueden adaptarse a los problemas de lenguaje natural ofreciendo un enfoque más general y de mejor rendimiento.
Ahora vamos a examinar cada una de estas promesas más de cerca. Hay otras promesas de deep learning para el procesamiento del lenguaje natural; estas fueron sólo las cinco que elegimos destacar.
Promesa de modelos de reemplazo sin cita previa
La primera promesa para el deep learning en el procesamiento del lenguaje natural es la capacidad de reemplazar los modelos lineales existentes, con modelos de mejor rendimiento capaces de aprender y explotar las relaciones no lineales. Yoav Goldberg, en su manual sobre redes neuronales para investigadores de PNL, destaca que los métodos de deep learning están logrando resultados impresionantes.
Éste mismo, continúa destacando que los métodos son fáciles de usar, y a veces se pueden utilizar para sustituir a los métodos lineales ya existentes.
Promesa de nuevos modelos de PLN
Otra promesa es que los métodos de deep learning facilitan el desarrollo de modelos completamente nuevos. Un ejemplo fuerte de esto, es el uso de redes neuronales recurrentes que son capaces de aprender, y condicionar la salida sobre secuencias muy largas. El enfoque es suficientemente diferente, en el sentido de que permiten a los profesionales liberarse de las suposiciones del modelado tradicional y, a su vez, lograr resultados de vanguardia. Yoav Goldberg, comenta que los modelos sofisticados de redes neuronales; como las redes neuronales recurrentes permiten oportunidades de modelado de PNL totalmente nuevas.
Promesa de aprendizaje de características
Los métodos de deep learning, tienen la capacidad de aprender representaciones de características, en lugar de requerir que los expertos especifiquen y extraigan manualmente características del lenguaje natural. El investigador de PNL Chris Manning, en la primera conferencia de su curso sobre deep learning para el procesamiento del lenguaje natural, destaca una perspectiva diferente. Describe las limitaciones de las características de entrada definidas manualmente, donde las aplicaciones previas de aprendizaje automático en PNL; estadística eran realmente un testamento para que los humanos definieran las características, y que las computadoras hicieran muy poco aprendizaje.
Se dugiere que la promesa de los métodos de deep learning es el aprendizaje automático. Destaca que el aprendizaje de características es automático en lugar de manual, fácil de adaptar en lugar de rígido, y puede mejorar continua y automáticamente.
Promesa de Mejora Continua
Otra promesa de deep learning para la PNL es la mejora continua y rápida de problemas difíciles. Se continúa diciendo, que los métodos de deep learning son populares para el lenguaje natural porque están funcionando.
Podemos destacar que los resultados iniciales fueron impresionantes, y lograron mejores resultados en el habla que cualquier otro método en los últimos 30 años. Se continúa mencionando que no es sólo el estado de los resultados de arte que se están logrando, sino también la tasa de mejora.
Promesa de modelos de principio a fin
Una promesa final de deep learning es la capacidad de desarrollar y entrenar modelos integrales, para problemas de lenguaje natural, en lugar de desarrollar modelos especializados. Esto es deseable tanto por la velocidad y simplicidad de desarrollo, como por la mejora de las prestaciones de estos modelos.
La traducción neuronal automática, o NMT (por sus siglas en inglés) para abreviar, se refiere a las grandes redes neuronales que intentan aprender a traducir de un idioma a otro. Esta era una tarea que tradicionalmente se manejaba a través de una serie de modelos clásicos afinados a mano, cada uno de los cuales requería experiencia especializada.
Esta tendencia hacia modelos de extremo a extremo, en lugar de tuberías de sistemas especializados, es también una tendencia en el reconocimiento de voz. En su presentación del reconocimiento del habla en el curso de PNL de Stanford, el investigador de PNL Navdeep Jaitly, ahora en Nvidia, destaca que cada componente de un reconocimiento del habla puede llegar a ser reemplazado por una red neuronal. Los grandes bloques de un canal de reconocimiento automático de voz son el procesamiento del habla, los modelos acústicos, los modelos de pronunciación y los modelos del lenguaje. El problema es que las propiedades y, sobre todo, los errores de cada subsistema son diferentes. Esto motiva la necesidad de desarrollar una red neuronal para aprender todo el problema de principio a fin.
➡ Aprende mucho mas en nuestro curso de Procesamiento de Lenguaje Natural: