● En el estudio participaron investigadores de la Universidad de Nueva York y la Universidad Pompeu Fabra.
● La técnica desarrollada, según sus creadores, permitirá aumentar significativamente la capacidad de grandes modelos de lenguaje, como los utilizados por ChatGPT.
Parece normal que cualquiera aprenda el significado de una palabra y luego la aplique al contexto de otro idioma. Lo mismo ocurre, por ejemplo, con los objetos: una vez que reconocemos su forma, podemos reconocerlos incluso si están hechos de otros compuestos y materiales o tienen un color diferente. Este es un elemento bien conocido de nuestra inteligencia que los expertos llaman "generalización composicional".
La pregunta es si las máquinas pueden “pensar” de esta manera. Según afirma la Universidad de Nueva York, a finales de los años 1980, dos cientÃficos cognitivos llamados Jerry Fodor y Zenon Pylyshyn postularon que las redes neuronales artificiales eran capaces de realizar estas conexiones, pero desde entonces el éxito en esto ha sido difÃcil de lograr. O ha sucedido.
Investigadores del instituto y de la Universidad Pompeu Fabra de España llevan tiempo trabajando en esta área y han desarrollado una nueva técnica que apunta precisamente a esta capacidad. El estudio, publicado en Nature, revela cómo herramientas como ChatGPT pueden generalizar la composición a través del llamado “Metaaprendizaje para la composicionalidad” (MLC).
Según pruebas realizadas por investigadores, esta técnica es capaz no sólo de igualar, sino incluso superar, la capacidad humana en esta importante función cognitiva. La clave de la técnica MLC no es la formación, sino la práctica explÃcita de esas habilidades.
La técnica MLC es un procedimiento de aprendizaje de redes neuronales en el que el sistema se actualiza continuamente para mejorar sus capacidades a lo largo de una serie de etapas o episodios.
Entonces, en un episodio, el sistema MLC recibió una nueva palabra y se le pidió que la aplicara compositivamente. Por ejemplo, te dan la palabra "saltar" y te piden que crees nuevas combinaciones de palabras, como "saltar dos veces" o "saltar dos veces a la derecha". A partir de ahà se generan otros episodios con otras palabras nuevas, por lo que sus habilidades compositivas mejoran.
En las pruebas realizadas por Brenden Lake (NYU) y Marco Baroni (ICREA), estos dos investigadores realizaron una serie de pruebas con participantes humanos que recibieron los mismos "episodios" que recibió MLC. Trabajan no sólo con los significados de palabras reales, sino también con términos ficticios definidos por los investigadores.
En estas pruebas, MLC funcionó tan bien como los participantes humanos y, a veces, incluso mejor. El rendimiento de este sistema también se comparó con ChatGPT y GPT-4, y ambos fueron superados por el sistema desarrollado por los investigadores. El descubrimiento de esta técnica, explica Baroni, "puede mejorar aún más las capacidades de composición de los modelos de lenguaje grandes (LLM)".
Publicar un comentario