Como alguien que ha pasado innumerables horas conversando con modelos de IA, puedo decir con confianza que son hazañas tecnológicas impresionantes, pero ciertamente no poseen la profundidad de comprensión que los humanos damos por sentado. El estudio del MIT sirve como un claro recordatorio de este hecho, y es como descubrir que los trucos del mago no son en realidad magia, sólo un inteligente juego de manos.
Los últimos modelos de IA generativa son capaces de producir resultados asombrosos y mágicos similares a los humanos. ¿Pero realmente entienden algo? Eso será un gran no según el último estudio del MIT (a través de Techspot).
La principal preocupación es si los modelos de lenguaje avanzados como los LLM (Large Language Models) utilizados en los chatbots de primer nivel tienen la capacidad de construir representaciones precisas o «mapas mentales» del mundo real. El consenso general entre los investigadores del MIT parece ser que no poseen esta capacidad.
Para descubrir más, un equipo del MIT ideó métodos novedosos para evaluar el rendimiento de la IA que van más allá de las evaluaciones básicas de precisión de la respuesta. En cambio, se centran en autómatas finitos deterministas, o DFA, que forman la base de su proceso de evaluación.
Un autómata finito determinista (DFA) se refiere a una tarea dividida en una serie de acciones conectadas que se rigen por un conjunto específico de pautas. Por ejemplo, en el contexto de la investigación, se seleccionó como ejemplo la exploración de las calles de la ciudad de Nueva York.
El grupo de investigación del MIT descubrió que ciertos modelos de IA diseñados para generar direcciones pueden proporcionar instrucciones de navegación paso a paso notablemente precisas en la ciudad de Nueva York; sin embargo, estos resultados sólo se pueden lograr en condiciones perfectas. Cuando los investigadores obstruyeron algunas carreteras e introdujeron desvíos, el rendimiento disminuyó significativamente. Curiosamente, se encontró que los mapas internos creados por los Modelos de Aprendizaje de Idiomas durante sus procesos de capacitación estaban plagados de calles inexistentes y otras discrepancias.
Según el autor principal del estudio, Keyon Vafa, fue sorprendente la rapidez con la que el rendimiento disminuyó una vez que se introdujo un desvío. Si simplemente cerramos el 1% de las rutas potenciales, la precisión cae drásticamente de casi el 100% a sólo el 67%.
La lección central aquí es que la notable precisión de los LLM en ciertos contextos puede resultar engañosa. «A menudo vemos a estos modelos hacer cosas impresionantes y pensamos que deben haber entendido algo sobre el mundo. Espero que podamos convencer a la gente de que esta es una cuestión en la que hay que pensar con mucho cuidado y que no tenemos que confiar en nuestras propias intuiciones. responder», dice el autor principal del artículo, Ashesh Rambachan.
Esencialmente, esta investigación subraya la verdadera naturaleza de los recientes Modelos de Aprendizaje de Idiomas (LLM). En esencia, simplemente pronostican la siguiente palabra de una serie, basándose en grandes cantidades de texto que han recopilado, indexado y cruzado. Sin embargo, las capacidades de razonar y comprender no son aspectos intrínsecos de este proceso.
Según estudios recientes del MIT, los modelos de aprendizaje de idiomas (LLM) pueden funcionar excepcionalmente bien incluso sin comprender ninguna regla explícita. Sin embargo, su precisión puede deteriorarse rápidamente cuando se enfrentan a factores complejos del mundo real.
Por supuesto, esto no será del todo una novedad para cualquiera que esté familiarizado con el uso de chatbots. Todos hemos experimentado lo rápido que una interacción convincente con un chatbot puede degradarse hasta convertirse en una alucinación o simplemente en un galimatías después de cierto tipo de estímulo interrogativo.
Sin embargo, la investigación del MIT proporciona claridad al transformar nuestra comprensión anecdótica compartida en una interpretación académica estructurada. Anteriormente se entendía que los chatbots simplemente adivinaban palabras. Sin embargo, la precisión excepcional de ciertas respuestas en ocasiones deja a uno preguntándose si tal vez esté en juego algún fenómeno encantador.
Este último estudio es un recordatorio de que es casi seguro que no lo es. Bueno, no, a menos que tu idea de magia sea una predicción de palabras increíblemente precisa pero, en última instancia, absurda.
- El acólito insinúa que un legendario Lord Sith es el maestro misterioso
- Divertidísimo momento en el que el novio de Nadia Bartel arruina la sesión de fotos de Nicky Hilton en las carreras de Melbourne
- ¡Moda ahorrativa! Brooke Warne revela el precio MUY asequible de su impresionante conjunto del Oaks Day
- Ya está a la venta el nuevo número de la revista PC Gamer: Path of Exile 2
- ¿Qué campeón de LoL dice “Nunca le des la espalda al mar”?
- Solitary Echoes es un nuevo TC Mod basado en extraterrestres para Half-Life
- Warhammer 40k: Darktide llegará a PlayStation 5 el 3 de diciembre
- Programa de televisión Mass Effect en proceso en Amazon
- ‘Los hombres de mediana edad viajan por carretera mientras que las mujeres de mediana edad llegan a la menopausia’: los espectadores están HARTOS de los programas de viajes de celebridades, mientras Gary Barlow se presenta como el último presentador de ITV
- Explicación del final herético: ¿Cuál es la única religión verdadera?
2024-11-13 15:49