Un nuevo estudio científico titulado "Tree of Thoughts: Deliberate Problem Solving with Large Language Models" ha sido publicado por investigadores de la Universidad de Princeton y Google DeepMind. Este artículo demuestra cómo una técnica llamada Tree of Thoughts (Árbol de los Pensamientos, o TOT por sus siglas en inglés) ha logrado incrementar la capacidad de ChatGPT para resolver problemas complejos del 4% al 74%. La técnica incluso conlleva una advertencia: TOT podría potencialmente facilitar usos perjudiciales de los Modelos de Lenguaje de gran escala en caso de interacción con entornos externos o seres humanos.
Los enfoques del árbol de los pensamientos
El árbol de los pensamientos (Tree of Thoughts o TOT) representa un avance significativo en la forma en que los modelos de lenguaje, como ChatGPT, pueden abordar y resolver problemas complejos. Para entender mejor los fundamentos y conceptos detrás de TOT, es necesario explorar los diferentes enfoques que emplea en su funcionamiento.
Input Output Prompting (I.O.)
El enfoque básico para comunicarse con modelos de lenguaje como ChatGPT es el Input Output Prompting (I.O.), que consiste en enviar una pregunta al modelo y obtener una respuesta. Aunque este enfoque es útil y directo, no siempre aprovecha al máximo las capacidades del modelo, especialmente al abordar problemas de razonamiento más profundos y complejos.
Chain of Thought Prompting (COT)
Una alternativa al enfoque básico I.O. es el Chain of Thought Prompting (COT). Este enfoque consiste en pensar en varios temas y evaluar sus posibles desarrollos antes de seleccionar el mejor y producir las palabras a utilizar. La idea detrás de COT es aprovechar el pensamiento previo al discurso, permitiendo al modelo explorar y considerar diferentes ramificaciones antes de decidir cuál camino seguir en la generación de una respuesta.
Self-Consistency con COT
Para mejorar aún más el enfoque de Chain of Thought, se puede combinar con Self-Consistency, que implica generar múltiples resultados para cada consulta y observar cuáles parecen ser los más consistentes entre sí. Al utilizar Self-Consistency con COT, se logra un método más eficaz y preciso para obtener las respuestas deseadas a partir de modelos de lenguaje.
El árbol de los pensamientos (TOT)
Finalmente, el enfoque TOT tiene el potencial de ser mucho más poderoso que los métodos previamente mencionados. TOT permite al modelo de lenguaje explorar varios caminos de razonamiento en forma de árbol, almacenando información y tomando decisiones en función de las ramificaciones exploradas. De esta manera, el modelo puede realizar una exploración más exhaustiva de posibles soluciones a los problemas planteados.
Lo que hace que TOT sea especialmente notable es su capacidad para planificar y retroceder cuando es necesario. Al permitir al modelo evaluar opciones en función de una planificación anticipada, TOT le brinda la oportunidad de optimizar su proceso de toma de decisiones y encontrar soluciones más efectivas a problemas complejos.
Visualización del árbol de los pensamientos
Un aspecto interesante del enfoque TOT es que permite visualizar el proceso de pensamiento del modelo en forma de un árbol de ramificaciones. Cada nodo del árbol representa una solución parcial, y las conexiones o ramas representan acciones que pueden modificar estas soluciones. Al representar el proceso de pensamiento de esta manera, se facilita la interpretación y comprensión de cómo el modelo llega a sus decisiones y se generan respuestas.
Así, TOT surge como un enfoque poderoso y sofisticado que permite a los modelos de lenguaje mejorar significativamente sus habilidades de razonamiento y resolución de problemas al explorar y evaluar múltiples caminos posibles en su búsqueda de soluciones.
Las pruebas en el estudio
El estudio de la técnica del Árbol de los Pensamientos (TOT) se llevó a cabo utilizando tres pruebas fundamentales que demostraron cómo esta metodología mejoró sustancialmente en la resolución de problemas en comparación con otros enfoques existentes.
El juego de 24: un reto matemático
La primera prueba fue el juego de 24, un desafío de razonamiento matemático en el que se debían utilizar cuatro números junto con las operaciones aritméticas básicas para obtener el número 24. Los investigadores probaron diferentes versiones de este juego, clasificándolas en función de la dificultad, medida en función del tiempo que les llevó a los humanos resolverlos.
Para esta prueba, compararon el desempeño de TOT con los métodos de Input Output (I.O.) y Chain of Thought, descubriendo que TOT superó significativamente a sus competidores con un sorprendente éxito del 74%. En comparación, el resultado con el enfoque I.O. fue de 7.3%, mientras que el método Chain of Thought alcanzó un 4%. El rendimiento del modelo de lenguaje se vio claramente intensificado gracias al enorme potencial de TOT en esta tarea de razonamiento matemático.
Escritura creativa: la coherencia de las historias
La segunda prueba consistió en evaluar la capacidad de los modelos de lenguaje para llevar a cabo una tarea de escritura creativa. El objetivo era producir un pasaje coherente de cuatro párrafos, utilizando cuatro oraciones específicas como las últimas de cada párrafo. Los investigadores diseñaron la tarea de manera que los modelos tuvieran que pensar estratégicamente sobre cómo unir las oraciones de manera narrativa y lógica.
Para evaluar si el enfoque TOT era adecuado para mejorar la coherencia en escritura creativa, se comparó su rendimiento con los otros dos enfoques mencionados previamente. Los resultados demostraron que TOT era, efectivamente, el enfoque más coherente en esta tarea de escritura creativa, superando a los otros métodos utilizados en la elaboración de pasajes lógicamente concatenados.
Mini crucigramas: una búsqueda más profunda
La tercera y última prueba involucraba el uso de mini crucigramas de 5x5 como un problema de búsqueda más complejo a nivel de lenguaje natural. En esta prueba, se exploraron las capacidades de los modelos de lenguaje en un desafío más difícil y exigente que las pruebas anteriores.
Para esta tarea, los investigadores optaron por un enfoque de búsqueda en profundidad con TOT, explorando las palabras y pistas más prometedoras en cada paso y retrocediendo para explorar alternativas cuando fuera necesario. Los resultados revelaron que TOT logró una tasa de éxito a nivel de palabra del 60% y resolvió 4 de los 20 juegos propuestos, lo que evidencia una vez más la superioridad de este enfoque en comparación con los otros métodos analizados.
Cabe mencionar que en cada una de estas pruebas, TOT demostró ser una técnica capaz de mejorar significativamente la capacidad de resolución de problemas de los modelos de lenguaje, al permitirles explorar múltiples caminos hacia soluciones y tomar decisiones globales basadas en este análisis más profundo y estratégico.
Limitaciones del Árbol de los Pensamientos
Una de las principales limitaciones del enfoque del Árbol de los Pensamientos (TOT) es el consumo de recursos que implica su implementación. Al requerir una exploración más profunda y amplia de las posibles soluciones a los problemas planteados, TOT demanda un mayor uso de tiempo, procesamiento y, en consecuencia, un incremento en los costos para los usuarios del modelo de lenguaje.
Sin embargo, es importante mencionar que la flexibilidad modular que ofrece TOT permite a los usuarios personalizar la relación entre el rendimiento y los costos, maximizando la eficiencia del modelo según sus necesidades y recursos disponibles.
Por otra parte, uno de los aspectos a tener en cuenta es el potencial de riesgos asociados a la interacción de los modelos de lenguaje con entornos externos o seres humanos. La capacidad de TOT para empoderar a los Modelos de Lenguaje y permitirles tomar decisiones de manera autónoma y más inteligente puede conducir a usos indebidos o perjudiciales en situaciones reales.
Por ende, es necesario abordar esta preocupación con responsabilidad y prudencia, especialmente en lo que respecta al diseño de sistemas que interaccionen directamente con personas u otros entornos sensibles donde ciertos resultados podrían tener consecuencias negativas o incluso peligrosas.
No obstante, también es relevante destacar que el enfoque del Árbol de los Pensamientos puede conllevar beneficios en cuanto a la interpretabilidad de las decisiones tomadas por los modelos de lenguaje. Al solicitar a los modelos que expresen sus procesos de razonamiento en lenguaje natural y de manera legible, TOT proporciona una ventana hacia el "pensamiento" de estos sistemas, facilitando la comprensión y el análisis de sus acciones y decisiones.
De esta manera, se abre una oportunidad para una mayor alineación con las expectativas humanas, al permitir a usuarios y desarrolladores entender mejor cómo el modelo llega a sus conclusiones y, potencialmente, contribuir a ajustar y optimizar sus procesos de razonamiento para refinar su comportamiento según las necesidades específicas de cada aplicación.
Conclusión
El enfoque de Tree of Thoughts (TOT) tiene el potencial de revolucionar la forma en que nuestros modelos de lenguaje modernos abordan los problemas, al permitir una mayor exploración de distintos caminos y toma de decisiones basada en criterios más amplios. Así, en lugar de confiar únicamente en procesos rápidos e internos, los modelos de lenguaje pueden tomar medidas más autónomas y bien fundamentadas para analizar objetivamente el problema en cuestión. Esto resulta en una generación de resultados que son constantemente excepcionales, precisos y reveladores.
Como hemos visto, la versatilidad y la aplicabilidad de TOT en varias situaciones lo diferencian de otros enfoques. Su capacidad para mejorar de manera impresionante la eficacia de los modelos de lenguaje en juegos de matemáticas, escritura creativa e incluso crucigramas demuestra su gran adaptabilidad. Al permitir que estos modelos de lenguaje puedan maniobrar fácilmente entre tareas que requieren diferentes habilidades, el enfoque TOT lleva su capacidad de resolución de problemas a nuevas alturas.
Hay que destacar el hecho de que uno de los logros más notables del enfoque TOT es su capacidad para mejorar la interpretabilidad y la transparencia de los modelos de lenguaje. Al permitir que estos modelos nos "muestren su trabajo", es decir, sus razones y procesos del pensamiento en cada paso del proceso, podemos comprender mejor las bases de sus decisiones y resultados. Este nivel de comprensión y alineación humana no solo es útil para nuestros propios esfuerzos en inteligencia artificial, sino que también podría abrir la puerta a una mayor cohesión entre humanos y máquinas en el futuro.
Por otra parte, un posible inconveniente del método TOT es su mayor demanda de recursos en comparación con otros métodos existentes. Sin embargo, su flexibilidad modular significa que los usuarios pueden adaptar fácilmente el enfoque a sus propias necesidades, personalizando el rendimiento y manteniendo un equilibrio que permita resultados óptimos a un costo aceptable. A medida que las tecnologías y las herramientas de código abierto sigan evolucionando, es probable que los costos y las barreras se reduzcan aún más.
Por último, el llamativo salto en el rendimiento que ofrece TOT no está exento de preocupaciones. La potencia y capacidad de resolución de problemas de este enfoque podrían conllevar riesgos si se aplica a interacciones con herramientas externas o seres humanos, facilitando posibles usos nocivos de los modelos de lenguaje. No obstante, esta misma potencia es también lo que hace que TOT sea una herramienta tan prometedora y emocionante en el campo del procesamiento del lenguaje natural y la inteligencia artificial. La clave para aprovechar de manera responsable y segura el poder de TOT en futuras aplicaciones, radica, sin duda, en la continua investigación y un entendimiento profundo de sus alcances y limitaciones.
