Recientemente, ha surgido una interesante pugna en el mundo de la inteligencia artificial entre los modelos básicos de gran tamaño y los modelos open source más pequeños. Pero esta semana, se ha dado a conocer una nueva investigación que promete cambiar completamente la conversación en este ámbito. En este artículo vamos a abordar los avances en este campo y en especial el nuevo modelo "Orca" propuesto en el mencionado artículo de investigación.
El contexto de la batalla en la IA
La actual disputa en el campo de la inteligencia artificial se encuentra entre dos tipos de modelos: por un lado, los poderosos y vastos modelos básicos de gran tamaño desarrollados por gigantes de la tecnología como Google y OpenAI; por otro lado, los dinámicos y versátiles modelos open source, con su rápida evolución y avance.
La principal preocupación que subyace en este contexto de lucha radica en la velocidad de adaptación de los modelos open source, puesto que su constante desarrollo podría poner en riesgo la supremacía de los modelos básicos. Estos últimos cuentan con una vasta infraestructura y recursos prácticamente ilimitados que, en principio, les otorgan una gran ventaja. Pero el panorama cambia rápidamente debido a la proliferación de proyectos open source cada vez más sofisticados.
El rápido avance de los modelos open source: amenaza a la supremacía de los modelos básicos
La batalla se intensifica especialmente en el área de aplicación de los modelos enfocados en el procesamiento del lenguaje natural (NLP, por sus siglas en inglés). El vertiginoso ritmo de avance de los modelos open source ha demostrado su capacidad para evolucionar y mejorar constantemente. Uno de los factores clave en su éxito es la habilidad para implementar nuevas técnicas de entrenamiento y ajuste, lo que les permite funcionar cada vez más eficientemente.
La aparición constante de nuevas alternativas y enfoques en el ámbito open source no solamente está cerrando la brecha entre estos modelos y aquellos desarrollados por gigantes tecnológicos, sino que además podría estar generando numerosos avances innovadores en el campo de la inteligencia artificial.
Filtración de "We Have No Moat": reconocimiento de la relevancia de los modelos open source
Uno de los momentos más impactantes en esta batalla fue la filtración interna de un importante documento de Google llamado "We Have No Moat". Esta relevante publicación destacaba cómo los modelos open source están evolucionando rápidamente y reduciendo significativamente la brecha entre ellos y los modelos de mayor envergadura.
Este documento fue una revelación sorprendente, ya que mostró el reconocimiento dentro de la misma Google de la importancia y el potencial de los modelos open source en la industria de la inteligencia artificial.
La controversial respuesta de Berkeley: enfrentando las afirmaciones de la filtración
A raíz de la filtración de "We Have No Moat", se publicó un polémico artículo de la Universidad de California en Berkeley titulado "The False Promise of Imitating Proprietary Large Language Models (La falsa promesa de imitar a modelos propietarios de lenguaje de gran tamaño)", cuestionando las afirmaciones y el enfoque del documento filtrado, y alegando que los modelos open source no pueden equipararse en valor a las grandes alternativas propietarias, como GPT-4.
El estudio señalaba que estos modelos estarían imitando simplemente las salidas de los grandes modelos básicos, sin comprender propiamente la lógica y el razonamiento detrás de estos. Esta carencia resultaría en limitaciones importantes a la hora de enfrentarse a preguntas y problemas que no coincidan perfectamente con sus patrones de aprendizaje.
Desde entonces, el debate se ha mantenido activo y más vivo que nunca en el campo de la inteligencia artificial, generando avances y descubrimientos constantes que continúan desafiando nuestras expectativas y potenciando la interacción entre esos dos grandes ejes del desarrollo tecnológico: los modelos básicos y los open source.
El artículo sobre ORCA: Innovación y novedades en el mundo open source
El recientemente publicado artículo sobre ORCA ha causado un gran revuelo en el ámbito de la inteligencia artificial. Este ambicioso y deslumbrante documento no solo presenta una propuesta revolucionaria en el aprendizaje de las máquinas, sino que la empresa por detrás de la investigación también aporta un toque intrigante. En este apartado, examinaremos en detalle los avances y las novedades que este emocionante documento introduce en el mundo de los modelos open source.
De manera sorprendente, la empresa responsable del novedoso artículo sobre ORCA es Microsoft Research, una compañía que mantiene una relación estrecha con OpenAI, una de las líderes en el desarrollo de modelos propietarios de gran tamaño como GPT-4. La cooperación entre Microsoft, una de las mayores empresas en tecnología, y OpenAI, innovadora imparable en inteligencia artificial, ha resultado en una investigación que tiene repercusiones de gran alcance en el apasionante mundo de los modelos open source.
La propuesta de ORCA: desafiar a los gigantes
El artículo presenta el revolucionario modelo ORCA, que combina una estructura open source altamente eficiente con una técnica de aprendizaje progresivo que toma como base los razonamientos y lógicas de los avanzados modelos ChatGPT y GPT-4. Con esta propuesta, ORCA desafía la idea de que los modelos open source son inferiores a sus homólogos de acceso restringido, demostrando que es posible reducir las brechas y lograr un rendimiento comparable a los de las poderosas y sofisticadas herramientas investigadas por empresas como OpenAI.
El fundamento de ORCA: aprendizaje progresivo
ORCA se basa en una técnica de aprendizaje llamada explanation tuning, que se deriva de las explicaciones de razonamiento y lógica proporcionadas por los modelos ChatGPT y GPT-4 al resolver problemas o responder preguntas. En lugar de limitarse a aprender patrones de entrada y salida, el modelo open source busca comprender cómo se llega a una respuesta y adquirir la capacidad de usar estos conocimientos para enfrentarse a preguntas y problemas nuevos y más complejos. De este modo, ORCA supera las limitaciones de los modelos basados solo en la imitación y se convierte en un verdadero alumno de la inteligencia artificial.
ORCA en acción: avance y rendimiento
El modelo ORCA demuestra un progreso sustancial frente a otros modelos open source, superando incluso al ChatGPT en numerosas métricas de evaluación. No obstante, el dominante GPT-4 sigue liderando el campo en cuanto a rendimiento. Con su naturaleza progresiva y su enfoque en el aprendizaje a partir de explicaciones, ORCA llama la atención sobre cómo es posible alcanzar niveles de rendimiento similares a los de los modelos propietarios mediante la implementación de enfoques open source y técnicas de enseñanza más avanzadas.
El impacto que ORCA tendrá en el mundo real es emocionante e inmensurable. Su capacidad para aprender a partir de las explicaciones y razonamientos y aplicar este conocimiento a problemas diversos sugiere un futuro donde los modelos open source se encuentran en pie de igualdad con sus contrapartes propietarias, brindando acceso a soluciones aún más poderosas y eficientes en una amplia variedad de campos.
El progreso constante en el campo de los modelos open source, como lo demuestra ORCA, implica que, con el tiempo, la brecha entre estas herramientas y los gigantes de la inteligencia artificial propietaria, como GPT-4, continuará cerrándose aún más. En última instancia, la comunidad de desarrolladores y entusiastas se beneficiará enormemente de este avance, teniendo acceso a soluciones más potentes y avanzadas que se ajusten a las necesidades en constante cambio del mundo real.
Antecedentes documentales relevantes
El apasionante desarrollo del modelo open source ORCA no surge de un vacío, sino que está enmarcado en un contexto en el que dos documentos antecedentes tienen especial relevancia. A continuación, se expondrán estos dos trabajos fundamentales para comprender la génesis y el auge de la nueva generación de modelos de IA.
We Have No Moat: La rápida evolución de los modelos open source
We Have No Moat es un memorándum interno de Google filtrado hace algunas semanas, el cual descubre una realidad innegable en el mundo de la IA: Los modelos open source más pequeños están evolucionando rápidamente y poniendo en riesgo la supremacía de los grandes modelos básicos desarrollados por compañías emblemáticas como Google y OpenAI. El documento revela la creciente inquietud en el ámbito de la inteligencia artificial debido a la acelerada iteración y proliferación de estos modelos, los cuales están estrechando la brecha existente con respecto a sus contrapartes más grandes y propietarias, como GPT-4 y Palm 2.
Este sorprendente avance de los modelos open source se ve impulsado por la creciente pericia de los desarrolladores y la desentrañación de nuevos métodos de entrenamiento y ajuste fino. Estas innovaciones permiten, asimismo, la implementación de modelos open source en hardware de consumo.
Los puntos planteados en We Have No Moat son válidos y han generado un saludable debate en el campo de la inteligencia artificial, aunque eso no ha frenado el impulso de la comunidad open source en alcanzar nuevos horizontes.
La falsa promesa: un desafío teórico a los modelos open source
El segundo documento de interés es un artículo de investigación proveniente de la prestigiosa Universidad de California en Berkeley, titulado "The False Promise of Imitating Proprietary Large Language Models" (La falsa promesa de imitar a modelos propietarios de lenguaje de gran tamaño). Este trabajo proporciona un análisis teórico profundo y fundamentado sobre las limitaciones de los modelos open source y desafía las ideas contenidas en We Have No Moat.
El estudio de Berkeley postula que la imitación de los modelos open-source de las salidas de los modelos básicos más grandes no es suficiente para alcanzar un verdadero entendimiento y razonamiento. Al carecer de una comprensión real de la lógica detrás de las respuestas, estos modelos open source tendrían limitaciones significativas a la hora de abordar preguntas y problemas que no coinciden perfectamente con sus patrones de aprendizaje.
La propuesta de ORCA
La idea central de la propuesta de ORCA es que los modelos open source pueden aprender de las explicaciones detalladas proporcionadas por modelos más grandes como ChatGPT y GPT-4, buscando no solo imitar las respuestas, sino entender el razonamiento y lógica detrás de cada resolución de problemas.
Gracias a un novedoso enfoque de aprendizaje progresivo, ORCA es capaz de captar y absorber las explicaciones que entregan modelos como GPT-4 sobre cómo resuelven problemas o responden a preguntas. De esta manera, el proceso de aprendizaje se asemeja al de un estudiante que comprende en profundidad un tema, en lugar de únicamente memorizar entradas y salidas en función de patrones.
A través de la técnica de imitación del razonamiento, ORCA busca que los modelos open source no sólo se limiten a brindar respuestas similares a los modelos de gran escala, sino que también sean capaces de ofrecer la lógica y el razonamiento detrás de estas decisiones, permitiendo así un aprendizaje más profundo y significativo.
El enfoque de "explanation tuning"
Este innovador enfoque se denomina explanation tuning, en el cual el modelo open source aprende a partir de las explicaciones y razonamientos de GPT-4 para llegar a una respuesta, en lugar de simplemente aprender de pares de ítems de pregunta-respuesta. De esta manera, los modelos pueden aproximarse a la capacidad de comprender y comunicar las razones detrás de sus respuestas, ya que imita la forma en que los estudiantes humanos adquieren conocimientos y habilidades. Los seres humanos no solo aprenden a través de la memorización, sino también a través del razonamiento y la solución de problemas. Estos procesos cognitivos permiten a los aprendices ir más allá de lo que han memorizado y aplicar sus conocimientos a problemas nuevos y desconocidos.
Otra característica importante es el uso de técnicas modernas de generación de prompts. Estos prompts, que pueden incluir instrucciones como "Explain like I'm five" (Explícame como si tuviera cinco años) o "Think step by step" (Piensa paso a paso), son efectivos para extraer explicaciones más claras y detalladas de los modelos básicos.
Aprovechando el poder de estos prompts mejorados, ORCA logra obtener información valiosa de GPT-4 y ChatGPT y la aplica en su propio aprendizaje, permitiéndole cerrar la brecha de rendimiento con los modelos básicos más grandes.
Beneficios del explanation tuning
Creando un enfoque de aprendizaje que se nutre directamente de la enseñanza impartida por grandes modelos básicos como GPT-4, se espera que ORCA sea capaz de mejorar significativamente su rendimiento y comprensión en comparación con otros modelos de tamaño similar. Más concretamente, el explanation tuning apuesta por:
- Reforzar el aprendizaje del razonamiento y la lógica tras las respuestas entregadas.
- Fortalecer la capacidad de los modelos open source para lidiar con problemas y preguntas que presenten variaciones con respecto a las entradas originales.
- Facilitar un aprendizaje más holístico y profundo que permita a estos modelos ser más versátiles y útiles en una amplia variedad de tareas y aplicaciones.
Avances y resultados obtenidos por ORCA
Los resultados obtenidos por ORCA, siguiendo esta novedosa propuesta, han sido sorprendentes:
- ORCA supera a todos los demás modelos open source en múltiples estándares de evaluación, mostrándose como una solución altamente efectiva en el escenario de la IA.
- ORCA incluso supera a ChatGPT en muchos benchmarks, aunque todavía se ubica por detrás de GPT-4, una herramienta mucho más sofisticada y mejor desarrollada.
Gracias al aprendizaje progresivo, a la imitación del razonamiento y al enfoque de explanation tuning en su propuesta, ORCA representa un salto cualitativo importante en el desarrollo de modelos open source de IA que buscan no solo replicar, sino también comprender y mejorar las respuestas y razonamientos en función de los aprendizajes obtenidos de los grandes modelos básicos de la industria.
Aplicación práctica de ORCA en diferentes entornos
Como resultado de emplear la técnica del aprendizaje progresivo, ORCA ha demostrado un rendimiento excepcional en diversos ámbitos. Algunos ejemplos destacados incluyen:
- ORCA supera a modelos como Vicuña 13B en un 100% en evaluaciones de razonamiento complejo, como BigBenchHard, y en un 42% en AGI-Eval.
- El modelo alcanza la paridad con ChatGPT en la evaluación BigBenchHard.
- ORCA presenta un rendimiento competitivo en exámenes académicos y profesionales, como SAT, LSAT, GRE y GMAT.
Estos logros son atribuibles, en gran medida, a la implementación exitosa de la técnica de aprendizaje progresivo en el modelo ORCA.
En resumen, la técnica del aprendizaje progresivo en ORCA ha resultado en un enfoque revolucionario y efectivo para enseñar a los modelos open source a aprender de sus contrapartes más grandes en el mundo de la inteligencia artificial. Gracias a este enfoque, ORCA ha podido mejorar significativamente su desempeño, y sin duda, esta técnica continuará impulsando el desarrollo y la evolución de los modelos open source en el futuro.
