La semana pasada, Meta llevó a cabo un evento impactante donde no solo presentó sus innovadoras gafas de realidad aumentada, las Orion, y las nuevas Meta Quest 3S, sino que también desveló la versión más reciente de su modelo de lenguaje, Llama 3.2, diseñado específicamente para integrarse en nuestros dispositivos móviles. Durante una entrevista sobre estos anuncios, Mark Zuckerberg abordó un asunto crucial: la razón detrás del masivo flujo de inversión en inteligencia artificial (IA) de las grandes tecnológicas.

Zuckerberg explicó que la IA solía tener un límite. En una conversación reciente con la youtuber Cleo Abram, comentó que en arquitecturas IA anteriores se alcanzaba un punto de saturación: por más datos que alimentaras al sistema, o más recursos que utilizaras para entrenarlo, llegabas a un estancamiento en el progreso. Sin embargo, este no parece ser el caso con los sistemas basados en la arquitectura "Transformer". Según Zuckerberg, "aún no hemos encontrado el límite" en la mejora modelada por estos sistemas.

Con esto en mente, el CEO de Meta enfatizó que existe la posibilidad de escalar enormemente el entrenamiento de Llama. Podrían entrenar Llama 3 con entre 10,000 y 20,000 GPUs. Con Llama 4, la cifra podría superar las 100,000, y con Llama 5 podría elevarse aún más. Esto plantea una pregunta intrigante: ¿hasta dónde podemos llegar?

No obstante, Zuckerberg también es consciente del riesgo. Aunque cree que no alcanzaremos ese límite en el corto plazo, admite que en algún momento podría suceder. A pesar de ello, su postura es clara: la inversión en IA continuará sin interrupción.

Este patrón de inversión no es exclusivo de Meta. Todas las grandes tecnológicas están siguiendo el mismo rumbo, destinando cantidades colosales de dinero a la IA, convencidos de que estos modelos están destinados a definir el futuro.

Por su parte, Yann LeCun, líder de IA en Meta, agregó más matices a la conversación. En una discusión en X, LeCun expresó que los modelos de lenguaje grandes (LLM) "puro y auto-regresivos" podrían ser "un callejón sin salida" para lograr una IA de nivel humano; sin embargo, siguen siendo muy útiles a corto plazo. Sostiene que esta infraestructura puede ir más allá de simplemente aprovechar los modelos de IA generativa actuales.

Las declaraciones de Zuckerberg no son sorprendentes; debe defender su apuesta por la IA de la misma manera que defendió la idea del metaverso, con la que ha acumulado pérdidas significativas. Aunque Meta ha dejado el metaverso en un segundo plano, su enfoque en IA cuenta con el respaldo de toda la industria tecnológica. Sin embargo, debe tenerse en cuenta que toda esta industria podría estar equivocada, como Zuckerberg mismo sugiere.