En la reciente presentación de Gemini 2.0, Google afirmó que estaba colaborando con «evaluadores de confianza y expertos externos» para mejorar su inteligencia artificial. Sin embargo, una investigación de TechCrunch ha destapado que GlobalLogic, la empresa contratada para llevar a cabo estas evaluaciones, no destaca por contar con personal verdaderamente calificado. Al parecer, muchos de los evaluadores carecen del «conocimiento del dominio» necesario para realizar un análisis efectivo.

El objetivo inicial de Google al incorporar evaluadores externos era identificar respuestas que pudieran contener contenido sensible o dañino. Sin embargo, parece que la compañía se está desvinculando de las imprecisiones y alucinaciones producidas por Gemini. En lugar de que los evaluadores expertos identifiquen fallos, Google solo advierte que «Gemini puede cometer errores», dejando que sean los propios usuarios quienes validen la calidad de las respuestas.

Los riesgos de moderadores sin experiencia

En sus inicios, GlobalLogic (subsidiaria de Hitachi) instruyó a sus ingenieros y analistas a omitir respuestas incomprensibles de la IA. En su manual, se expuso que, si no tenían «conocimientos críticos para clasificar esta solicitud», debían dejar la tarea de lado. Esto aseguraba que solo expertos evaluaran las respuestas en áreas técnicas, como programación.

Sin embargo, este protocolo ha cambiado drásticamente. Recientemente, la empresa ha pedido a sus trabajadores que no omitan las respuestas que requieren conocimientos especializados, obligándolos a evaluar contenido que no comprenden completamente y a clasificar partes que no son de su área de especialización. Esto provoca que los evaluadores revisen resultados sobre los que carecen de conocimientos previos, generando dudas sobre la precisión de sus evaluaciones.

Una situación preocupante

Los contratados de GlobalLogic ahora solo pueden eludir la corrección de respuestas si «falta completamente información» o si detectan contenido sensible que necesita una autorización. Un moderador de Gemini comentó a TechCrunch que el propósito inicial de permitir omisiones era aumentar la precisión, pero con esta nueva medida, parece que el objetivo de Google de mejorar la calidad de los datos está lejos de cumplirse.

La respuesta de Google: un intento de justificar lo injustificable

Al ser cuestionada, Google defendió el trabajo de los evaluadores de GlobalLogic. Su portavoz, Shira McNamara, manifestó que estos expertos no solo revisan el contenido, sino también otros aspectos como el estilo y el formato, argumentando que sus calificaciones no afectan directamente a los algoritmos. Sin embargo, la realidad parece indicar que los moderadores no están enfocados en verificar la exactitud de las respuestas de la IA, sino que su labor se limita a garantizar que el texto sea comprensible.

En resumen, la situación genera inquietud sobre la capacidad de Google para administrar su IA de manera efectiva y responsable. Mientras los usuarios continúan usando Gemini, la pregunta pasa a ser: ¿podrá Google garantizar la calidad y veracidad de la información que proporciona su inteligencia artificial?