Uma nova e inquietante pesquisa publicada na renomada revista Nature revela que os grandes modelos de linguagem (LLMs), que vêm se tornando cada vez mais poderosos, estão apresentando uma tendência alarmante: a de 'mentir' com maior frequência. De acordo com o estudo, isso sugere que, à medida que as inteligências artificiais se tornam mais 'especialistas' em uma variedade de tópicos, sua confiabilidade diminui drasticamente.

A investigação analisou diversos modelos avançados, incluindo o popular GPT da OpenAI, o LLaMA da Meta e o modelo BLOOM desenvolvido pelo grupo BigScience. Os testes foram abrangentes, explorando tópicos variados, desde matemática complexa até geografia, e envolviam tarefas como a lista de informações baseadas em uma ordem específica.

O que os especialistas descobriram é surpreendente! Os modelos mais poderosos produziram respostas mais precisas em geral, mas falharam em questões mais complicadas. Isso indica que, paradoxalmente, quanto mais sofisticadas se tornam as IAs – em termos de parâmetros, volume de dados de treinamento e outros critérios – maior é a porcentagem de respostas erradas que elas fornecem.

José Hernández-Orallo, um dos pesquisadores do Instituto Valenciano de Pesquisa de Inteligência Artificial, destaca que esses modelos estão programados para responder a praticamente todas as consultas. Isso gera um aumento no número de respostas corretas, mas, infelizmente, também implica em um aumento significativo nas respostas incorretas.

Além disso, a pesquisa levanta uma preocupação crucial: como os humanos conseguem discernir se uma IA está 'mentindo'? Quando submetidos a testar a precisão das respostas fornecidas pelos chatbots, um grupo cuidadosamente selecionado cometeu erros entre 10% e 40% das vezes. Isso evidencia a dificuldade que os usuários comuns enfrentam ao tentar avaliar a confiabilidade das informações geradas por essas tecnologias.

Os pesquisadores propõem que uma solução para mitigar essa propensão das IAs a 'mentir' seria programá-las para serem menos afobadas em oferecer respostas, admitindo quando não têm certeza sobre uma questão. Contudo, essa abordagem pode não ser atraente para as empresas de inteligência artificial, que estão em constante busca para impressionar o público com inovações tecnológicas impressionantes.

Essas descobertas levantam questionamentos sérios sobre a forma como interagimos com as máquinas e o futuro da inteligência artificial. Devemos confiar nelas? O que elas podem nos esconder? E o mais importante: até que ponto essas ferramentas podem impactar nossas vidas cotidianas?