Recentemente, refleti sobre as dificuldades em avaliar as capacidades reais da inteligência artificial (IA). As empresas costumam utilizar benchmarks, um conjunto de testes específicos, para verificar até onde os modelos conseguem enfrentar diversos desafios. Contudo, é fundamental ter cautela quando alguém afirma que uma IA supera um humano em alguma tarefa. Essa afirmação, na verdade, se refere a um desempenho superior em testes que podem ser limitados e desatualizados.

O projeto "O Último Exame da Humanidade" tem como objetivo reunir uma ampla gama de contribuições para formular um conjunto de questões extremamente desafiadoras. E você pode fazer parte disso! Se você enviar uma pergunta que seja aprovada, seu nome será associado a ela, e você terá a chance de se tornar coautor do artigo que documentará esse conjunto de dados.

As perguntas precisam ser desafiadoras o suficiente para não especialistas e não devem ser facilmente respondidas por pessoas comuns, evitando pegadinhas. Após a submissão, suas perguntas serão testadas pelos modelos de IA mais avançados. Se uma IA não conseguir responder uma questão, você deverá fornecer uma solução completa, mas de forma concisa.

Para dar uma ideia do nível de dificuldade que os organizadores esperam, descobriram que se um estudante de graduação aleatório consegue entender a questão apresentada, é um forte indício de que a pergunta é, na verdade, muito fácil para um modelo de IA.

Este projeto pode se tornar um divisor de águas na forma como testamos e entendemos a inteligência artificial. Os desafios que você propor poderão revelar as limitações das IAs atuais, abrindo caminho para melhorias significativas no campo. Participe e ajude a moldar o futuro da tecnologia, colocando à prova as máquinas que já fazem parte do nosso cotidiano!