Estudo aponta que 52% das respostas do ChatGPT sobre programação estão erradas

Pesquisadores da Universidade de Purdue apresentaram um estudo que revela uma realidade preocupante: 52% das respostas de programação geradas pelo ChatGPT estão incorretas. Este número é alarmante, considerando que programadores têm buscado auxílio de chatbots para suas atividades de codificação.

O estudo analisou 517 questões do Stack Overflow e as tentativas de resposta do ChatGPT. Os resultados foram claros: as respostas do ChatGPT não apenas detêm uma grande quantidade de desinformação, mas também tendem a ser mais verbosas do que as respostas humanas. Além disso, as respostas fornecidas pela IA apresentam graus variados de inconsistência quando comparadas às dos humanos.

É importante notar que o uso crescente de plataformas AI para tarefas como programação e escrita levanta questões sobre a confiabilidade dessa tecnologia. As informações incorretas podem ser geradas com facilidade, muitas vezes levando os usuários a acreditar em dados inverídicos. O que esse estudo sublinha é a necessidade de verificar cuidadosamente a precisão das informações fornecidas por tais sistemas antes de considerá-las verdadeiras.

Um estudo realizado pela equipe de Purdue analisou a qualidade das respostas produzidas pelo ChatGPT. Os resultados sugeriram que as respostas do ChatGPT são “mais formais e analíticas”, apresentando “menos sentimentos negativos”. O tom geralmente é considerado mais amigável, o que pode ser uma das razões pela qual programadores tendem a ter uma percepção positiva dessas respostas, às vezes até ignorando pequenos erros contidos nelas.

Os pesquisadores de Purdue descobriram que entre os programadores consultados, um número considerável — especificamente 35% — demonstrou preferência pelas respostas geradas pelo ChatGPT.

Essa preferência pode ser atribuída ao uso de uma linguagem educada, articulada e ao estilo que lembra textos acadêmicos. Isso pode impactar na atenção dos usuários, fazendo com que baixem a guarda e não percebam informações incorretas.

A pesquisa expõe deficiências importantes do ChatGPT, o que é uma preocupação tanto para quem depende de fóruns online quanto para programadores cuja tarefa é corrigir erros originados de códigos gerados por IA. O estudo aponta para uma reflexão importante sobre a interação humano-robô e a confiabilidade das máquinas em contextos de linguagem natural.