I.A é o futuro? Entrevistamos o Chat GPT sobre a política em MS e o resultado é desanimador

A tecnologia está transformando a maneira como buscamos informações e o Chat GPT é uma ferramenta que está se tornando cada vez mais popular. Muitos afirmam ser uma promessa para o futuro. No entanto, quando se tratam de questões políticas em Mato Grosso do Sul, as respostas do Chat GPT podem estar sujeitas a imprecisões, o que pode levar a confusão e mal-entendidos.

Este avanço tornou a linha entre o virtual (inteligência artificial) e real ainda mais tênue. Quer um exemplo? O primeiro parágrafo desta matéria não foi escrito por um jornalista ou pessoa, mas sim pelo próprio Chat GPT, modelo de linguagem que tomou as discussões da internet.

Para muitos, o modelo é o futuro da internet e vem sendo usado para reduzir prazos e cumprir tarefas realizadas por diversos profissionais, como jornalistas. Entretanto, a novidade deve ser encarada e utilizada com cautela, pois a inteligência artificial, apesar de avançada, possui falhas.

O Chat GPT é um modelo de linguagem desenvolvido pela OpenAI, que utiliza redes neurais artificiais para processar e gerar textos. Ou seja, apesar de ser uma tecnologia de inteligência artificial, não é única.

Ele é baseado na arquitetura GPT (Generative Pre-trained Transformer), que permite que o modelo aprenda a linguagem natural a partir de um grande volume de dados textuais disponíveis na internet. A ideia é que, utilizando informações encontradas na internet, o Chat seja usado como assistente virtual, chatbots, tradutor, e outros.

O Chat GPT é bom, mas nem tanto

A inteligência artificial é utilizada para uma série de fatores e não tem como premissa inicial ser uma espécie de ‘verificador de informações’, mas um ‘executor’ de tarefas. Entretanto, resolvemos fazer alguns questionamentos para ele. Confira:

Jornal Midiamax: Quem comanda a prefeitura de Campo Grande, em Mato Grosso do Sul, atualmente?

Chat GPT: A prefeitura de Campo Grande, em Mato Grosso do Sul, atualmente é comandada pelo prefeito Marquinhos Trad, do Partido Social Democrático (PSD). Ele foi reeleito nas eleições municipais de 2020, com mais de 52% dos votos válidos no segundo turno.

Errado: A prefeitura de Campo Grande é comandada por Adriane Lopes (Patriota), que assumiu o cargo de prefeita após Marquinhos Trad deixar o Executivo Municipal para concorrer ao Governo de MS em 2022.

Jornal Midiamax: Quem governa o estado de Mato Grosso do Sul atualmente?

Chat GPT: O governador do estado de Mato Grosso do Sul atualmente é Reinaldo Azambuja, do Partido da Social Democracia Brasileira (PSDB). Ele foi eleito nas eleições estaduais de 2018, com mais de 55% dos votos válidos, e está em seu segundo mandato consecutivo como governador do estado, tendo assumido o cargo em janeiro de 2015.

Errado: Atualmente o governador de Mato Grosso do Sul é Eduardo Riedel (PSDB), eleito em 2022 com apoio de Azambuja.

Erro 2: Reinaldo Azambuja foi reeleito governador de Mato Grosso do Sul em 2018 com 52,35% dos votos válidos e não com mais de 55% como informado pela I.A.

Jornal Midiamax: Quem é o atual presidente da Assembleia Legislativa de Mato Grosso do Sul?

Chat GPT: O atual presidente da Assembleia Legislativa de Mato Grosso do Sul é o deputado estadual Paulo Corrêa. Ele foi eleito presidente em fevereiro de 2019, para o biênio 2019-2020, e reeleito em fevereiro de 2021, para o biênio 2021-2022. Paulo Corrêa é filiado ao Partido Liberal (PL) e está em seu terceiro mandato como deputado estadual em Mato Grosso do Sul.

Errado: Atualmente, a Alems (Assembleia Legislativa de Mato Grosso do Sul) é presidida pelo deputado Gerson Claro (PP). Ele assume o cargo de Paulo Correria (PSDB) após início de novo mandato na Casa.

Erro 2: O Chat também errou o partido de Paulo Correa, filiado ao PSDB e não ao PL.

Erro 3: Paulo Correa está no oitavo mandato na Alems. No período informado pelo chat, o deputado exercia o mandato pela sétima vez, não terceira como informado.

Limitação de data ajuda chat a colecionar erros

Um dos principais motivos que causam imprecisões e erros graves nas respostas do Chat GPT ocorre por conta da limitação temporal da plataforma, que possui dados até 2021. Caso essas mesmas perguntas tivessem sido realizadas há dois anos, grande parte das respostas estaria correta.

Entretanto, este não foi o único erro encontrado pela reportagem. Informações como partidos, número de mandatos e outras realizadas em testes anteriores eram sabidas e divulgadas já em 2021. Como nacionalidade de candidatos, partidos políticos, porcentagem de votos e outros.

Segundo a OpenIA, criadora do chat, algumas limitações devem ser consideradas antes do uso da inteligência artificial, como:

• Às vezes, o ChatGPT escreve respostas que parecem plausíveis, mas incorretas ou sem sentido. Corrigir esse problema é desafiador, pois: (1) durante o treinamento de RL, atualmente não há fonte de verdade; (2) treinar o modelo para ser mais cauteloso faz com que ele recuse perguntas que pode responder corretamente; e (3) o treinamento supervisionado engana o modelo porque a resposta ideal depende do que o modelo sabe, e não do que o demonstrador humano sabe.
• O ChatGPT é sensível a ajustes na frase de entrada ou tentativas do mesmo prompt várias vezes. Por exemplo, dada a formulação de uma pergunta, o modelo pode alegar não saber a resposta, mas, com uma pequena reformulação, pode responder corretamente.
• O modelo geralmente é excessivamente detalhado e usa certas frases, como reafirmar que é um modelo de linguagem treinado pelo OpenAI. Esses problemas surgem de vieses nos dados de treinamento (os instrutores preferem respostas mais longas que pareçam mais abrangentes) e problemas conhecidos de otimização excessiva.
• Idealmente, o modelo faria perguntas esclarecedoras quando o usuário fornecesse uma consulta ambígua. Em vez disso, nossos modelos atuais geralmente adivinham o que o usuário pretendia.

A empresa afirma ter realizado esforços “para fazer com que o modelo recuse solicitações inapropriadas, às vezes ele responde a instruções prejudiciais ou exibe um comportamento tendencioso”.

Por fim, a OpenIA afirma estar “usando a API de moderação para avisar ou bloquear certos tipos de conteúdo inseguro, mas esperamos que ela tenha alguns falsos negativos e positivos por enquanto”.