Bot ChatGPT passa no exame da faculdade de direito dos EUA

Um chatbot alimentado por resmas de dados da internet passou nos exames de uma faculdade de direito dos EUA depois de escrever ensaios sobre temas que vão desde o direito constitucional até a tributação e delitos.

O ChatGPT da OpenAI, uma empresa americana que esta semana recebeu uma injeção massiva de dinheiro da Microsoft, usa inteligência artificial (IA) para gerar fluxos de texto a partir de prompts simples.

Os resultados foram tão bons que os educadores alertaram que isso poderia levar à fraude generalizada e até mesmo sinalizar o fim dos métodos tradicionais de ensino em sala de aula.

Jonathan Choi, professor da Faculdade de Direito da Universidade de Minnesota, deu ao ChatGPT o mesmo teste enfrentado pelos alunos, que consiste em 95 questões de múltipla escolha e 12 questões dissertativas.

Em um white paper intitulado “ChatGPT vai para a faculdade de direito” publicado na segunda-feira, ele e seus coautores relataram que o bot obteve um C+ geral.

Embora isso fosse o suficiente para passar, o bot estava perto do último lugar da turma na maioria das matérias e “bombardeava” em questões de múltipla escolha envolvendo matemática.

‘Não é um ótimo aluno’

“Ao escrever ensaios, o ChatGPT demonstrou um forte domínio das regras legais básicas e teve uma organização e composição consistentemente sólidas”, escreveram os autores.

Mas o bot “muitas vezes lutava para identificar problemas quando recebia um prompt aberto, uma habilidade essencial nos exames da faculdade de direito”.

Funcionários em Nova York e outras jurisdições proibiram o uso do ChatGPT nas escolas, mas Choi sugeriu que poderia ser um valioso auxiliar de ensino.

“No geral, o ChatGPT não era um ótimo estudante de direito agindo sozinho”, escreveu ele no Twitter.

“Mas esperamos que a colaboração com humanos, modelos de linguagem como o ChatGPT, seja muito útil para estudantes de direito que fazem exames e para advogados praticantes”.

E minimizando a possibilidade de trapaça, ele escreveu em resposta a outro usuário do Twitter que dois em cada três marcadores haviam visto o papel escrito pelo bot.

“(Eles) tiveram um palpite e seu palpite estava certo, porque o ChatGPT tinha uma gramática perfeita e era um tanto repetitivo”, escreveu Choi.

© 2023 AFP