ChatGPT falha ao responder perguntas sobre medicamentos, diz estudo
Ferramenta de IA inventa referências, orienta dosagens equivocadas e pode oferecer risco ao paciente que usá-la para tirar dúvidas
Estudo realizado na Universidade de Long Island sugere que o ChatGPT pode não ser confiável para encontrar respostas a perguntas médicas. Pesquisadores fizeram 39 perguntas relacionadas a medicamentos na versão gratuita do chatbot de inteligência artificial (IA) e depois comparam as respostas com respostas reais escritas e revisadas por farmacêuticos. Todas elas eram perguntas reais do serviço de informações sobre medicamentos da Faculdade de Farmácia da universidade. O estudo descobriu que o ChatGPT forneceu respostas precisas para apenas cerca de 10 perguntas, ou cerca de um quarto do total. Para as outras 29 perguntas, as respostas estavam incompletas ou imprecisas, ou não abordavam as questões.
As descobertas foram apresentadas na durante a reunião anual da Sociedade Americana de Farmacêuticos de Sistemas de Saúde, que aconteceu entre no início do mês, em Anaheim, na Califórnia. “Esse achado apenas reforça o que temos reiterado desde sempre, ou seja, em caso de dúvidas sobre medicamentos, consulte o farmacêutico”, destaca o presidente do Conselho Federal de Farmácia, Walter da Silva Jorge João.
O também farmacêutico e consultor do conselho, Gabriel Freitas, reforça que o uso de medicamentos é sempre mais seguro quando indicado pelo profissional de saúde habilitado para tal e supervisionado pelo farmacêutico. “A par do risco da obtenção de uma informação errada ou imprecisa na internet, que é grande, mesmo que o dado esteja correto há ainda a possibilidade de uma interpretação equivocada porque do outro lado temos uma pessoa leiga no assunto”, destaca. “E cada paciente é diferente, portanto, o melhor é confiar no seu profissional da saúde.”
O ChatGPT, o chatbot experimental de IA da OpenAI, foi lançado em novembro de 2022 e se tornou o aplicativo de consumo de crescimento mais rápido da história, com quase 100 milhões de pessoas registradas em dois meses. Sara Grossman, professora-associada de prática farmacêutica na Universidade de Long Island e uma dos autores do estudo, explicou que, dada essa popularidade, o grupo se preocupou com a possibilidade de seus estudantes, outros farmacêuticos e consumidores comuns recorrerem a recursos como o ChatGPT para explorar questões sobre os seus planos de saúde e tratamentos. E eles descobriram que essas perguntas muitas vezes produziam respostas imprecisas, ou mesmo perigosas.
Em uma questão, por exemplo, os pesquisadores perguntaram ao ChatGPT se o medicamento antiviral Covid-19 Paxlovid e o medicamento para baixar a pressão arterial verapamil reagiriam entre si no corpo. O ChatGPT respondeu que tomar os dois medicamentos juntos não produziria efeitos adversos. Na realidade, as pessoas que tomam os dois medicamentos podem apresentar uma grande queda na pressão arterial, o que pode causar tonturas e desmaios. Para os pacientes que tomam ambos, os médicos muitas vezes criam planos específicos para o paciente, incluindo a redução da dose de verapamil ou alertando a pessoa para se levantar lentamente da posição sentada, disse Grossman. “Usar o ChatGPT para resolver esta questão colocaria o paciente em risco de uma interação medicamentosa indesejada e evitável”, escreveu Grossman num e-mail para a CNN.
Quando os pesquisadores pediram ao chatbot referências científicas para apoiar cada uma de suas respostas, eles descobriram que o software poderia fornecê-las apenas para oito das perguntas que eles fizeram. E em cada caso, ficaram surpresos ao descobrir que o ChatGPT estava fabricando referências. À primeira vista, as citações pareciam legítimas: muitas vezes eram formatadas adequadamente, forneciam URLs e eram listadas em revistas científicas legítimas. Mas quando a equipe tentou encontrar os artigos referenciados, percebeu que o ChatGPT lhes havia fornecido citações fictícias. “Essa descoberta reforça aos profissionais e acadêmicos da área da Saúde que busquem informações de fontes seguras, como os centros de informação sobre medicamentos. Temos muitas bases confiáveis para isso”, alerta Gabriel Freitas.
Em um caso, os pesquisadores perguntaram ao ChatGPT como converter doses de injeção espinhal do medicamento para espasmo muscular baclofen em doses orais correspondentes. A equipe de Grossman não conseguiu encontrar uma taxa de conversão de dose cientificamente estabelecida, mas o ChatGPT apresentou uma taxa de conversão única e citou orientações de duas organizações médicas, disse ela. No entanto, o exemplo de cálculo para a conversão de dose tinha com um erro crítico: misturou unidades ao calcular a dose oral.
Se essa orientação fosse seguida por um profissional de saúde, disse Grossman, ele poderia administrar ao paciente uma dose oral de baclofeno 1.000 vezes menor do que a necessária, o que poderia causar sintomas de abstinência, como alucinações e convulsões. “Houve numerosos erros e ‘problemas’ com esta resposta e, em última análise, ela poderia ter um impacto profundo no atendimento ao paciente”, escreveu ela.
O estudo da Universidade de Long Island não é o primeiro a levantar preocupações sobre as citações fictícias do ChatGPT. Pesquisas anteriores também documentaram que, quando questionado sobre questões médicas, o ChatGPT pode criar falsificações enganosas de referências científicas, até mesmo listando nomes de autores reais com publicações anteriores em revistas científicas.
Grossman, que havia trabalhado pouco com o software antes do estudo, ficou surpresa com a confiança com que o ChatGPT foi capaz de sintetizar informações quase instantaneamente, com respostas que levariam horas para profissionais treinados compilarem. “As respostas foram formuladas de uma forma muito profissional e sofisticada e parece que podem contribuir para um sentimento de confiança na precisão da ferramenta”, disse ela. “Um usuário, um consumidor ou outras pessoas que talvez não sejam capazes de discernir podem ser influenciados pela aparência de autoridade.”
Um porta-voz da OpenAI, a organização que desenvolve o ChatGPT, disse que aconselha os usuários a não confiarem nas respostas como substitutos de aconselhamento ou tratamento médico profissional. O porta-voz apontou para as políticas de uso do ChatGPT, que indicam que “os modelos do OpenAI não são ajustados para fornecer informações médicas”. A política também afirma que os modelos nunca devem ser utilizados para fornecer “serviços de diagnóstico ou tratamento para condições médicas graves”.
Embora Grossman não tivesse certeza de quantas pessoas usam o ChatGPT para responder a questões sobre medicamentos, ela levantou preocupações de que elas poderiam usar o chatbot da mesma forma que procurariam aconselhamento médico em mecanismos de pesquisa como o Google. “As pessoas estão sempre procurando respostas instantâneas quando têm isso ao seu alcance”, disse Grossman. “Acho que esta é apenas mais uma abordagem de usar ‘Dr. Google’ e outros métodos aparentemente fáceis de obter informações.” Para obter informações médicas on-line, ela recomendou que os consumidores usassem sites governamentais que fornecem informações confiáveis, como a página MedlinePlus do National Institutes of Health. Ainda assim, Grossman não acredita que as respostas online possam substituir o conselho de um profissional de saúde.