Os riscos de usar chatbot´s LLM para diagnósticos de saúde.
- #ChatGPT
- #Inteligência Artificial (IA)
Recentemente li uma matéria falando sobre a alta taxa de erro de diagnósticos oferecidos pelo recurso do ChatGPT em crianças e isso me acendeu um alerta sobre o uso correto da ferramenta e principalmente a importância de validarmos os resultados usando uma simples palavra que me recorda e muito o grande Mario Sergio Cortella, “Será ???”.
Mas vamos a matéria em questão, a mesma foi publicada no dia 01/03/2024 no site da ARS TECHNICA, o link pode ser encontrado aqui. Os pesquisadores identificaram que a ferramenta tinha dificuldades de reconhecer os relacionamentos e que existe a necessidade de um treinamento seletivo.
Em questão, os casos observados são pediátricos. Os pesquisadores da Cohen Children´s Medical Center de Nova York, coletaram 100 casos conhecidos, diagnosticados e publicados no período entre 2013 e 2023 pela JAMA Pediatrics e identificaram que o ChatGPT-4 ainda não está pronto para diagnósticos pediátricos assertivos. A ferramenta teve assertividade em apenas 17 dos 100 casos, sendo que 72 foram totalmente errados os diagnósticos e nos demais 11 casos restantes não conseguiu desenvolver um diagnóstico. Caramba!
Entre as falhas, os pesquisadores observaram que o ChatGPT parecia lutar para detectar relações conhecidas entre condições que um médico experiente esperava perceber. Por exemplo, não fez a conexão entre autismo e escorbuto (deficiência de vitamina C) em um caso médico. Condições neuropsiquiátricas, como o autismo, podem levar a dietas restritas, e isso, por sua vez, pode levar a deficiências vitamínicas. Como tal, as condições neuropsiquiátricas são fatores de risco notáveis para o desenvolvimento de deficiências vitamínicas em crianças que vivem em países de alta renda, e os médicos devem estar atentos a elas. ChatGPT, por sua vez, veio com o diagnóstico de uma condição autoimune rara.
Agora o grande X ( Ellon Musk não tem a ver heim Dio´s 😊 ) da questão é:
Quais as fontes de dados de treinamento do Chat-GPT?
Pois é... Internet é uma das fontes... E sabemos que muitas informações existentes não são confiáveis, não é mesmo? Porém os pesquisadores que realizaram estes testes acreditam que ferramentas LLM´s ( Large Language Model ) que são os nossos GPT´s ( Generative Pré – Trained Transformer ) possam ser melhorados e muito selecionando fontes corretas e ideais para treinamento buscando assim uma maior assertividade, fontes como livros técnicos da área de saúde, publicações científicas médicas, situações “cases” já estudadas e concluídas.
Consequentemente fica ai uma grande oportunidade para especialistas e entusisastas em Inteligência Artificial, em especial para os ChatBots, desenvolverem ferramentas LLM para situações mais específicas, treinando as mesmas com fontes de dados focadas no assunto.
Segue links para consultas.
ChatGPT bombs test on diagnosing kids’ medical cases with 83% error rate | Ars Technica
