Uma investigação recente da Associated Press revelou que a tecnologia de transcrição de IA, Whisper, está gerando erros preocupantes em ambientes hospitalares.
Utilizada por mais de 30.000 profissionais de saúde e 40 sistemas hospitalares, a IA tem criado “alucinações”, inventando detalhes sobre pacientes, medicamentos inexistentes e até eventos sem fundamento, como atos sexuais.
Essa ferramenta, embora alertada como não adequada para áreas de alto risco, continua sendo utilizada em contextos médicos onde a precisão é essencial.
Os erros, que incluem desde diagnósticos errados até informações falsas em prontuários, podem gerar consequências sérias.
Segundo Alondra Nelson, professora do Instituto de Estudos Avançados, essas falhas podem ser catastróficas, pois ninguém quer um diagnóstico incorreto em um ambiente onde vidas estão em jogo.
Esse cenário exige um rigor muito maior, algo que a IA, neste caso, não está conseguindo entregar de maneira confiável.
IA Whisper inventa medicações e compromete a segurança dos pacientes
Embora tenham ajustado a Whisper para lidar com a linguagem médica, a ferramenta ainda apresenta erros críticos.
Martin Raison, diretor de tecnologia da Nabla, empresa que utiliza o Whisper, reconheceu que a IA possui limitações graves, apesar das adaptações feitas para o uso na área da saúde.
O principal problema é a dificuldade da IA em distinguir entre informações reais e fictícias, resultando em transcrições que frequentemente contêm alucinações.
Um engenheiro de aprendizado de máquina relatou que encontrou alucinações em 50% das mais de 100 horas de transcrições que analisou. Outro especialista examinou 26.000 transcrições e identificou erros em quase todas.
Essas falhas incluem a criação de medicamentos que não existem e a inserção de comentários sem relação com o contexto original, como expressões de youtubers.
Pesquisas reforçam a gravidade do problema ao mostrar que, em amostras curtas e bem gravadas, a IA já apresenta desempenho ruim.
Quando aplicam essa tecnologia em milhões de gravações médicas, a quantidade de erros se torna alarmante.
Pesquisadores classificam aproximadamente 40% desses erros como potencialmente prejudiciais, colocando a segurança dos pacientes em risco.
Falta de verificação nas transcrições
A extensão dos erros cometidos pela IA Whisper é ainda mais preocupante quando se considera que não há um método claro para verificar a precisão das transcrições.
A Nabla, empresa responsável por aplicar essa tecnologia, informa que as gravações originais são apagadas por questões de segurança de dados, o que impossibilita a comparação entre o áudio original e a transcrição gerada.
Como resultado, qualquer alucinação criada pela IA pode se tornar parte permanente do prontuário médico de um paciente.
William Saunders, engenheiro de pesquisa que deixou a OpenAI em protesto, afirmou que “não é possível detectar erros se a verdade original for eliminada.”
Este comentário ressalta o risco que os profissionais de saúde enfrentam ao confiar exclusivamente em transcrições geradas por uma IA que, além de falha, apaga a gravação original.
A incapacidade de validar as informações coloca tanto os médicos quanto os pacientes em uma situação vulnerável.
Apesar de estar ciente desses problemas, a Nabla continua a utilizar essa tecnologia em um ambiente de alto risco.
Executivos da empresa afirmaram que estão buscando soluções para minimizar as alucinações, mas a aplicação de uma IA experimental e ainda em desenvolvimento na área da saúde continua a ser uma questão de grande preocupação.
