Um algoritmo hospitalar projetado para prever uma condição mortal perde a maioria dos casos

14

Um novo estudo descobriu que ele também tinha muitos alarmes falsos

Foto: Victoria Jones/PA Images via Getty Images

A maior empresa de registros eletrônicos de saúde dos Estados Unidos, a Epic Systems, afirma que pode resolver um grande problema para os hospitais: a identificação de sinais de sepse, uma complicação muitas vezes mortal de infecções que podem levar à falência de órgãos. É a principal causa de morte em hospitais.

Mas o algoritmo não funciona tão bem quanto anunciado, de acordo com um novo estudo publicado na JAMA Internal Medicine na segunda-feira. A Epic diz que seu sistema de alerta pode diferenciar corretamente pacientes que têm e não têm sepse 76% das vezes. O novo estudo descobriu que era apenas 63% do tempo.

Um porta-voz da Epic contestou as descobertas em uma declaração à Stat News, dizendo que outras pesquisas mostraram que o algoritmo era preciso.

Publicações Relacionadas

A sepse é difícil de detectar precocemente, mas iniciar o tratamento o mais rápido possível pode melhorar as chances de sobrevivência dos pacientes. O sistema Epic, e outras ferramentas de alerta automatizadas como ele, verificam os resultados dos testes dos pacientes em busca de sinais de que alguém poderia estar desenvolvendo a condição. Cerca de um quarto dos hospitais dos EUA usam os registros médicos eletrônicos da Epic, e centenas de hospitais usam sua ferramenta de previsão de sepse, incluindo o centro de saúde da Universidade de Michigan, onde o autor do estudo Karandeep Singh é professor assistente.

O estudo analisou dados de quase 40.000 internações na Michigan Medicine em 2018 e 2019. Os pacientes desenvolveram sepse em 2.552 dessas internações. A ferramenta de sepse da Epic perdeu 1.709 desses casos, dos quais cerca de dois terços ainda foram identificados e tratados rapidamente. Ele identificou apenas 7% dos casos de sepse que foram perdidos por um médico. A análise também encontrou uma alta taxa de falsos positivos: quando um alerta disparoupara um paciente, havia apenas 12% de chance de o paciente realmente desenvolver sepse.

Parte do problema, singh disse ao Stat News, parecia estar na forma como o algoritmo Épico foi desenvolvido. Definiu a sepse com base em quando um médico apresentaria um projeto de lei para o tratamento, não necessariamente quando um paciente desenvolveu sintomas pela primeira vez. Isso significa que está pegando casos em que o médico já acha que há um problema. “Está essencialmente tentando prever o que os médicos já estão fazendo”, disse Singh . Também não é a medida da sepse que os pesquisadores normalmente usariam.

Ferramentas que mineram dados de pacientes para prever o que pode acontecer com sua saúde são comuns e podem ser úteis para médicos. Mas eles são tão bons quanto os dados com os que são desenvolvidos, e eles devem estar sujeitos a avaliação externa. Quando os pesquisadores examinam ferramentas como esta, às vezes encontram buracos: por exemplo, um algoritmo usado pelos principais sistemas de saúde para sinalizar pacientes que precisam de atenção especial foi tendencioso contra pacientes negros, constatou um estudo de 2019.

A Epic lançou outra ferramenta preditiva, chamada Índice de Deterioração, durante os primeiros dias da pandemia COVID-19. Foi projetado para ajudar os médicos a decidir quais pacientes devem se mudar para a UTI e o que poderia ficar bem sem ele. A pandemia era uma emergência, então hospitais de todo o país começaram a usá-la antes de ser submetida a qualquer tipo de avaliação independente. Mesmo agora, houve uma pesquisa limitada sobre a ferramenta. Um pequeno estudo mostrou que poderia identificar pacientes de alto e baixo risco, mas pode não ser útil para os médicos. Pode haver problemas ou vieses imprevistos no sistema que passam despercebidos, alertaram pesquisadores da Universidade Brown em Undark.

Se as ferramentas digitais vão fazer jus ao seu potencial em saúde, empresas como a Epic devem ser transparentes sobre como são feitas e devem ser monitoradas regularmente para ter certeza de que estão funcionando bem, diz Singh no Twitter. Essas ferramentas estão se tornando cada vez mais comuns, então esses tipos de problemas não vão embora, disse Roy Adams, professor assistente da Johns Hopkins School of Medicine, à Wired. “Precisamos de avaliações mais independentes desses sistemas proprietários”, diz ele.