Dot.lib

À medida que a inteligência artificial (IA) se torna onipresente na saúde, uma questão fundamental emerge: podemos confiar no modelo? Um novo artigo de Aaron Lai para a ORMS Today, da nossa editora parceira INFORMS, argumenta que a confiança cega em algoritmos pode levar a danos significativos, e que o problema central reside menos nos modelos e mais nos dados que os alimentam. O texto explora a lacuna regulatória existente, os vieses ocultos nos dados de saúde e propõe ações políticas concretas.

O autor destaca que as políticas regulatórias atuais, como as da FDA, focam em modelos estatísticos tradicionais (model-driven), enquanto a IA é fundamentalmente orientada por dados (data-driven). Sem uma governança de dados eficaz, as ferramentas de IA podem perpetuar e até ampliar desigualdades.

Os principais pontos de alerta do artigo são:

• Vieses Ocultos nos Dados: As ferramentas de IA são tão boas quanto os dados com os quais são treinadas. Esses dados, no entanto, estão repletos de armadilhas:
  
  
• Viés de Confirmação: É comum encontrar evidências que suportam noções preconcebidas, limitando o universo de dados de treinamento para os modelos de IA.
  
  
• Uso Indevido de Dados: Frequentemente, os modelos utilizam os dados disponíveis, e não os dados necessários. Isso pode levar a consequências não intencionais, como o caso do algoritmo da Optum que apresentou viés racial.
  
  
• Dados Incompletos: Em modelos como o de pagamento baseado em valor, os provedores podem não ter incentivo para documentar exaustivamente todos os detalhes, gerando dados com lacunas desconhecidas.
  
  
• Uma Lacuna Regulatória: As regulamentações atuais estão defasadas. Nos EUA, a FDA foca na segurança clínica de dispositivos, enquanto o HHS foca no paciente. Essa fragmentação (incluindo leis estaduais díspares, como as da Califórnia) cria brechas e não está claro como a responsabilidade é alocada entre criadores de IA, desenvolvedores de software e usuários.
  
  
• A Necessidade de um Novo Contrato Social: O autor defende um novo contrato social para a IA, que seja simultaneamente "prospectivo e retrospectivo". Ele sugere um quadro regulatório abrangente que estabeleça padrões de "uso ético" para dados de saúde, possivelmente através de um conselho consultivo público-privado, semelhante ao NICE no Reino Unido.

O artigo conclui com ações políticas claras: a FDA deve acelerar a avaliação de Software como Dispositivo Médico (SaMD) com foco na transparência do uso de dados; os estados devem harmonizar seus requisitos; e o Congresso deve simplificar as políticas de responsabilidade dos modelos.

Para aprofundar-se na análise sobre os tipos de vieses em dados de saúde e nas propostas de regulação, recomendamos a leitura do artigo completo.

Sobre a INFORMS

INFORMS é a principal associação internacional para profissionais de pesquisa operacional, análise, ciência da administração, economia, ciência comportamental, estatística, inteligência artificial, ciência de dados, matemática aplicada e outros campos relevantes. Ela avança e promove a ciência e a tecnologia da tomada de decisões para salvar vidas, economizar dinheiro e resolver problemas.

Se você deseja conhecer melhor o portfólio da INFORMS para a sua instituição, entre em contato pelo info@dotlib.com ou preencha nosso formulário. Aproveite e acompanhe nosso blog, siga nossas redes sociais e se inscreva na Dotlib TV, nosso canal oficial no YouTube.