La inteligencia artificial ya forma parte de la conversación médica. Aparece en congresos, publicaciones científicas, herramientas de apoyo diagnóstico, sistemas de triaje, modelos predictivos y soluciones integradas en flujos asistenciales. Sin embargo, no todo lo que se publica como “IA clínica” tiene el mismo nivel de evidencia, ni todo resultado llamativo implica utilidad real para la práctica.

Un modelo puede alcanzar una AUC elevada en un conjunto de datos retrospectivo y, aun así, fallar al aplicarse en otro hospital, otra población o un entorno asistencial menos controlado. También puede mostrar buenos resultados frente a un comparador débil, excluir casos difíciles, utilizar datos no disponibles en la vida real o extraer conclusiones clínicas que van más allá de lo que el estudio demuestra.

Por eso, leer papers de IA clínica exige algo más que mirar la métrica principal. Requiere identificar señales de alerta metodológica: sesgos de selección, validación insuficiente, falta de generalización, problemas de comparador, riesgo de fuga de información y conclusiones sobredimensionadas.

Este artículo ofrece una guía práctica para que el profesional sanitario pueda distinguir entre un estudio sólido y un trabajo que parece prometedor, pero aporta poca evidencia útil para la toma de decisiones clínicas.

 

La primera pregunta: ¿qué demuestra realmente el estudio?

Antes de analizar métricas, conviene identificar qué tipo de estudio tenemos delante. No es lo mismo un trabajo que desarrolla un algoritmo, uno que lo valida externamente, uno que evalúa su impacto en el flujo clínico o un ensayo que mide desenlaces en pacientes.

Una primera señal de alerta aparece cuando el título o el resumen sugieren utilidad clínica, pero el estudio solo demuestra rendimiento técnico en una base de datos retrospectiva. En inteligencia artificial médica, esta diferencia es crítica. Un modelo puede clasificar imágenes, predecir riesgo o priorizar casos con buen rendimiento interno, pero eso no significa automáticamente que mejore decisiones, reduzca errores, ahorre tiempo o beneficie a los pacientes.

Las guías recientes de reporte, como TRIPOD+AI para modelos predictivos, STARD-AI para estudios de precisión diagnóstica con IA, CONSORT-AI para ensayos clínicos con intervenciones de IA y DECIDE-AI para evaluación temprana de sistemas de apoyo a la decisión, insisten en la necesidad de describir con claridad el objetivo del sistema, los datos utilizados, el contexto de uso, la evaluación realizada y las posibles fuentes de sesgo [1-4].
 

 

Métricas que impresionan, pero no siempre informan

Muchas publicaciones sobre IA clínica destacan métricas globales como accuracy, AUC o F1-score. Son útiles, pero pueden ser insuficientes si se presentan de forma aislada.

La accuracy puede resultar engañosa en enfermedades poco prevalentes. Un modelo que clasifica correctamente a la mayoría de pacientes sanos puede parecer excelente, aunque detecte mal los casos clínicamente relevantes. La AUC resume la capacidad discriminativa del modelo, pero no indica por sí sola si el punto de corte elegido es adecuado, si el sistema está bien calibrado o si produce un número aceptable de falsos positivos y falsos negativos en la práctica.

En medicina, la interpretación de una métrica depende del contexto clínico. No tiene el mismo impacto un falso positivo en una herramienta de cribado que un falso negativo en una situación tiempo-dependiente. Tampoco es igual priorizar sensibilidad, especificidad, valor predictivo positivo o valor predictivo negativo según el objetivo del sistema.

Una lectura crítica debería buscar sensibilidad y especificidad, valores predictivos en función de la prevalencia, intervalos de confianza, calibración, análisis de umbrales, curvas de decisión clínica cuando proceda y rendimiento por subgrupos relevantes. Una métrica brillante no compensa una pregunta clínica mal definida.

 

Validación interna no equivale a generalización

Una de las señales de alerta más frecuentes es presentar como “validado” un modelo que solo ha sido evaluado dentro del mismo entorno en el que se desarrolló.

Dividir una base de datos en entrenamiento, validación y test es una práctica necesaria, pero no suficiente para demostrar generalización. El modelo puede aprender patrones específicos de un hospital, una máquina, un protocolo, una población o una forma concreta de registrar los datos. Al cambiar de centro, de equipo, de prevalencia, de perfil de pacientes o de flujo asistencial, su rendimiento puede disminuir.

La validación externa independiente es un paso mucho más relevante: evalúa el modelo en datos procedentes de otro centro, otro periodo temporal o una población diferente. Aun así, tampoco garantiza por sí sola utilidad clínica. Para acercarse a la práctica real, idealmente debería existir evaluación prospectiva, análisis del impacto en decisiones clínicas y seguimiento del rendimiento tras la implementación.

Herramientas metodológicas como PROBAST+AI ponen el foco precisamente en la evaluación del riesgo de sesgo, la aplicabilidad y la calidad de los estudios de modelos predictivos, incluidos los desarrollados con inteligencia artificial [5].

 

Sesgo de selección: cuando el dataset no se parece a la consulta real

Un modelo aprende de los datos que recibe. Si esos datos no representan bien la práctica clínica, el resultado puede ser técnicamente correcto pero poco aplicable.

El sesgo de selección aparece cuando el estudio utiliza poblaciones demasiado homogéneas, excluye sistemáticamente casos complejos, se basa en datos de un único centro, incluye solo imágenes de alta calidad o no representa adecuadamente grupos por edad, sexo, origen, comorbilidades, gravedad o contexto asistencial.

Este punto es especialmente relevante en IA clínica porque muchos modelos funcionan peor en poblaciones infrarepresentadas. Un algoritmo entrenado mayoritariamente en un tipo de paciente puede mantener buen rendimiento medio, pero fallar en grupos concretos. Si el paper no informa resultados por subgrupos relevantes, el lector no puede saber si el rendimiento es consistente o si esconde desigualdades.

El problema de la transparencia tampoco es menor. Una revisión de dispositivos médicos con IA autorizados por la FDA identificó carencias importantes en el reporte de variables demográficas, evaluación de equidad, rendimiento y seguridad, lo que dificulta valorar la aplicabilidad real de muchas herramientas [6].

 

Data leakage: el error invisible que infla los resultados

El data leakage ocurre cuando el modelo accede, directa o indirectamente, a información que no estaría disponible en el momento real de la decisión clínica. Es una de las causas más peligrosas de resultados artificialmente altos.

Puede ocurrir de muchas formas: variables registradas después del desenlace, etiquetas derivadas del propio proceso diagnóstico, duplicación de pacientes entre entrenamiento y test, imágenes casi idénticas en particiones distintas o información de tratamiento que en realidad se decidió después de conocer la evolución del paciente.

En estos casos, el modelo parece predecir muy bien, pero en realidad está utilizando pistas que no existirían en la práctica. El resultado puede ser un rendimiento espectacular en el paper y una utilidad muy baja al desplegarlo.

Este riesgo no es solo conceptual. Un estudio publicado en JAMA Network Open mostró que el uso de códigos diagnósticos como variables para predecir desenlaces durante el mismo ingreso puede generar fuga de etiquetas, porque muchos de esos códigos no están disponibles en el momento en que la predicción debería utilizarse clínicamente [7].

 

Comparador débil: cuando la IA “gana” porque compite contra poco

Otra forma habitual de humo metodológico aparece cuando el modelo se compara con un estándar poco exigente.

Un paper puede afirmar que la IA supera al juicio clínico, pero utilizar como comparador a médicos no especializados, lectores sin experiencia, una evaluación sin acceso a la información habitual o un estándar asistencial simplificado. También puede compararse con ausencia de herramienta, en lugar de hacerlo frente a escalas clínicas, biomarcadores, protocolos o sistemas ya utilizados.

El comparador adecuado depende de la pregunta clínica. Si la herramienta pretende ayudar a radiólogos, debe evaluarse frente al flujo radiológico real o medir su efecto como apoyo al especialista. Si pretende priorizar pacientes, debería compararse con el sistema de priorización existente. Si promete mejorar decisiones, debería analizar si modifica conductas, tiempos, derivaciones, errores o desenlaces relevantes.
 

 

Conclusiones sobredimensionadas: del “modelo prometedor” al “cambio de práctica”

En muchos artículos, el principal problema no está en los métodos, sino en la interpretación. Los resultados pueden ser razonables, pero las conclusiones van demasiado lejos.

Algunas frases deben leerse con cautela: “puede transformar la práctica clínica”, “está listo para implementación”, “supera al médico” o “mejora la atención” cuando el estudio solo ha medido rendimiento retrospectivo en un dataset curado. La utilidad clínica requiere algo más que una métrica alta: necesita un contexto de uso claro, seguridad, integración en el flujo asistencial, evaluación prospectiva y desenlaces relevantes.

La autorización regulatoria tampoco debe confundirse con evidencia clínica completa o con impacto probado en resultados asistenciales. La lista de dispositivos con IA de la FDA identifica productos autorizados para su comercialización en Estados Unidos, pero esa información no sustituye a una lectura crítica de la evidencia publicada, ni elimina la necesidad de evaluar seguridad, rendimiento real y aplicabilidad local [8].

 

Señales de alerta en un paper de IA clínica

En lugar de revisar el artículo como una lista cerrada de requisitos, puede ser más útil leerlo como un mapa de señales. Cada señal no invalida por sí sola el estudio, pero sí indica que la evidencia debe interpretarse con más prudencia.
 

Señal de alerta	Qué mirar en el paper
1. La pregunta clínica es imprecisa	El estudio no deja claro qué decisión pretende apoyar el algoritmo, en qué pacientes se usaría, en qué momento del proceso asistencial ni qué problema clínico resuelve. Cuando la pregunta es vaga, las métricas pierden valor práctico.
2. El dataset parece demasiado limpio	Los datos proceden de un entorno muy controlado, con pocas imágenes de mala calidad, pocos pacientes complejos o criterios de exclusión que eliminan precisamente los casos frecuentes en la práctica real.
3. La población no se parece a los pacientes reales	El estudio no informa adecuadamente edad, sexo, comorbilidades, gravedad, procedencia, diversidad o contexto asistencial. También es una alerta si no se analiza el rendimiento por subgrupos relevantes.
4. La validación es solo interna	El modelo se evalúa con una partición del mismo dataset o con datos del mismo centro. Puede ser un buen punto de partida, pero no demuestra que el sistema funcione en otros hospitales, equipos, poblaciones o flujos clínicos.
5. La métrica principal domina el relato	El abstract destaca una AUC, accuracy o F1-score elevada, pero no informa calibración, intervalos de confianza, valores predictivos, sensibilidad, especificidad, umbrales de decisión ni consecuencias clínicas de los errores.
6. Hay posible fuga de información	El modelo utiliza variables que podrían no estar disponibles en el momento real de la decisión, o no queda claro si pacientes, estudios o imágenes similares se han separado correctamente entre entrenamiento y test.
7. El comparador no representa la práctica habitual	La IA se compara con un estándar débil, con profesionales no equivalentes al uso propuesto o con una versión simplificada de la atención real. Una superioridad frente a un comparador pobre no demuestra valor clínico.
8. No se describen los errores	El estudio muestra promedios, pero no explica en qué casos falla el modelo, cuántos falsos positivos y falsos negativos produce, ni qué implicaciones tendrían esos errores para pacientes y profesionales.
9. Falta integración en el flujo clínico	El paper no explica quién usaría la herramienta, cuándo aparecería la alerta, cómo se incorporaría al sistema de trabajo, qué carga añadida genera o cómo se resolverían discrepancias entre IA y criterio clínico.
10. La conclusión promete más de lo que demuestra	El estudio habla de implementación, ahorro de tiempo, mejora asistencial o impacto en pacientes sin haberlo medido. Esta es una de las señales más importantes: la conclusión debe ser proporcional al diseño del estudio.

 

Cómo leer un paper de IA clínica en cinco minutos

Cuando no hay tiempo para una lectura completa, una revisión rápida puede centrarse en cinco puntos: objetivo, datos, validación, métricas y conclusiones.

Primero, leer el objetivo y comprobar si la pregunta clínica está bien formulada. Segundo, revisar los datos: origen, número de centros, periodo temporal, criterios de exclusión y representatividad. Tercero, mirar la validación: interna, externa, prospectiva o en vida real. Cuarto, interpretar las métricas con contexto clínico, no solo el valor más llamativo. Quinto, revisar la discusión y comprobar si los autores reconocen limitaciones o si convierten un resultado preliminar en una promesa de implementación.

Esta lectura no sustituye a una evaluación metodológica completa, pero ayuda a detectar rápidamente estudios que requieren cautela.

 

No se trata de desconfiar de la IA, sino de exigir buena evidencia

La inteligencia artificial tiene un enorme potencial para mejorar el diagnóstico, la estratificación de riesgo, la eficiencia asistencial y la toma de decisiones. Pero ese potencial solo se traduce en valor clínico cuando los modelos se evalúan con rigor, transparencia y relevancia práctica.

Para el profesional sanitario, la lectura crítica de papers de IA clínica es una competencia cada vez más importante. No basta con preguntar si el algoritmo “acierta”. Hay que preguntar en quién acierta, dónde acierta, frente a qué compara, qué errores comete, si generaliza y si mejora algo que importe en la práctica real.

Detectar “humo” metodológico no significa rechazar la innovación. Significa proteger la calidad de la evidencia, evitar expectativas infladas y favorecer una adopción de la IA más segura, útil y clínicamente responsable.

 

 

PC-ES-119119-072026