Electiva IA en Salud · Sesión 2 de 8 · Fundamentos 2/2

Hoy el modelo que
interrogamos es el
de cada uno de nosotros.

En la sesión pasada desarmamos un sistema que se instaló en cientos de hospitales sin que nadie lo midiera en su propia población. Fue cómodo, porque el error era de otro. Hoy cada uno pone sobre la mesa una pregunta de predicción propia y la sometemos al mismo interrogatorio.

Qué nos llevamos al salir

Una ficha de problema de una página, llena y revisada por un compañero. Es el documento con el que vamos a trabajar en las seis sesiones que quedan.

Por qué importa

En las sesiones de machine learning no vamos a modelar un ejercicio de juguete. Vamos a modelar esto. Una ficha floja hoy es un semestre incómodo.

Samuel Pimienta MD MSc PhD(c) · Universidad de La Sabana
La ficha de problema · Seis campos

Seis preguntas antes de tocar un solo dato

  1. Variable objetivo y su definición operativa.No «sepsis», sino cómo decidimos en la base de datos que un paciente la tiene. Y qué proporción de nuestra población la tiene.
  2. Unidad de análisis.Una fila es, ¿un paciente? ¿una hospitalización? ¿una hora de estancia? De esto depende todo lo demás.
  3. Momento de la predicción.El instante exacto en que corre el modelo. Y qué sabemos hasta ese instante, no un minuto después.
  4. Fuente del dato y disponibilidad.De dónde sale cada variable, y si de verdad está registrada en el momento del campo 3.
  5. Quién decide qué al ver la salida.La acción concreta que cambia. Si nadie hace nada distinto, no hay modelo que valga.
  6. Qué pasa cuando se equivoca, en cada dirección.Costo de un falso positivo y costo de un falso negativo. Casi nunca son iguales.
Sesión 2 · Fundamentos de IA en Salud
Ejemplo resuelto · El caso de la sesión pasada

Así se ve una ficha bien llena

1 · ObjetivoSepsis definida como dos criterios de respuesta inflamatoria más uno de disfunción orgánica dentro de 6 horas, con códigos CIE-10. Prevalencia: 7% de las hospitalizaciones.
2 · UnidadLa hospitalización. Pero el puntaje se calcula cada 15 minutos, y esa discordancia entre lo que se calcula y lo que se evalúa fue parte del problema.
3 · MomentoCada 15 minutos desde el ingreso, de forma continua, sin que nadie lo pida.
4 · FuenteCerca de 80 variables ya presentes en la historia clínica. Disponibles en automático, sin digitación adicional.
5 · DecisiónLa enfermera recibe la alerta y decide si escala al médico. Esa es la única acción que cambia.
6 · ErroresFalso positivo: alertas en el 18% de las hospitalizaciones con VPP del 12%, es decir fatiga de alarma. Falso negativo: el 67% de los pacientes con sepsis nunca generó alerta.

Nadie llenó esta ficha antes de encender el sistema. La llenaron los investigadores, un año después.

Sesión 2 · Fundamentos de IA en Salud
Taller · Cuarenta minutos, en silencio

Llenemos la ficha con nuestra propia pregunta

Cada uno con la suya, la de su práctica o la de su tesis. La llenamos aquí, no en la casa. Si un campo no lo podemos responder, dejamos la casilla vacía y escribimos al lado por qué. Una casilla vacía y explicada vale más que una casilla rellenada con humo.

Señal de alarma 1

Si no podemos escribir el campo 1 sin usar la frase «según criterio clínico», el desenlace no está en ninguna base de datos.

Señal de alarma 2

Si el campo 3 dice «al egreso» y el campo 5 dice que sirve para intervenir, la pregunta no es de predicción, es de descripción.

Señal de alarma 3

Si en el campo 5 nadie hace nada distinto, el modelo puede ser perfecto y aun así no servir para nada.

La ficha imprimible es la última lámina de esta baraja.

40 minutos · Se llena en clase
Intercambio cruzado · Nadie revisa la suya

Busquemos el defecto en la ficha del otro

Cada ficha pasa al compañero de la derecha. Diez minutos para leerla y dos para exponer, en voz alta, cuál es el campo más débil y por qué. No vale decir que está bien.

Las cuatro preguntas del revisor

¿El desenlace está de verdad en una base de datos, o hay que ir a leer historias una por una?

¿Alguna variable del campo 4 se registra después del momento del campo 3?

¿La decisión del campo 5 se toma hoy de otra forma, y esa forma es peor?

¿Cuál de los dos errores del campo 6 duele más, y el modelo está pensado para evitar ese?

Cómo lo decimos

Criticamos el trabajo, no a la persona. La fórmula que funciona: «en el campo tres dice X, y eso implica Y, que me parece un problema porque Z».

2 minutos por revisor
25 minutos · Revisión por pares
La ruta · Ocho sesiones, cuatro paradas

La ficha es la misma. Lo que cambia es la herramienta.

Sesiones 1 y 2
FundamentosAuditamos un modelo que ya falló y planteamos el nuestro. Insumo: el curso Fundamentos de IA en Salud. Producto: la ficha de problema.
Aquí estamos
Sesiones 3 y 4
Machine learningRecorremos «El reloj y la alarma» con datos reales de cuidados intensivos, hacemos el análisis exploratorio de nuestra propia idea y entrenamos regresión logística y modelos de árboles.
Los siete pasos de Steyerberg
TRIPOD+AI · Leiden y Oxford
Sesiones 5 y 6
Aprendizaje profundoQué cambia cuando el dato es una imagen. Construimos juntos un clasificador pequeño sobre radiografía de tórax con bases abiertas, y volvemos a llenar la ficha para ese caso.
CLAIM 2024 · FUTURE-AI
Sesiones 7 y 8
IA generativaEvaluamos un modelo de lenguaje en una tarea clínica concreta de las que trajimos, con su propia rúbrica. Y volvemos a la pregunta de la primera sesión: quién responde.
TRIPOD-LLM
Guía de la OMS sobre LMM

No aprobamos un modelo. Aprobamos una tarea, en una población, para una decisión.

Sesión 2 · Fundamentos de IA en Salud
Cierre · Lo que sigue

Lo difícil ya lo hicimos

De aquí en adelante viene lo que todo el mundo llama «la parte de inteligencia artificial»: regresión logística, árboles, bosques, redes neuronales, modelos de lenguaje. Nada de eso arregla una ficha mal llena. Un algoritmo mejor sobre una pregunta mal planteada produce un error más rápido y más convincente.

Para la próxima sesión

Recorremos «El reloj y la alarma» antes de llegar, está abierto y sin registro en el Laboratorio de Sepriori. Y traemos identificada la base de datos de la que saldría nuestra ficha, aunque sea imperfecta.

La apuesta del semestre

En algún punto vamos a tener un modelo con buen desempeño y una ficha mal llena. Esa combinación es exactamente el caso de la primera sesión.

Sesión 3 · Machine learning en salud
Ficha de problema · Electiva IA en Salud

Nombre: ______________________________ · La pregunta, en una sola frase: ______________________________________________________________

1 · Variable objetivo
Definición operativa exacta y prevalencia esperada
2 · Unidad de análisis
Qué representa una fila de la tabla
3 · Momento de la predicción
El instante exacto, y qué se sabe hasta ahí
4 · Fuente y disponibilidad
De dónde sale el dato y si existe en ese instante
5 · Quién decide qué
La acción concreta que cambia al ver la salida
6 · Costo de cada error
Falso positivo y falso negativo, por separado
Revisión de un par · Campo más débil y por qué
La llena otro estudiante, no el autor
Sepriori · Universidad de La Sabana · Sesión 2
Nota del docente
← → NAVEGAR · N NOTAS · F PANTALLA COMPLETA