Advancing AMIE towards expert-level audio-visual clinical consultations
En un avance significativo para la inteligencia artificial médica, Google ha presentado AMIE (Video), un sistema de IA diseñado para realizar consultas clínicas en video en tiempo real, alcanzando un nivel de rendimiento experto. Este desarrollo se ha logrado gracias a una demostración pionera en un estudio controlado aleatorio con consultas simuladas.
El sistema AMIE, conocido como Articulate Medical Intelligence Explorer, ha evolucionado desde sus inicios como una herramienta de diálogo diagnóstico basado en texto, hacia un sistema capaz de tratar y gestionar enfermedades a lo largo del tiempo. AMIE ha ampliado sus capacidades para evaluaciones a nivel de especialista en oncología, cardiología y oftalmología, integrando razonamiento diagnóstico multimodal sobre imágenes y documentos clínicos en entornos simulados con actores que interpretan a pacientes.
A pesar de estos avances, las interfaces basadas únicamente en texto han presentado limitaciones significativas, ya que descartan las dimensiones visuales y auditivas cruciales en la práctica clínica. Los pacientes se ven obligados a traducir síntomas físicos complejos en descripciones escritas, lo que puede resultar en la pérdida de información diagnóstica vital, especialmente para aquellos con limitaciones en alfabetización digital o de salud.
Para superar estas limitaciones, AMIE (Video) ha sido desarrollado sobre las plataformas Gemini y Project Astra, permitiendo consultas clínicas en video sincrónicas. Este sistema percibe señales clínicas no verbales, guía a los pacientes a través de exámenes físicos virtuales y razona diagnósticamente en tiempo real. En un estudio aleatorio con múltiples brazos que incluyó 100 escenarios, 300 consultas en vivo y un grupo de 30 médicos de atención primaria certificados, AMIE (Video) demostró un rendimiento a nivel experto en consultas clínicas en video en tiempo real.
El diseño de AMIE (Video) se basa en una arquitectura asincrónica de múltiples agentes que divide el trabajo entre tres agentes especializados: el agente hablador, que mantiene la interacción hablada de baja latencia con el paciente; el agente planificador, que refina el razonamiento clínico del sistema; y el agente de percepción, que revisa continuamente las señales de audio y video identificando señales no verbales clínicamente relevantes. Esta estructura permite mantener una latencia conversacional natural mientras se realiza el razonamiento diagnóstico y la percepción audiovisual sin introducir retrasos inaceptables.
Para guiar el desarrollo de AMIE (Video), se derivó una taxonomía de competencias clínicas audiovisuales relevantes para la telemedicina a partir de la literatura médica, cubriendo señales visuales no verbales, señales auditivas y maniobras de examen físico. Este enfoque ha permitido caracterizar las capacidades perceptuales y de razonamiento del sistema a gran escala.