Cómo llevar a cabo una investigación éticamente sólida
¿Cuáles son los principios éticos y las consideraciones prácticas en la investigación médica y biomédica. Este curso proporciona las herramientas necesarias par […]
El carácter ‘adulador’ de la IA puede afectar a los avances en investigación biomédica
Varios estudios recogen cómo los modelos de inteligencia artificial tienden a reforzar las afirmaciones de los usuarios en lugar de cuestionarlas, priorizando la conformidad de los usuarios frente a la verificación de contenidos
La integración de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) en medicina avanza con rapidez. Estas herramientas ya se utilizan para resumir literatura científica, redactar informes clínicos, asistir en la comunicación con pacientes o apoyar decisiones diagnósticas1.
Sin embargo, a medida que se amplía su uso en investigación y práctica clínica, también emerge una cuestión crítica: hasta qué punto estos sistemas son capaces de mantener un razonamiento fiable cuando interactúan con el usuario1.
IA aduladora
Diversos estudios describen que los LLM tienen como tendencia recurrente reforzar las opiniones o las premisas del usuario en lugar de cuestionarlas, incluso cuando son incorrectas2.
Este fenómeno de falsa adulación o complacencia algorítmica, conocido como sycophancy, aparece cuando el sistema prioriza la conformidad frente a la verificación de contenidos y presenta su respuesta con un lenguaje convincente y aparentemente riguroso2.
Ratificar engaños
Un análisis reciente evaluó 11 modelos de inteligencia artificial mediante más de 11.500 consultas en las que diversas personas solicitaron consejo. Los resultados indicaron que los sistemas reafirmaban las decisiones del usuario con una frecuencia superior a la observada en interacciones humanas3.
En promedio, los modelos mostraron un nivel de afirmación un 50 % mayor que el registrado entre personas, incluso cuando las preguntas incluían referencias a manipulación o engaño3.
Reforzar posiciones
Ese trabajo incluyó dos experimentos con 1.604 participantes. En uno de ellos, los voluntarios interactuaron con sistemas de inteligencia artificial para discutir conflictos personales. Tras conversar con modelos que reforzaban su punto de vista, mostraron menos disposición a realizar acciones destinadas a resolver el conflicto y estaban más convencidos de que su posición es la correcta3.
Asimismo, los participantes calificaron las respuestas complacientes como de mayor calidad y expresaron más confianza en los sistemas que validaban su opinión. Este resultado sugiere que existen incentivos para que los modelos prioricen las respuestas que refuercen al usuario, lo que puede influir en la forma en que se entrenan y evalúan esos sistemas3.
En MSD Profesionales
Matemáticas complacientes
La complacencia en los modelos de lenguaje también se ha estudiado para detectar errores en tareas de razonamiento formal. El conjunto de pruebas BrokenMath se construyó a partir de 504 problemas avanzados de competiciones matemáticas de 2025, que fueron modificados para generar afirmaciones falsas revisadas por expertos posteriormente. El objetivo era comprobar si los LLM identificaban los errores o generaban una demostración aparentemente coherente para una afirmación incorrecta4.
Los resultados confirmaron que incluso GPT-5, el modelo con mejor rendimiento, generó respuestas complacientes en el 29 % de los casos analizados, mientras que otros presentaron tasas superiores. La conclusión fue que este tipo de respuestas limita la aplicabilidad de los LLM en tareas de razonamiento formal, donde la verificación humana sigue siendo imprescindible4.
Impacto en medicina
El impacto de este comportamiento adquiere especial relevancia en medicina. Una evaluación de cinco modelos de lenguaje mediante solicitudes que contenían premisas médicas incorrectas relacionadas con equivalencias entre nombres comerciales y genéricos de medicamentos pretendía averiguar si rechazaban las peticiones o generaban información falsa a partir de ellas5.
Los resultados mostraron una elevada tasa de cumplimiento de solicitudes incorrectas. En principio, incluso algunos modelos siguieron las instrucciones equivocadas en el 100 % de los casos analizados. Este comportamiento indica que los sistemas priorizaban la utilidad percibida de la respuesta frente a la coherencia lógica del contenido solicitado5.
Minimizar peligros
Los investigadores también evaluaron estrategias para reducir este riesgo. Gracias a la introducción de instrucciones explícitas que permitían rechazar solicitudes incorrectas y a la inclusión de recordatorios de hechos conocidos, mejoraron la capacidad de los modelos para identificar errores. En algunos sistemas avanzados, estas modificaciones permitieron rechazar hasta el 94 % de las solicitudes incorrectas5.
Otra estrategia consistió en aplicar ajustes supervisados con ejemplos de solicitudes médicas ilógicas. Tras este proceso, algunos LLM alcanzaron tasas de rechazo cercanas al 100 % en pruebas con medicamentos oncológicos y otros dominios no incluidos en el entrenamiento inicial. Este resultado indica que una adaptación dirigida puede mejorar la capacidad del sistema para detectar premisas incorrectas en diferentes contextos5.
Objetivos ocultos
Más allá de estas incidencias, varios trabajos analizaron los peligros relacionados con la alineación de los sistemas de inteligencia artificial. La sospecha es que algunos modelos avanzados podrían desarrollar comportamientos malintencionados, un fenómeno descrito como scheming. Para estudiar este riesgo se diseñaron evaluaciones basadas en acciones encubiertas, como incumplir reglas o modificar resultados en entornos de prueba6.
En evaluaciones realizadas en más de 180 entornos experimentales, las intervenciones de alineación redujeron la frecuencia de comportamientos encubiertos, aunque no los eliminaron por completo. En el caso de la versión o3 de OpenAI, la tasa de acciones encubiertas se redujo del 13 % al 0,4 %. Esto confirma que las actuales estrategias de alineación pueden disminuir ciertos riesgos, pero no lograr su desaparición6.
Uso de varias IA
Diversos equipos proponen estrategias para reducir estos efectos en investigación científica. Entre ellas se incluye el uso de sistemas con varios agentes de inteligencia artificial con funciones diferenciadas, en los que un agente genera hipótesis y otro evalúa su coherencia o identifica errores. También se propone el diseño estructurado de instrucciones (prompts) que incorporen una verificación de premisas antes de generar conclusiones7.
Otra línea de trabajo sería el desarrollo de directrices que incluyan la documentación del uso de modelos, la verificación independiente de los resultados generados por inteligencia artificial y la revisión por investigadores humanos de los análisis producidos por estos sistemas. El objetivo consistiría en integrar estas herramientas en el proceso científico sin sustituir los mecanismos de validación propios de la investigación biomédica8.
Fuentes:
1. New England Journal of Medicine AI, Assessment of Large Language Models in Clinical Reasoning: A Novel Benchmarking Study https://ai.nejm.org/doi/10.1056/AIdbp2500120
2. Nature, AI chatbots are sycophants https://www.nature.com/articles/d41586-025-03390-0
3. Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence https://arxiv.org/abs/2510.01395
4. BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs https://arxiv.org/abs/2510.04721
5. Nature Portfolio, When helpfulness backfires: LLMs and the risk of false medical information due to sycophantic behavior https://www.nature.com/articles/s41746-025-02008-z
6. Stress Testing Deliberative Alignment for Anti-Scheming Training https://arxiv.org/abs/2509.15541
7. Diseño de prompts para uso de Inteligencia Artificial como aliado estratégico en Metodologia de Investigación https://www.researchgate.net/publication/384809446_Diseno_de_prompts_para_uso_de_Inteligencia_Artificial_como_aliado_estrategico_en_Metodologia_de_Investigacion
8. Agents of Chaos https://arxiv.org/abs/2602.20021v1
Le puede interesar
Acceso indebido a historiales clínicos: un riesgo legal, ético y profesional para el personal sanitario
La legislación establece unos límites claros en lo que a privacidad y protección de datos se refiere. Descúbrala, así como las sentencias judiciales que han marcado jurisprudencia.
Impacto del entrenamiento de fuerza en la salud: de la neuroprotección a los procesos oncológicos
El entrenamiento de fuerza, según ha demostrado la ciencia, puede ayudar en múltiples aspectos de la salud como la funcionalidad, el metabolismo o la prevención de enfermedades como el cáncer. Conozca […]
Condicionantes de la salud mental en España: la clase social y el género
La salud mental es uno de los principales problemas sanitarios hoy en día. Conocer qué grupos están más expuestos ayuda a mejorar la prevención, diagnóstico y tratamientos. Conozca más en esta infogra […]
Trabajar como sanitario en el extranjero: guía práctica para ejercer fuera de España
¿Qué trámites hay que llevar a cabo para trabajar en el extranjero? ¿Necesito hacer algún trámite con los estudios ya realizados? Conozca todo lo necesario si está pensando en salir de España para eje […]
Médicos autónomos en España: claves fiscales, normativa impositiva y otras novedades
Conozca cuáles son las obligaciones fiscales y administrativas que tienen los médicos autónomos, así como los aspectos importantes a tener en cuenta en el caso de que no se quiera incurrir en irregula […]
Evidencia científica sobre cómo el calor afecta a determinadas condiciones y hábitos
Evidencia sobre cómo las olas de calor impactan en salud cardiovascular, respiratoria y sueño, quiénes son más vulnerables y qué medidas y tratamientos se revisan en España.
El carácter ‘adulador’ de la IA puede afectar a los avances en investigación biomédica
Varios estudios recogen cómo los modelos de inteligencia artificial tienden a reforzar las afirmaciones de los usuarios en lugar de cuestionarlas, priorizando la conformidad de los usuarios frente a la verificación de contenidos
La integración de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) en medicina avanza con rapidez. Estas herramientas ya se utilizan para resumir literatura científica, redactar informes clínicos, asistir en la comunicación con pacientes o apoyar decisiones diagnósticas1.
Sin embargo, a medida que se amplía su uso en investigación y práctica clínica, también emerge una cuestión crítica: hasta qué punto estos sistemas son capaces de mantener un razonamiento fiable cuando interactúan con el usuario1.
IA aduladora
Diversos estudios describen que los LLM tienen como tendencia recurrente reforzar las opiniones o las premisas del usuario en lugar de cuestionarlas, incluso cuando son incorrectas2.
Este fenómeno de falsa adulación o complacencia algorítmica, conocido como sycophancy, aparece cuando el sistema prioriza la conformidad frente a la verificación de contenidos y presenta su respuesta con un lenguaje convincente y aparentemente riguroso2.
Ratificar engaños
Un análisis reciente evaluó 11 modelos de inteligencia artificial mediante más de 11.500 consultas en las que diversas personas solicitaron consejo. Los resultados indicaron que los sistemas reafirmaban las decisiones del usuario con una frecuencia superior a la observada en interacciones humanas3.
En promedio, los modelos mostraron un nivel de afirmación un 50 % mayor que el registrado entre personas, incluso cuando las preguntas incluían referencias a manipulación o engaño3.
Reforzar posiciones
Ese trabajo incluyó dos experimentos con 1.604 participantes. En uno de ellos, los voluntarios interactuaron con sistemas de inteligencia artificial para discutir conflictos personales. Tras conversar con modelos que reforzaban su punto de vista, mostraron menos disposición a realizar acciones destinadas a resolver el conflicto y estaban más convencidos de que su posición es la correcta3.
Asimismo, los participantes calificaron las respuestas complacientes como de mayor calidad y expresaron más confianza en los sistemas que validaban su opinión. Este resultado sugiere que existen incentivos para que los modelos prioricen las respuestas que refuercen al usuario, lo que puede influir en la forma en que se entrenan y evalúan esos sistemas3.
Matemáticas complacientes
La complacencia en los modelos de lenguaje también se ha estudiado para detectar errores en tareas de razonamiento formal. El conjunto de pruebas BrokenMath se construyó a partir de 504 problemas avanzados de competiciones matemáticas de 2025, que fueron modificados para generar afirmaciones falsas revisadas por expertos posteriormente. El objetivo era comprobar si los LLM identificaban los errores o generaban una demostración aparentemente coherente para una afirmación incorrecta4.
Los resultados confirmaron que incluso GPT-5, el modelo con mejor rendimiento, generó respuestas complacientes en el 29 % de los casos analizados, mientras que otros presentaron tasas superiores. La conclusión fue que este tipo de respuestas limita la aplicabilidad de los LLM en tareas de razonamiento formal, donde la verificación humana sigue siendo imprescindible4.
Impacto en medicina
El impacto de este comportamiento adquiere especial relevancia en medicina. Una evaluación de cinco modelos de lenguaje mediante solicitudes que contenían premisas médicas incorrectas relacionadas con equivalencias entre nombres comerciales y genéricos de medicamentos pretendía averiguar si rechazaban las peticiones o generaban información falsa a partir de ellas5.
Los resultados mostraron una elevada tasa de cumplimiento de solicitudes incorrectas. En principio, incluso algunos modelos siguieron las instrucciones equivocadas en el 100 % de los casos analizados. Este comportamiento indica que los sistemas priorizaban la utilidad percibida de la respuesta frente a la coherencia lógica del contenido solicitado5.
Minimizar peligros
Los investigadores también evaluaron estrategias para reducir este riesgo. Gracias a la introducción de instrucciones explícitas que permitían rechazar solicitudes incorrectas y a la inclusión de recordatorios de hechos conocidos, mejoraron la capacidad de los modelos para identificar errores. En algunos sistemas avanzados, estas modificaciones permitieron rechazar hasta el 94 % de las solicitudes incorrectas5.
Otra estrategia consistió en aplicar ajustes supervisados con ejemplos de solicitudes médicas ilógicas. Tras este proceso, algunos LLM alcanzaron tasas de rechazo cercanas al 100 % en pruebas con medicamentos oncológicos y otros dominios no incluidos en el entrenamiento inicial. Este resultado indica que una adaptación dirigida puede mejorar la capacidad del sistema para detectar premisas incorrectas en diferentes contextos5.
Objetivos ocultos
Más allá de estas incidencias, varios trabajos analizaron los peligros relacionados con la alineación de los sistemas de inteligencia artificial. La sospecha es que algunos modelos avanzados podrían desarrollar comportamientos malintencionados, un fenómeno descrito como scheming. Para estudiar este riesgo se diseñaron evaluaciones basadas en acciones encubiertas, como incumplir reglas o modificar resultados en entornos de prueba6.
En evaluaciones realizadas en más de 180 entornos experimentales, las intervenciones de alineación redujeron la frecuencia de comportamientos encubiertos, aunque no los eliminaron por completo. En el caso de la versión o3 de OpenAI, la tasa de acciones encubiertas se redujo del 13 % al 0,4 %. Esto confirma que las actuales estrategias de alineación pueden disminuir ciertos riesgos, pero no lograr su desaparición6.
Uso de varias IA
Diversos equipos proponen estrategias para reducir estos efectos en investigación científica. Entre ellas se incluye el uso de sistemas con varios agentes de inteligencia artificial con funciones diferenciadas, en los que un agente genera hipótesis y otro evalúa su coherencia o identifica errores. También se propone el diseño estructurado de instrucciones (prompts) que incorporen una verificación de premisas antes de generar conclusiones7.
Otra línea de trabajo sería el desarrollo de directrices que incluyan la documentación del uso de modelos, la verificación independiente de los resultados generados por inteligencia artificial y la revisión por investigadores humanos de los análisis producidos por estos sistemas. El objetivo consistiría en integrar estas herramientas en el proceso científico sin sustituir los mecanismos de validación propios de la investigación biomédica8.
Fuentes:
1. New England Journal of Medicine AI, Assessment of Large Language Models in Clinical Reasoning: A Novel Benchmarking Study https://ai.nejm.org/doi/10.1056/AIdbp2500120
2. Nature, AI chatbots are sycophants https://www.nature.com/articles/d41586-025-03390-0
3. Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence https://arxiv.org/abs/2510.01395
4. BrokenMath: A Benchmark for Sycophancy in Theorem Proving with LLMs https://arxiv.org/abs/2510.04721
5. Nature Portfolio, When helpfulness backfires: LLMs and the risk of false medical information due to sycophantic behavior https://www.nature.com/articles/s41746-025-02008-z
6. Stress Testing Deliberative Alignment for Anti-Scheming Training https://arxiv.org/abs/2509.15541
7. Diseño de prompts para uso de Inteligencia Artificial como aliado estratégico en Metodologia de Investigación https://www.researchgate.net/publication/384809446_Diseno_de_prompts_para_uso_de_Inteligencia_Artificial_como_aliado_estrategico_en_Metodologia_de_Investigacion
8. Agents of Chaos https://arxiv.org/abs/2602.20021v1