Durante los últimos años, las herramientas de inteligencia artificial irrumpieron con fuerza en el ámbito del desarrollo de software, prometiendo agilizar procesos, reducir errores y aumentar la productividad.
Sin embargo, un reciente estudio de la organización sin fines de lucro METR (Model Evaluation and Testing for Research) desafía directamente ese discurso optimista: según sus hallazgos, los desarrolladores experimentados que usaron asistentes de codificación con IA como Cursor tardaron un 19% más en completar tareas en bases de código que ya conocían, a pesar de que creían estar siendo más rápidos.
Una percepción inflada de eficiencia
El estudio revela una desconexión llamativa entre lo que los desarrolladores sienten y lo que realmente sucede. Los participantes del experimento —todos con un promedio de casi cinco años de experiencia en proyectos complejos y maduros— estaban convencidos de que habían mejorado su productividad en un 20%. En realidad, su rendimiento fue notablemente peor en comparación con quienes no usaron herramientas de IA.
Este fenómeno puede explicarse, en parte, por un sesgo cognitivo conocido como el "paradigma de justificación del esfuerzo": cuando alguien invierte tiempo y energía en usar una herramienta, tiende a sobrevalorar su utilidad, aunque los resultados objetivos indiquen lo contrario. En este caso, escribir instrucciones para la IA, interpretar sus respuestas y adaptar sus sugerencias no solo no agilizó el trabajo, sino que lo ralentizó.
Una metodología rigurosa para un resultado sorprendente
El estudio de METR no fue anecdótico ni superficial. Se trató de un ensayo controlado aleatorizado con 16 desarrolladores trabajando en 246 tareas reales, en proyectos con bases de código complejas. Se utilizaron grabaciones de pantalla y seguimiento del tiempo para obtener mediciones objetivas. Lo sorprendente es que incluso economistas y expertos en machine learning esperaban mejoras de productividad, y sin embargo, el resultado fue el opuesto.
Los investigadores también descartaron factores que podrían haber sesgado los resultados, como el hecho de que los participantes sabían si estaban usando o no IA. METR fue enfática: los resultados reflejan una “instantánea” de las capacidades de estas herramientas a comienzos de 2025, y no implican que no puedan mejorar con el tiempo.
¿Qué está fallando?
Una de las razones por las que los asistentes de IA no funcionan tan bien en entornos complejos es que interrumpen el flujo de trabajo de los desarrolladores experimentados. A diferencia de lo que podría suponerse, los programadores no dedican la mayor parte de su tiempo a escribir código, sino a entender cómo se conecta, recopilar información, revisar documentación y mantener el contexto general del sistema.
Como explicó un exingeniero de Uber Eats citado en el estudio, "los desarrolladores no pierden tiempo escribiendo código, lo pierden recopilando información". Y ese es un terreno donde los asistentes de IA actuales tienen limitaciones, especialmente cuando se enfrentan a proyectos grandes, con más de 50.000 líneas de código. Allí, las sugerencias de IA pueden ser sintácticamente correctas pero contextualmente erróneas, introduciendo errores difíciles de detectar que pueden escalar.
Este fenómeno ha sido apodado por algunos desarrolladores como “El Problema de Ricitos de Oro”: encontrar una herramienta que ayude sin estorbar. Algunos prefieren "asistentes en segundo plano" que intervienen solo cuando se los necesita; otros buscan "colaboradores activos" que los acompañen paso a paso. Pero no hay una solución universal: todo depende del estilo de trabajo del programador y del tipo de proyecto.
Ganancias sí, pero en otros contextos
El informe de METR no condena por completo a los asistentes de IA. De hecho, reconoce que en ciertos escenarios sí aportan beneficios tangibles. Para programadores novatos, por ejemplo, el ahorro de tiempo puede llegar al 40%. Estas herramientas también brillan en tareas repetitivas, como la generación de pruebas unitarias o documentación, donde empresas como IBM reportan ahorros de hasta un 90% en ciertas funciones.
Además, los asistentes de IA son útiles como herramientas educativas: pueden explicar fragmentos de código, sugerir correcciones o ayudar a entender nuevas tecnologías, lo cual es particularmente valioso para quienes están aprendiendo.
Una promesa con matices
El entusiasmo en torno a los asistentes de IA está lejos de desaparecer. GitHub, por ejemplo, sostiene que el 88% de los usuarios de Copilot se sienten más productivos. Pero la clave está en distinguir entre sensación y realidad, y en evaluar cada herramienta en función de su contexto.
La mayoría de las ganancias reales parecen concentrarse en tareas específicas y usuarios menos experimentados. Para los desarrolladores senior, con años de experiencia en sistemas complejos, las herramientas actuales no solo podrían no ayudar, sino incluso representar un obstáculo.
¿Hacia dónde vamos?
El estudio de METR es un llamado de atención en medio de una ola de entusiasmo. Las herramientas de codificación con IA aún tienen un camino por recorrer antes de integrarse de manera fluida y efectiva en los flujos de trabajo más exigentes. Mientras tanto, conviene recordar que no todo lo que brilla en la industria tecnológica es oro... al menos no todavía.