Does better work always mean better workers?
En un reciente estudio de tres meses realizado con abogados de patentes en ejercicio, David Autor, Technology & Society Visiting Fellow, y Tanya Rodchenko, Principal, AI & Economy, analizaron cómo el uso rutinario de la inteligencia artificial (IA) afecta la calidad del trabajo y el aprendizaje en el lugar de trabajo. El estudio reveló que, aunque el uso de la IA mejora la calidad del trabajo de manera uniforme, sus efectos sobre el aprendizaje en el trabajo dependen de la antigüedad de los abogados. Los abogados senior que utilizaron IA durante 90 días demostraron un juicio más sólido que aquellos que no lo hicieron, mientras que los abogados junior no mostraron una mejora promedio en sus habilidades, con sus puntuaciones dividiéndose en más puntuaciones altas y bajas.
El juicio es lo que distingue a los profesionales senior de sus colegas junior. Desarrollar juicio requiere miles de horas de aprendizaje en el trabajo, generalmente a través de un compromiso tedioso pero formativo con trabajos relativamente rutinarios, a menudo bajo la supervisión guiada de trabajadores experimentados. Sin embargo, la IA ya está cambiando la forma en que funciona el aprendizaje en el trabajo. Por un lado, estudios empíricos en radiología, resolución de problemas empresariales, redacción de solicitantes de empleo y educación legal muestran que cuando las herramientas de IA se integran de manera reflexiva en los flujos de trabajo de capacitación, los trabajadores menos experimentados pueden mejorar su rendimiento independiente.
Por otro lado, experimentos recientes con ingenieros de software, consultores de gestión, estudiantes de secundaria y clínicos demuestran que, si bien la IA sirve como un exoesqueleto temporal que aumenta la producción inmediata, esas ganancias a menudo no persisten una vez que se elimina la herramienta. Comprender cómo la IA puede erosionar o mejorar la experiencia requiere tres elementos que rara vez se encuentran juntos: (1) uso sostenido de la IA integrado en el trabajo profesional ordinario durante meses en lugar de horas, (2) una evaluación creíble del juicio sin asistencia cuando la IA no está disponible, y (3) calificación a ciegas por expertos en el dominio.
En «¿La asistencia de IA mejora o erosiona la experiencia? Evidencia de un experimento de campo de tres meses en redacción de patentes», publicado por el National Bureau of Economic Research, se describe un experimento de campo utilizado para capturar cambios tanto en la productividad a corto plazo como en la construcción de habilidades a largo plazo que ocurren como resultado del uso de IA en la profesión altamente intensiva en experiencia de la ley de propiedad intelectual. En nuestro experimento, aleatorizamos el acceso a una herramienta de redacción de patentes de IA de Google Labs, ahora parte de Gemini Notebook, entre 133 abogados en once firmas de propiedad intelectual que están involucradas en negocios regulares y no exclusivos con Google. Dos tercios de los abogados en cada firma (grupo «de tratamiento») recibieron acceso anticipado a la herramienta, mientras que el resto (grupo «de control») recibió algo de capacitación sobre cómo usar la IA pero se les impidió usar la herramienta hasta después del período de estudio de tres meses.
Después de 10 días de asistencia de IA, enviamos a todos los abogados participantes un paquete de materiales de inventor para una invención hipotética y les pedimos que redactaran una patente. Hicimos lo mismo después de 90 días, con un conjunto diferente de materiales de inventor simulados. Observamos el aumento esperado de la IA en el rendimiento en las tareas de redacción en ambos períodos de tiempo. A los 10 días, el acceso a la herramienta de IA elevó las puntuaciones de redacción (calificadas en una rúbrica con escalas Likert para cinco aspectos diferentes de calidad por expertos legales independientes) en 0.34 desviaciones estándar, equivalente a un ascenso de 10 puntos en el ranking percentil entre las puntuaciones del grupo de control; a los 90 días, esta mejora aumentó a 0.38 SD, lo que implica un aumento de 11 puntos percentiles. Estas mejoras ocurrieron con notable consistencia en todas las dimensiones de calidad. De manera reveladora, el mejor rendimiento provino de una menor frecuencia de puntuaciones bajas y una mayor frecuencia de puntuaciones buenas, y ningún cambio en la frecuencia de puntuaciones excelentes. Formalmente, las puntuaciones entre los abogados asignados al acceso a la IA se movieron del quintil inferior al medio-bajo y medio, pero no hubo cambios notables en el número de puntuaciones excepcionales. Este patrón fue particularmente claro para los abogados junior, cuyas mejoras en calidad también se correspondieron con ahorros de tiempo significativos (18 minutos más rápido que la velocidad promedio del grupo de control de 124 minutos en la tarea de 10 días, por ejemplo).
Pero los abogados de patentes no solo redactan patentes; también revisan el trabajo de otros en busca de errores críticos (a veces llamados «profanidad de patentes») que pueden hacer que las patentes no se puedan hacer cumplir en los tribunales, por ejemplo, al reclamar en exceso la novedad o el alcance de una invención. Por lo tanto, agregamos otra tarea a los 90 días, que requería que los sujetos marcaran y corrigieran manualmente una patente hipotética existente que contenía muchos errores, tanto sustantivos como estilísticos. Esta tarea de prueba refleja el tipo de juicio profesional que los abogados más experimentados utilizan rutinariamente y para el cual más a menudo no tienen el lujo de confiar en la IA. De manera crítica, mientras que a los abogados del grupo de tratamiento se les animó a usar la herramienta de IA no publicada o cualquier otra herramienta de IA en las tareas de redacción, a nadie se le permitió usar IA para la tarea de marcado, haciendo que sus puntuaciones en esta tarea fueran una medida de cuán bien se habían desarrollado sus habilidades. Para todas las tareas, tanto de redacción como de marcado, trabajamos con profesionales de patentes de terceros para calificar las presentaciones en cinco dimensiones de calidad: (1) aplicabilidad, (2) precisión, (3) ambigüedad estratégica (el alcance táctico de las reclamaciones), (4) integridad y (5) claridad.
Cuando se eliminó la IA para la tarea de marcado de 90 días, el efecto nivelador desapareció. Los abogados que recibieron acceso a la herramienta de IA superaron a los controles en 0.32 SD en esta tarea sin asistencia (un ascenso equivalente de 9 puntos en los rankings percentiles), pero este efecto fue d
Fuente: https://research.google/blog/does-better-work-always-mean-better-workers/