He tenido dudas sobre si debía escribir esta entrada. Por un lado es difícil resistirse a la tentación de describirles una investigación muy rigurosa y con potenciales implicaciones de política de calado. Por otro lado, me cuesta concederles una validez definitiva a los resultados y me da un poco de miedo que algún responsable de política se lance a tomar medidas apresuradas sobre esta base. En resumen, la investigación dice que la posibilidad de evitar una pérdida es mucho más motivadora que la de conseguir una ganancia. Pero también argumentaré que es recomendable una nota precaución, se trata de un solo estudio, en un entorno algo especial y sobre todo no describe posibles consecuencias de largo plazo de la intervención.
La investigación sobre la que voy a hablar se describe en este artículo en el que han trabajado algunos de los economistas más prestigiosos del momento: Roland Fryer, Steve Levitt, John List y Sally Sadoff.
El artículo comienza señalando que aunque existe alguna evidencia indicando buenos resultados de programas de incentivos positivos (un premio por los buenos resultados) en países en vías de desarrollo (aquí o aquí), esa evidencia es más débil o inexistente para países desarrollados (aquí o aquí).
Pero también hay bastante evidencia de que los humanos tenemos más tendencia a la lucha por evitar pérdidas en nuestros estándares de vida que a hacer lo mismo para conseguir una ganancia (aquí o aquí, y por cierto Tano Santos hizo una de las contribuciones pioneras para aplicar la aversión a las pérdidas en finanzas) y los autores pensaron que quizá se podría explotar este instinto en las escuelas, y se decidieron a realizar un experimento para comprobarlo. Este tuvo lugar en 9 escuelas de educación primaria en Chicago Heights un distrito relativamente desfavorecido (un 64% de sus estudiantes llegan a los mínimos educativos estatales, comparado con un 81% de media, y un 98% de los chicos son elegibles para descuentos en el menú escolar o lo reciben gratuitamente). Se ofreció participar a los 160 profesores de las escuelas y 150 decidieron hacerlo.
A los profesores participantes se les asignó a uno de los cuatro tratamientos que describiremos un poco más tarde, o al grupo de control. El resultado se mide de acuerdo con un test estandarizado y para dar las recompensas se usa el método de “pago por percentil”. A cada estudiante se le asigna a una grupo virtual con los 9 estudiantes de notas más cercanas en el examen realizado antes del tratamiento. Después se ordena a los estudiantes del grupo por su variación en las notas del examen de antes a después del tratamiento y a cada estudiante se le asigna su percentil de orden en la celda (si es el primero el percentil 90, si es el segundo el 80 y así sucesivamente). A cada profesor se le asigna el percentil medio de todos sus estudiantes de acuerdo con este procedimiento, y se le recompensa con 80 dólares por cado punto porcentual, de manera que la recompensa media es de 4000 dólares, el mínimo es de 0 y el máximo de 8000.
Los profesores fueron asignados a uno de los cuatro tratamientos o al grupo de control. La asignación aleatoria presenta algunas sutilezas en las que no voy a entrar por cuestiones de espacio, pero que se hacen esencialmente para garantizar el rigor del resultado. Asimismo los profesores de lengua pueden estar asignados a más de un grupo de alumnos, mientras que la asignación es mucho más unívoca para los de matemáticas. Esto hace la interpretación más sencilla para los profesores de matemáticas, y en la mayor parte del artículo el análisis se concentra en los resultados de esta asignatura (y yo me centraré solamente en esto). Sin embargo los resultados en lengua parecen consistentes con los de matemáticas.
Hay cuatro tratamientos, generados por dos dimensiones: pérdida/ganancia, e incentivos de grupo/individuales. En los dos tratamientos de ganancia a los profesores se les premia por el resultado de la manera descrita más arriba, a 80 dólares por percentil. Este tratamiento es el estándar de los experimentos anteriores. En la otra, se les “castiga” por una pérdida. Para ser más precisos, a los profesores en los tratamientos de pérdida se les da nada más empezar 4000 dólares, pero firman un contrato en el que se comprometen a devolver parte del dinero si sus resultados están por debajo del percentil 50 a razón de 80 dólares por percentil, mientras que reciben 80 dólares por percentil por encima del 50. Convienen enfatizar que el resultado final es idéntico para los dos grupos dado un percentil igual. Si están en el percentil 40 tendrán 3200 dólares más que antes del experimento en cualquiera de los casos. La diferencia es exclusivamente de presentación.
La otra dimensión premiada tiene que ver con si el incentivo es individual o de grupo. En los tratamientos individuales al profesor se le recompensa por el resultado de sus estudiantes. En el de grupo, a cada profesor se le empareja con otro profesor de la misma asignatura y curso, y la recompensa de los dos se deriva de la media de sus percentiles.
Los resultados los podemos ver en la tabla que sigue.
Las tres primeras columnas presentan las ganancias en percentiles y las tres segundas ganancias estandarizadas. Las tres primeras filas son los resultados de los tratamientos de pérdida (la primera juntando los dos y la segunda y tercera por separado para el tratamiento con incentivos individuales y de grupo). Las tres filas siguientes son los resultados de los tratamientos de ganancia. La diferencia entre primera y segunda columnas (y entre cuarta y quinta) viene de la inclusión de algunas variables de control. Como puede apreciarse la diferencia es pequeña. La diferencia entre segunda y tercera (y entre quinta y sexta) viene de que algunos profesores reciben incentivos por algunos alumnos pero no por otros. En la segunda columna se comparan alumnos por cuyos resultados los profesores reciben incentivos, frente a alumnos por los que los profesores no tienen incentivos (aunque esos mismos profesores pueden tener incentivos por otros estudiantes). En la tercera columna el grupo tratado es el mismo que en la segunda (estudiantes por cuyos resultados los profesores son incentivados) pero en el de control solamente se incluyen alumnos cuyos profesores no reciben incentivos por ningún alumno.
El resultado es muy claro, los incentivos por pérdidas son significativos y muy elevados (entre 6 y 10 puntos porcentuales de mejora), y los incentivos por ganancias son insignificantes (de manera consistente con la literatura anterior para países desarrollados). Esto es muy notable, y para un economista algo sorprendente, porque en términos del resultado final los dos tratamientos son equivalentes. En cambio las diferencias entre los incentivos de grupo e individuales son pequeñas y no significativas en ambos casos.
Tampoco parece haber diferencias grandes entre distintos grupos. El efecto del tratamiento es prácticamente igual entre los distintos sexos, razas, y para estudiantes por encima o por debajo de la media en los exámenes iniciales.
Los autores descartan algunas razones “espúreas” para la mejora en los resultados. No parece que los profesores tratados animen a los estudiantes más débiles a no presentarse, porque los porcentajes de estudiantes no presentados son muy parecidos entre los distintos tratamientos. Tampoco se deben a que los profesores del tratamiento de pérdida (que recibe el dinero por adelantado) se gasten más dinero propio en comprar materiales para la clase. Tampoco parece deberse a que los profesores hagan trampa en los resultados porque la mejora se da tanto en aquellos exámenes por los que reciben recompensa como por otros en los que no se reciben.
De manera que se puede decir que los resultados son robustos y concluyentes para este experimento. Pero antes de que alguien se anime a poner en práctica un programa de recortes salariales selectivo basados en el rendimiento recomendaría extremar la precaución, por varios motivos. El primero es el habitual por estos pagos. Se trata de un solo estudio, con una población no necesariamente equiparable a la nuestra. Como mínimo esto sugiere que antes de lanzarse habría que realizar un estudio piloto en nuestro país.
Pero hay otra razón más de fondo. Este tratamiento explota una cierta irracionalidad de los decisores. Como he insistido en su explicación, la diferencia entre unos y otros tratamientos es meramente de presentación. Y aunque yo he trabajado lo suficiente en el laboratorio como para no creer a pie juntillas en el homo oeconomicus, también he observado que suponer el homo stupidus es arriesgado. Ya saben, podemos engañar a todos una parte del tiempo, podemos engañar a algunos todo el tiempo, pero es muy difícil engañar a todos todo el tiempo.