En el marco del proyecto PISAC “Cartografía de la evaluación académica en Argentina. Estado del arte y agenda de cambio institucional para una ciencia más abierta, inclusiva y socialmente relevante” y durante el workshop titulado “Fuentes nacionales, regionales y globales para una nueva perspectiva de circulación del conocimiento”, llevado a cabo los días 30 y 31 de octubre y 1 de noviembre en la Universidad Nacional de Cuyo, se entrevistó a Ismael Ràfols (investigador de la Universidad de Leiden). Ismael es Licenciado en Física por la Universidad de Barcelona, máster en Política Científica y Tecnológica de SPRU (Sussex), Doctor en Biofísica por la Universidad de Tohoku (Sendai, Japón) y cuenta con un postdoctorado en Nanobiotecnología por la Universidad de Cornell. Su investigación está centrada en evaluación de la ciencia, innovación en métodos bibliométricos, política científica y pluralismo epistémico. Es uno de los autores del Manifiesto Leiden. Actualmente trabaja también en investigación sobre problemas sociales en el campo de la salud, la agricultura y el cambio climático.

Desgrabación entrevista Ismael Ràfols

-Lugar: Universidad Nacional de Cuyo, Mendoza.

-Fecha: 30 y 31 de octubre-1 de noviembre

-Marco: Workshop “Fuentes nacionales, regionales y globales para una nueva perspectiva de circulación del conocimiento”.

-Entrevistadora: Fernanda Beigel.

Fernanda: Empezaría con lo que venimos conversando, ¿no? La evaluación hoy nos plantea la pregunta inicial de para qué evaluamos y la historia que puede tener esto en el resultado que hoy vemos de la evaluación, o el diagnóstico o las preocupaciones que nos genera… Y vos venís planteando un debate sobre la gobernanza de la evaluación… ¿qué papel juega hoy?

Ismael: Efectivamente, la primera pregunta de toda evaluación tendría ser para qué evaluamos.  La idea es que la evaluación lo que hace es, de una diversidad posible de líneas de investigación, cortar una serie de trayectorias. Selecciona ciertas trayectorias de acuerdo con ciertos criterios. En teoría, esos criterios responden a las misiones sociales, económicas, académicas que se quieren conseguir – el para qué evaluamos.

El problema que nos hemos encontrado los últimos 20 años es que, con unos criterios de evaluación centrados en las publicaciones -además en las publicaciones de revistas supuestamente excelentes desde un punto de vista supuestamente universal, pero basado en las hegemonías del Norte- ha habido un proceso de selección mucho más fuerte del que existía hace 30 años, con una reducción relativa de agendas que podían servir a misiones más locales, a misiones más de extensión, a visiones académicas más críticas con ciertas hegemonías.

Por ejemplo, si miras las publicaciones sobre pobreza o sobre problemas de medio ambiente en las revistas más prestigiosas de management, vas a encontrar poquísimas publicaciones que traten sobre medio ambiente, cambio climático o pobreza. En ciertas disciplinas, ha habido un monocultivo de ciertos modos de pensar. En la línea de lo que se decía hace 25 años del pensamiento único de la globalización, es muy posible que la evaluación centrada en la publicación haya tenido un efecto de reducción de agendas de investigación hacia temas dominantes y no críticos.

¿Qué queremos conseguir con las reformas de la evaluación? Queremos reencontrar una diversidad de modos y de temas de investigación. Para ello es necesario que instituciones a diversas escalas puedan reencontrar formas de evaluar que cultiven las prácticas y las modalidades de conocimiento que respondan a las misiones que cada una de ellas quieren conseguir. Con una evaluación general a nivel nacional, cultivar la diversidad es muy difícil porque los criterios burocráticos tienden inevitablemente hacia la uniformidad. Por lo tanto, es a nivel de cada institución, y podríamos decir a nivel de cada departamento, donde hay más posibilidad de intentar vincular la evaluación con objetivos y misiones, con lo que quiere conseguir ese departamento o esa facultad o esa universidad. Y con este foco en objetivos o misiones, pueden intentar llenarse los huecos cognitivos causados por evaluaciones uniformadoras centradas en la cantidad de producción en revistas supuestamente excelentes.

Fernanda: Una repregunta… En el caso de América Latina, incluido en la Península Ibérica que también los tenemos…. Hay sistemas nacionales de categorización, que en Argentina en particular tenemos dos. Uno que podría ser el del CONICET, que lo podríamos equiparar -porque tiene una carrera con cinco categorías-, y otro como es el de las universidades también con cinco categorías, hoy llamado PRINUAR…. Y la pregunta que te hago es la siguiente: Esos sistemas cumplen un papel. Cumplen un papel que va por el lado de la construcción del prestigio, pero también cumplen un papel como categorías habilitantes para ciertas cosas, ¿no? Para evaluar… Digamos que se han hecho carne en la comunidad académica también, son deseadas. Son categorías deseadas por la comunidad. Vos, si pudieras pensar una gobernanza de la evaluación en un país como la Argentina o en cualquier otro país que conozcas más, como propio España… ¿Pensás que existe la posibilidad de complementar evaluaciones más locales-institucionales y una evaluación de tipo nacional?

Ismael: Yo creo justamente que es necesario esa complementariedad. De hecho, yo creo que, en un mundo ideal, no habría sistemas nacionales porque las instituciones locales serían suficientemente responsables como para contratar o promocionar solamente con criterios de mérito, y no respondiendo a las dinámicas endogámicas — algo que en las culturas latinas parece ser que es extraordinariamente difícil. Si aceptamos que hay necesidad de una gobernanza nacional de la evaluación a causa de dinámicas endogámicas que tienen que ver con la gobernanza de la universidad en general y a sistemas de financiación que no exigen responsabilidades… Si lo aceptamos (y me cuesta aceptarlo), entonces… parece importante que haya una complementariedad con las instituciones regionales o locales llenando los espacios que están siendo relativamente suprimidos por los procesos de evaluación nacional, ¿no? Retomando esta idea de evaluación como un proceso de selección, los sistemas científicos más ricos son aquellos que tienen criterios distintos en distintos niveles u organizaciones porque así consiguen un ecosistema de investigación diverso.

Y se me ocurre que es ahí donde instituciones como las universidades pueden hacer esta evaluación complementaria, es en aquellos aspectos que se requieren criterios menos fáciles de universalizar, y un análisis más contextualizado.  En general estos aspectos son aquellos relacionados con la contribución social en el territorio, ya sea a nivel de contribuciones útiles para agentes de políticas públicas, o de desarrollo social o económico… Como hay contribuciones a políticas, a entes sociales o económicos que a menudo son poco invisibles (y es posible que tengan que continuar siendo invisibles), no se capturan con indicadores y la evaluación del impacto social es terriblemente difícil a nivel nacional. En cambio, las instituciones locales podrían jugar un papel importante a nivel de juzgar el impacto porque tienen elementos para juzgar el valor de los procesos de impacto. Esto es especialmente relevante para las universidades que tienen un mandato o una misión de desarrollo territorial, que es el caso de muchas politécnicas.

Fernanda: Te dije que iban a ser dos preguntas, ¿pero te puedo hacer una más?

Ismael: Asiente.

Fernanda: Hay una controversia entre los indicadores cuantitativos y cualitativos, y una discusión global en torno a cómo combinar enfoques más cualitativos y más cuantitativos. Eso impacta en el tipo de indicadores que podemos tomar para la evaluación. Si pudiéramos complementar dos formas de evaluación, ¿no? Una forma que llamemos nacional o que llamemos más general, con este tipo de evaluaciones más locales-institucionales que puedan vincular más incluso con la interacción social de las misiones de esa universidad… ¿Cómo crees que se tendría que manejar esa combinación entre enfoques cuali y cuanti?

Ismael: A nivel de evaluación nacional, o digamos de gran territorio, el problema es la cantidad de expedientes, el gran número de proyectos o candidatos que se presentan. Con lo que hacen inviable la evaluación cualitativa por problemas de coste.

En este momento hay algunas agencias de financiación europeas que están haciendo experimentos, por ejemplo, con el tema de los currículums narrativos. Habrá que ver hasta qué punto estos CV narrativos consiguen aceptar o valorar trayectorias menos convencionales, que hagan contribuciones diferentes en vez de hacer grandes contribuciones tradicionales.Eso a nivel nacional. A nivel local, estamos de acuerdo en que se puede contextualizar. Yo no veo la necesidad de intentar cualidad, de coordinar las dos. Porque si pensamos desde el punto de vista de la diversidad, digamos… Cierto nivel de contradicción en un sistema, da espacio para que aparezcan nuevas especies. De hecho, hay un debate en políticas científicas, que es las ventajas de la coordinación versus la descoordinación, versus que cada entidad defina sus misiones. De modo que, si una investigadora no tiene éxito a nivel nacional, sí que pueda tener reconocimiento en otros niveles… sea con un hospital, sea con una entidad como el INTA por extensión, sea a nivel de innovación en la docencia. O sea que, si los criterios son distintos y no coordinados, hay más posibilidad de que se generen cosas nuevas.

Fernanda: Totalmente. Y la última era sobre CoARA. Tenemos una nueva declaración importante que está tomando forma, y no solamente en Europa. ¿Qué posibilidades le ves a CoARA de incidir en algún cambio en la evaluación? Ya sea local, institucional, nacional o regional…

Ismael: Yo creo que CoARA ya ha incidido en cambios en la evaluación. ¿Por qué? Pues porque, a ver… CoARA es una iniciativa liderada por la Comisión Europea. La Comisión Europea no tiene un mandato legal para cambiar los procesos de evaluación, excepto en sus selecciones de proyectos, en sus convocatorias… pero sí que tiene capacidad de influencia en organismos como la Asociación Europea de Universidades y Science Europe, que es digamos la confederación de agencias de financiación europea. Y, de hecho, la Asociación Europea de universidades y Science Europe son dos actores principales de CoARA, y por eso se habla de una coalición. Y solamente el hecho de que, a este nivel de agencias de financiación -de una gran partida de agencias de financiación y a nivel de la Asociación de universidades- se haya planteado que hay que repensar la evaluación, esto ya ha significado un paso adelante. Ahora bien, como no hay mandatos, o en Europa hay un mandato multinivel sobre cómo se evalúa… Hay algunas agencias nacionales a nivel nacional, agencias financiadoras a nivel europeo, hay mandatos de evaluación… Las universidades son gestionadas a nivel regional por algunos países. Como hay este multinivel, se habla de una coalición, porque cada organización y nivel adecuará la reforma a sus posibilidades y capacidades. Y en eso puede haber fricciones entre las visiones napoleónicas de Europa y las visiones más…

Fernanda: ¿Comunitarias?

Ismael: Sí… Pensaba más anarquizantes. Pero hay organismos muy potentes como… En particular pienso en los financiadores alemanes, las universidades alemanas, que debido a los problemas que hubo con el mal uso de la investigación, tienen la libertad académica como algo muy muy importante. Y, por lo tanto, no aceptan que organismos superiores les digan cuáles son sus criterios de evaluación. Y, en ese sentido, digamos que soy optimista de que Europa sea capaz de generar una variedad de criterios y de espacios de evaluación; lo que permitiría que se vayan haciendo experimentos, se vaya viendo qué reformas no funcionan y a qué entidades le salen cosas más interesantes. Y también mencionaría que el hecho de que haya una coalición responde al miedo de organizaciones de avanzar solas en la reforma de la evaluación, teniendo la percepción de la ciencia como endeavour.

Fernanda: ¿Como esfuerzo querés decir?

Ismael: Como un desarrollo global, hay procesos de competición en que el que hace primero la reforma puede tener efectos negativos a nivel de competición, ¿no? Que los científicos más excelentes no quieran ir. Y en ese sentido es un poco la dinámica como la del cambio climático. Entonces avanzar un poco conjuntamente para ser todos digamos… solidarios, en que vemos que hay un problema e intentemos mejorar. Bueno, mejorarlo conjuntamente.

Fernanda: ¡Muchas gracias Ismael!