Avaluació de l’impacte als centres CERCA

La mesura de l’impacte de la recerca és una eina fonamental per a fer seguiment de les iniciatives finançades amb diners públics (i també privat) especialment en els aspecte del que s’anomena Accountability i Advocacy. En el primer cas l’impacte dóna idea del rendiment de la inversió que s’ha fet i mostra com el suport econòmic possibilita que passin coses i es resolguin problemes. En el cas de l’advocacy, l’impacte juga a favor que la societat i sobretot els governants que prenen les decisions de finançament s’adonin de com n’és d’útil haver generat aquests impactes, i comparteixin el sentiment de continuar donar suport a les iniciatives científiques.

Sigui com sigui, no fer mesura de l’impacte significa anar a cegues. Invertir i posar diners en determinades accions i no veure’n mai l’impacte real no sembla doncs la millor opció. Per tant això fa que els principals sistemes científics del Món, o almenys els més dinàmics, des de fa uns pocs anys, hagin ja iniciat accions d’avaluació de l’impacte. Entre aquests destaca el cas britànic, on al REF 2014 ja es van destacar uns quants milers de casos d’estudi de les universitats britàniques principalment per valorar el seu impacte i d’aquesta manera, en el cas britànic, orientar les inversions en R+D. A l’altra costat del planeta, CSIRO, el grup de centres finançats pel Govern australià també ha engegat una estratègia de mesura dels impactes dels seus centres de recerca, per explicar al Món allò que saben fer bé i els problemes que solucionen. Al cas britànic pesa més l’accountability i al cas australià hi pesa més l’advocacy.

A CERCA, molt recentment dins l’any 2018 hem iniciat la recollida de casos d’estudi d’alguns centres CERCA. Aquests casos seran analitzats i valorats per un comitè d’experts internacionals per extreure’n les primeres conclusions, refinar la metodologia pilot que s’està utilitzant, i poder així reforçar la nostra acció d’accountability i advocacy. Esperem tenir els primers resultats durant el primer semestre de 2019.

L’avaluació de l’impacte a les institucions de recerca és una necessitat, especialment per aquelles institucions que de manera significativa consumeixen recursos públics al sistema de recerca de Catalunya. En el cas de la recerca, a banda dels centres CERCA, caldria també fer aproximacions serioses de mesura de l’impacte possiblement a les grans infraestructures científiques com BSC, Sincrotró i CNAG-CRG. És necessari que els investigadors, els governants, els ciutadans sapiguem el rendiment i les conseqüències positives de l’acció de cadascuna d’aquestes grans iniciatives. En el cas de BSC apareix una mínima informació a la seva pàgina web sobre avaluació de l’impacte d’octubre de 2018. Per tant possiblement han vist la necessitat de fer aquestes anàlisi i estan posant fil a l’agulla. En el cas del Sincrotró ALBA em consta que en els seus inicis es va fer una anàlisi d’impacte, possiblement encara amb metodologies primitives. Caldria tornar-hi i actualitzar la informació després d’aquests primers anys de funcionament. Desconec en el cas del CNAG-CRG si s’ha plantejat ja la qüestió, però també aniria molt bé.

Emplacem-nos tots a anar endavant en això.

CERCA: un sistema permeable de centres de recerca

L’any 2010 la Generalitat de Catalunya va definir el perímetre dels centres CERCA amb un total de 47 centres de recerca. Des d’aleshores, en paral·lel, no s’ha introduït dins el perímetre CERCA cap més centre de recerca. Sí que s’han fet fusions de centres CERCA, mitjançant el programa SUMA, entre d’altres accions, fixant en 41 centres l’actual perímetre.

A partir d’aquí, mitjançant l’avaluació CERCA, que ja està assolint una maduresa metodològica després de més de 50 avaluacions des de 2012, s’està valorant les institucions de dins del perímetre CERCA en funció de la seva actuació i també de la implementació que han fet de les recomanacions rebudes en la primera avaluació. Aquest exercici permetrà en aquells casos més extrems, si escau, qüestionar a aquells centres que no acompleixen satisfactòriament les expectatives que la Generalitat s’ha creat per aquestes institucions. I es crearà, eventualment, una llista de centres candidats de sortida del perímetre CERCA.

En contraposició, la permeabilitat ha de permetre l’entrada de noves institucions que mereixin el tractament CERCA. En aquest sentit s’ha obert la porta perquè diferents centres de recerca de Catalunya puguin adreçar-se a la Institució CERCA per valorar, si escau, que es faci una primera avaluació (externa i internacional) el resultat de la qual aconsellarà o no la seva inclusió a CERCA. Arribat aquest punt, la Generalitat de Catalunya haurà de cercar l’equilibri d’entrada i sortida a CERCA per determinar quin ha de ser el perímetre final.

Res de nou fins aquí que no s’assembli al que fan altres sistemes de centres a l’estranger de prestigi internacional. Per tant no descobrim res de nou sinó que simplement instrumentem allò que normalitza el nostre perímetre a partir d’entrades i sortides de centres, sobre una base de mèrit i transparència.

Resultats de la Recerca en Salut

Ahir va tenir lloc la presentació de la Central de Resultats de Recerca per a 2012 per als centres vinculats a l’àmbit de salut. L’abast són tots els centres CERCA de l’àmbit biomèdic més l’IDIAP Jordi Gol d’Atenció primària. No sé perquè alguns com la Fundació Parc Taulí no hi apareixen. En les presentacions semblava que es feia diferència entre les paraules Centre i Institut referint-se a les institucions de recerca. Des del punt de vista CERCA les considerem absolutament equivalents.

Les dades mostren la producció científica, una part de la transferència de coneixement, l’estructura de personal, etc. Cal dir però, que algunes dades condueixen a la confusió com per exemple quan es parla dels diners que aporten els patrons a cada centre o institut, sense tenir en compte l’aportació que es fa en espècies, per exemple, amb investigadors adscrits, etc. Això fa que elaborar indicadors amb denominadors a partir d’aquestes dades pugui ser una mica relliscós. Però la jornada va ser positiva perquè es va posar de manifest la necessitat de disposar de determinades dades del sistema, i fer-ho continuadament amb més rigor i qualitat.

Curiosament la conferència convidada del Dr. Permanyer, segons el meu parer, va ser feta en clau de mostrar un dur qüestionament de la utilitat de la recerca mèdica, manifestant la seva baixa eficàcia, l’escassa transferència a la millora assistencial, etc. La realitat de Catalunya és que a principis de segle XX l’esperança de vida era propera als 40 anys, i a principis del segle XXI era prop dels 80. Alguna cosa es deu haver fet bé perquè les persones visquem el doble, no? I potser la recerca hi té quelcom a veure a millorar la salut de les persones també. Bé, està clar que cal seguir avançant i hem d’aprendre a mesurar millor com la recerca fa un impacte de salut a la població.

La meva proposta per a la Central de Resultats és que també cal introduir algun indicador sobre complexitat en la gestió de les institucions, resistència burocràtica a què les coses passin, etc. La recerca de les nostres institucions té molt a veure també amb aquests conceptes.

Per cert, hi vaig trobar a faltar la representació de la recerca que es fa a les facultats de Medicina, fora de l’àmbit dels centres. Potser en properes edicions també es pot tenir en compte.

Indicadors d’excel·lència als centres CERCA

Avui ha tingut lloc la CERCA Conference 2014. Un acte de reconeixement i visualització dels centres de recerca de Catalunya. Hi ha moltes coses a destacar del que s’ha comentat aquest matí. Però n’he seleccionat una. Per a l’ocasió hem preparat una taula on hi apareixen tots els centres CERCA, de manera anònima, amb 15 indicadors d’excel·lència en recerca i innovació. Els indicadors són:

Reconeixement SeO;  ERC Projects;  ERC Synergy;  ERC PoC;  ICREA;  HRS4R;  FET Flagships;  KIC;  Papers Nature / Science; Coordinació 7PM; PROVA’T PoC;  Spin-offs;  Patents;  Endowment;  Cofund (Marie Curie).

D’aquesta taula se’n pot destacar alguna conclusió. Allò que ens semblava tant difícil fa uns anys, publicar a grans revistes com NATURE o SCIENCE ja ho fan actualment un 70% dels centres CERCA. Un 65% tenen ICREAs. I Un 63% han coordinat projectes del 7è PM. Pel que fa a innovació, un 61% fa patents i un 50% ha fet alguna spin-off.

També, un 41% tenen investigadors amb projectes ERC (5 d’ells amb PoC i 2 amb un projecte SYNERGY).

Ja dins les proporcions més baixes, un 15% de centres tenen la distinció Severo Ochoa. I ja amb baixa freqüència, algun centre CERCA participa als FET Flagships, als KIC, i només 1 centre té ara per ara l’etiqueta HRS4R d’excel·lència de recursos humans en recerca… tot i que estem fent un esforç per ampliar això dins aquest mateix any 2014.

En definitiva, un sistema de centres de recerca modern, competitiu, amb personal motivat i lluitant per una colla de reptes per estar a la primera divisió internacional. Atenció, però, que és un sistema heterogeni que té les seves puntes de qualitat però també els seus punts febles. Dos dels centres CERCA no acompleixen encara cap d’aquests 15 paràmetres. Aquí caldrà treballar fort. Però a la banda alta, 1/3 dels centres són forts i amb garanties que ens donaran moltes alegries en els propers anys.

Científics i advocats

Dijous passat vaig participar a una reunió del Spanish ERAC Peer Review on experts de la Comissió Europea ens van entrevistar. Crec que el que es va parlar allà és rellevant, per tant en tornant amb l’AVE vaig enviar un text escrit en clau espanyola, que reprodueixo tot seguit al diari EL PAÍS. No el van publicar.

Científicos y abogados

En el marco de una reunión con expertos europeos, coordinados por el Prof. Británico Luke Georghiou, el MINECO ha reunido a algunos responsables de investigación y investigadores para discutir sobre la eficiencia y el impacto del sistema español de I+D. En la mesa estábamos entre otros el Presidente del CSIC, el Director de ISCIII, un representante de la CRUE, el director de ESS-Bilbao, Rector de la Univ. Carlos III, Directora del CNIO, y el Director de CERCA, entre otros.

Las conclusiones finales que desde mi punto de vista se han conseguido hoy van en la dirección de destacar que en España hay talento investigador. Pero falla en algunos casos la financiación de la I+D, y en la mayoría la organización y modelo de investigación. Intento explicarme. Las Instituciones que tienen a sus investigadores con contratos de funcionario son altamente ineficientes puesto que ello es casi incompatible con una gestión certera y ágil. Se dificulta la carrera científica, la contratación de nuevos investigadores, prescindir de quienes no desarrollan bien su trabajo, la movilidad entre Instituciones, la política de incentivos, el “recruitment” de talento, la gestión de proyectos, etc. Emblemáticamente, las universidades están en esta situación.  

Se podría solventar posiblemente combinando dos elementos muy importantes. Por un lado promoviendo un cambio de gobernanza en las universidades españolas que incluya al menos pasar de profesorado funcionario a profesorado contratado, sobre una base de evaluación objetiva y externa de su actividad. Y en paralelo que el Gobierno español Ponga en el atril de sus prioridades a la investigación y legisle acorde a facilitar a las Instituciones científicas su actividad, por ejemplo permitiendo contratar nuevos investigadores, y tolerando asimetrías basadas en la excelencia para repartir los recursos de manera competitiva. Asimismo se requiere ampliar o al menos restablecer los fondos para I+D. Esto ayudaría.

También se ha llegado a la conclusión que si bien la ciencia española es de calidad hace falta introducir una cultura de la Innovación. Y en este sentido, ayudas de prueba de concepto, reformas a favor del mecenazgo, y medidas como estas ayudarían enormemente.

Tristemente, una de las conclusiones ha sido que a la par de disponer de científicos de alto nivel, hace falta también que las Instituciones de I+D tengan un buen equipo de abogados para hacer frente a la legislación cambiante  del Estado y de las CCAA, que oprime con normas restrictivas el buen ejercicio de la I+D. Por tanto hay que buscar y aprovechar los estrechos desfiladeros en los textos jurídicos para hacer interpretaciones creativas que permitan progresar a la Ciencia. Esto también ayuda.    

Si bien en el sistema hay mucha heterogeneidad, algunas instituciones como por ejemplo CNIO, Centros CERCA en Cataluña, Institutos ISCIII, ESS-Bilbao, determinadas universidades, juegan sus bazas y hacen mella en el impacto científico internacional. Por tanto hay esperanza. La reunión ha finalizado con la intervención de una investigadora ERC Starting Grant de una universidad madrileña, que con todo el realismo y crudeza ha descrito su situación. Sinceramente, o se hace algo desde la toma de decisiones o no sé cómo se va a explicar a la opinión pública que se vaya desmontando la I+D de nivel más que aceptable que un día tuvimos.