Sunday, December 31, 2006

Orlando Ragnisco: valutare è difficile. Dibattito con Rubele. Intervento di Nicolai.

Riceviamo da Orlando Ragnisco e, con l’autorizzazione dell’Autore, diffondiamo un intervento di Orlando Ragnisco, dell’Università di Roma Tre, che riteniamo possa contribuire al confronto pubblico sull’importante questione della valutazione. Trovate qui allegato il commento di Renzo Rubele dell’ADI all’intervento di Orlando Ragnisco, da noi diffuso con il titolo “Valutare è difficile” (v. nota). Seguono la risposta di Ragnisco e la controrisposta di Rubele. Riportiamo anche l’intervento di Florida Nicolai dell’Università di Pisa.

Cari amici dell’Andu,

volevo manifestare il mio apprezzamento per il contributo di Maria Cristina Marcuzzo sul “Riformista” (v. nota) che non conoscevo e aggiungere qualche considerazione.

A mio parere, nel problema della valutazione dell’attività scientifica si possono distinguere almeno 3 aspetti:
1. La definizione delle aree omogenee;
2. La definizione dei criteri di valutazione all’interno delle varie aree;
3. Il confronto tra le aree.

Tutti e tre questi punti sono delicati.

Per il punto 1, c’è il problema nient’affatto banale delle zone di frontiera tra le varie aree; cito ad esempio, rimanendo nell’ambito che conosco meglio, settori come fisica-matematica, bio-fisica e bio-matematica, geofisica, econofisica etc. La storia delle varie discipline, la forza delle comunità scientifiche di riferimento, e altri motivi su cui non mi dilungo, hanno portato ad “assegnare” le zone di frontiera a questa o a quell’altra area, spesso in modo difforme da quanto avviene in altri paesi.

Il problema esposto ha effetti sul punto 2, considerando che per ogni area tradizionale, ci sono appunto, ad esempio, riviste internazionali “tipo”, con impact factors che variano molto da un area all'altra; spesso accade che ricerche a cavallo vengano pubblicate su riviste anch’esse a cavallo, che hanno tipicamente impact factors “intermedi”. Quindi sorgono problemi già nella valutazione dei contributi su riviste internazionali, figuriamoci poi se affrontiamo il problema della valutazione delle monografie, degli invited talks a congressi etc. Sottolineo comunque che l’impact factor misura l’ampiezza della comunità scientifica di riferimento, prima che essere un indice di qualità. Anche il numero di citazioni può avere un senso comparativo solo all’interno di un settore molto omogeneo.

Il punto 3 è poi vischiosissimo, e in generale non viene tenuto in considerazione. Eppure, un qualche criterio di confronto tra i valori medi delle aree andrebbe individuato o costruito, se si vuole veramente capire quali sono i punti di forza e di debolezza della ricerca in Italia e le sue prospettive, e non semplicemente trovare un algoritmo per la distribuzione dei fondi o dei posti.

Posso dire che le esperienze di valutazione della ricerca interne agli atenei, con relativa assegnazione di fondi ai dipartimenti, sono, per quel che ne so per esperienza diretta, del tutto insoddisfacenti.

Cordialmente
Orlando Ragnisco

Renzo Rubele
sull'intervento di Orlando Ragnisco


Il prof. Ragnisco - così come la Prof.ssa Marcuzzo (vedi) - sembra ignorare il fatto che la Prima Valutazione Triennale della Ricerca, messa in campo dal CIVR, non si basa affatto su metriche, ma su giudizi di qualità (su una scala da 1 a 4) dei prodotti della ricerca presentati dalle stesse Strutture da valutare. E pertanto tali giudizi non dipendono dalle situazioni “locali” relative alle diverse aree disciplinari, ma dalla bontà del lavoro dei Reviewers. Sono documentabili casi in cui articoli pubblicati su Science sono stati giudicati peggio di articoli pubblicati su riviste di prestigio inferiore e ciò proprio sulla base di valutazioni »intrinseche« del prodotto (le linee guida per le valutazioni sono state peraltro decise dai diversi panel). Quindi si è trattato di una valutazione umana “vera”, e con piena assunzione di responsabilità. Il difetto principale del nostro VTR, a mio avviso, è stato quello di aver ammesso (o “imposto”) una valutazione di un numero di prodotti largamente inferiore rispetto al RAE, da cui una distorsione sia “globale” sia nel caso di sedi minori che potevano presentare relativamente pochi o pochissimi prodotti (magari accuratamente scelti e senza dover sottostare a “spartizioni” interne). In questo modo la spesa è stata 5 volte inferiore al RAE, ma ciò non si può ascrivere a titolo di merito come invece fece il Ministro Moratti nelle more della presentazione dei risultati.

Grazie e cordiali saluti.
Renzo Rubele

Risposta di Ragnisco a Rubele

Cari amici dell’ANDU, e caro Prof. Rubele,

scusate se rispondo personalmente, ma non capisco le reazioni al mio intervento, quasi che avessi toccato dei nervi scoperti. Tendo però a credere che si sia semplicemente trattato di una lettura superficiale di quanto ho scritto. Nel mio intervento ho voluto sottolineare alcune difficoltà obbiettive che sottostanno alle procedure di valutazione, e non capisco perché mi si attribuiscano arbitrariamente giudizi che non ho mai dato. In particolare, io personalmente ritengo più che buono il lavoro del CIVR, anche perché parametri quali l’impact factor o il numero di citazioni non sono stati affatto presi per oro colato. Rimane il fatto incontestabile che una divisione rigida per aree in genere sacrifica i settori “a cavallo” o comunque ne distorce la valutazione. E rimane poi l’altro fatto, evidente nelle valutazioni del CIVR, della distribuzione tutt’altro che uniforme dei valori medi delle varie aree. A questo proposito, citavo valutazioni “casalinghe” di alcuni atenei che conosco (valutazioni da cui parzialmente dipende la ripartizione dei fondi) in cui si procede allegramente a confronti tra aree diverse, guarda caso con risultati che molto differiscono dalle graduatorie e dai punteggi del CIVR. Detto questo, e dato quindi al CIVR ciò che è del CIVR, è pure chiaro che per discutere costruttivamente bisogna mettersi, e accettare di essere messi, in discussione. Non ritengo invece di poter condividere il punto di vista del prof. Esposito (vedi), rettore dell’Università di Camerino, che non entra nel merito dei punti sollevati, ma afferma, se capisco bene, che occorre partire comunque, sperando che poi le cose si aggiustino strada facendo; secondo me, bisogna invece partire da uno schema di massima che sia largamente condiviso. Penso a questo proposito che ci possa essere di insegnamento l’esperienza del 3+2, che mostra quanto sia difficile ed energeticamente dispendioso correggere a posteriori le cose fatte male.

Cordiali saluti a tutti
Orlando Ragnisco

Controrisposta di Rubele a Ragnisco

Caro Prof. Ragnisco,

ringrazio dell’attribuzione ma sono un mero dottorando di ricerca... In realtà le considerazioni da Lei sviluppate facevano riferimento all’articolo della Prof.ssa Marcuzzi, in cui non era chiaro il giudizio dato all’attività del CIVR - ma comunque convengo sull’opportunità di discutere in profondità, per la qual cosa sarà forse necessario scrivere o dettagliare le considerazioni al di fuori dei botta e risposta sui giornali (e financo di queste e-mail...). Sulla inter/trans-disciplinarità mi trova alleato, nel senso che ne sono un sostenitore se non addirittura un praticante! Epperò come bisogna procedere? Il CIVR mise in opera anche dei panel “interdisciplinari” su specifici argomenti, al di fuori della rigida divisione nelle “tradizionali” 14 Aree... Certo che non bisogna vedere la realtà divisa in 14 (né divisa in SSD che non so più quanti sono adesso...), ma un metodo migliore della divisione (non incrostata) per settori ancora non l’ho visto. Anche il Consiglio Europeo delle Ricerche ha adottato una struttura con 20 Panel, con il caveat di far giudicare un progetto a più Panel se è chiaramente inter/trans-disciplinare. E lì la “mission” è in generale molto inter-trans/disciplinare... Quindi: viva la inter/trans-diciplinarità! Il Ns. pensiero sull’argomento lo può leggere nel terzo capitolo di questo Rapporto, mentre sulla Peer-review può consultare i risultati della Conferenza di Praga. Veramente qui il problema sta nel modo che il nostro sistema politico ha per concepire e mettere in atto le proprie azioni: o troppa concertazione o stanze ministeriali + decreti. Ci vorrebbe un bel processo di consultazione, ma fatto bene, e soprattutto un aggancio all’Europa (e qui potrei allargarmi ma non ora).

Cordiali saluti,
Renzo Rubele

Intervento di
Florida Nicolai


Vorrei dare il mio contributo un po’ “controcorrente”, ma se questo, appena iniziato, deve essere un dibattito aperto, “quasi-un-blog”, penso possa starci anche la mia considerazione. Condivido tutte le perplessità relative ai criteri di valutazione e la necessità di riflettere su un sistema che possa essere garante di maggiore “obiettività”, senza tuttavia escludere un aspetto che, almeno finora, in questo dibattito appena partito, non mi sembra sia ancora emerso: quello dei giovani che si affacciano al mondo della ricerca e per i quali non possono valere gli stessi criteri adottati per i più “anziani”. Ma questo mio intervento riguarda un altro aspetto: quello del controllo nella gestione dei fondi. Mi rendo conto dell’estrema delicatezza dell’argomento, ma ritengo debba essere affrontato se si vuole veramente dare un contributo alla ricerca e contribuire ad un migliore utilizzo delle risorse disponibili, che sono pur sempre denaro pubblico. In più, l’assegnazione di tale denaro viene a volte percepita (e poi usata) dal destinatario più come prova-strumento di “potere” che come strumento per la ricerca.

Florida Nicolai
Università di Pisa

NOTA. Per l’intervento di Maria Cristina Marcuzzo “La ricerca non si valuta solo con la conta delle pubblicazioni“, sul Riformista del 5 dicembre 2006: Rassegna stampa dell’Università di Pisa, ma anche qui in Politica universitaria. L’intervento di Ragnisco è anche pubblicato in Orizzonte Scuola.

Documenti diffusi dall’ANDU il 5 e 6 dicembre 2006. Testi unificati e rieditati da »Politica universitaria«.

No comments: