Valutare la ricerca 
Supporto ricerca SBA

La misurazione della ricerca è un’attività essenziale per:

  • la valutazione dell'impatto della produzione scientifica accademica
  • l’assegnazione dei finanziamenti ai progetti di ricerca
  • le procedure per l'abilitazione scientifica nazionale e le progressioni di carriera.

L’analisi deve essere fondata sull’interpretazione critica di dati e informazioni per arrivare a un giudizio di merito obiettivo basato su strumenti qualitativi e quantitativi, tenendo presente però che nessun tipo di valutazione è perfetto.

Metodi di valutazione

È un’analisi qualitativa attraverso cui vengono valutati la qualità e il rigore scientifico degli articoli proposti per la pubblicazione. La valutazione dei prodotti è affidata a esperti del settore per valutarne l’idoneità alla pubblicazione in riviste specializzate o, in caso di progetti, al finanziamento degli stessi.

La peer review è uno strumento che si affianca all’analisi bibliometrica soprattutto nelle aree di ricerca “non bibliometriche” (scienze umanistico-sociali).

Esistono diverse tipologie di revisione da parte degli esperti. Quelle tradizionali sono single blind (l'autore non conosce l’identità del revisore) e double blind (l'autore non conosce l'identità del revisore e viceversa). Questi tipi di peer review basati sull’anonimato dei revisori e sulla riservatezza dei referaggi hanno dimostrato nel tempo alcuni limiti: difficoltà a garantire un vero e proprio anonimato, potenziali conflitti di interesse, pregiudizi legati alla selezione dei revisori da parte della rivista, pericolo di plagio di lavori ancora inediti, mancanza di incentivi e riconoscimento del lavoro di revisione che rendono l’intero processo sempre più oneroso e meno sostenibile. Ecco perché si sta diffondendo sempre più l’open peer review che si basa sulla massima trasparenza del processo in quanto non solo autore e revisore sono reciprocamente identificati, ma anche i lettori possono prendere visione dei commenti dei revisori nel sito della rivista con lo scopo di incrementare la qualità e l’affidabilità delle revisioni.

La peer review permette di filtrare le informazioni e le ricerche realmente affidabili e degne di pubblicazione, mentre scarta quelle non originali, dubbie, non convincenti, false o addirittura fraudolente. Tuttavia il processo di revisione può essere molto lungo e rallentare la pubblicazione di un articolo.

È un’analisi quantitativa, effettuata mediante indicatori bibliometrici e banche dati citazionali.La valutazione quantitativa si basa sulla citazione. In un articolo scientifico è essenziale (oltre che etico) citare le fonti; in questo modo si crea un legame con i lavori precedenti.
La misurazione può prendere in considerazione diversi elementi:

  • numero di citazioni ricevute da un articolo (citation index), consultabile nei database citazionali come Web of Science, Scopus, Google Scholar. Questo indicatore risponde alla domanda: “Quale peso scientifico ha questo prodotto della ricerca?”
  • numero di citazioni ricevute da una rivista in cui viene pubblicato un articolo. A seconda delle banche dati citazionali consultate si avranno diversi indicatori bibliometrici; tra i principali ricordiamo:

    • IF (Impact Factor): indicatore bibliometrico del Journal Citation Reports di Clarivate Analytics  che deriva i dati dagli indici citazionali collegati a Web of Science. L’IF calcola la media fra il numero di citazioni di articoli pubblicati in una rivista e il numero totale di articoli pubblicati dalla stessa rivista nei due anni precedenti.
    • SJR (SCImago Journal Rank): indicatore bibliometrico della banca dati Scopus, calcolato sia conteggiando il numero di citazioni sia valutando il prestigio della rivista da cui proviene la citazione ricevuta e attribuendo quindi un "peso" differente alle citazioni in base alla provenienza.
    • Google Scholar Citation: indicatore calcolato sulla base dell'associazione univoca tra il profilo Google di un ricercatore e le pubblicazioni che Google Scholar riesce a identificare tramite il meccanismo di data mining di Google.

    Questi indicatori rispondono alla domanda: “Quanto è scientificamente autorevole questa rivista?”

  • numero di citazioni ricevute da un singolo autore: l’indicatore che misura la produttività e l'impatto delle pubblicazioni di un autore è l’H-index (Indice di Hirsch), che si basa sia sul numero delle pubblicazioni che sul numero delle citazioni ricevute. L'H-index viene calcolato automaticamente in Web of Science e Scopus.

Verso una riforma della valutazione della ricerca

È in corso una profonda revisione del sistema di valutazione della ricerca che coinvolge anche la Commissione europea (Towards a reform of the research assessment system, Coalition for Advancing Research Assessment) e le agenzie di valutazione nazionali.
La diffusione dell'Open Science pone un cambio di prospettiva che va nella direzione di premiare pratiche di apertura e condivisione e una revisione del concetto di “eccellenza”, in cui si consideri l’impatto reale della ricerca sulla società e non l’Impact Factor delle riviste.
Tutto ciò spinge all'uso di metriche alternative e complementari (Altmetrics) e all’adesione a iniziative internazionali (DORA Declaration) a sostegno di nuovi parametri di valutazione che tengano conto più del contenuto del lavoro scientifico che del contenitore (rivista).

Metriche alternative: altmetrics

Le altmetrics (article-level metrics) considerano il grado di popolarità e la diffusione dei contributi scientifici tramite il web e i canali social; non sostituiscono le metriche tradizionali dei database bibliografici commercial basati sul conteggio delle citazioni, ma sono complementari ad esse.
Inoltre si prestano bene a essere utilizzate nelle piattaforme open access grazie a una grafica e all’uso di badge bibliometrici che possono essere incorporati in qualunque database (repository istituzionali,  banche dati bibliografico-citazionali…).
Un esempio è Plum-X, software Ebsco acquisito e utilizzato da Elsevier che mostra con una grafica accattivante la visibilità social dei prodotti di ricerca indicizzati in Scopus e si affianca ai tradizionali indicatori bibliometrici.

Dichiarazione DORA

La Declaration on Research Assessment (DORA), ossia la Dichiarazione sulla Valutazione della Ricerca, è un documento elaborato nel 2012 da un gruppo di redattori ed editori di riviste scientifiche con lo scopo di migliorare le modalità con cui i prodotti della ricerca scientifica vengono valutati in termini di qualità e impatto. DORA contiene 18 raccomandazioni rivolte ai diversi attori del mondo della ricerca (finanziatori, istituzioni, editori, organizzazioni che producono dati bibliometrici, ricercatori) e che si possono riassumere in 3 principi cardine:

  1. eliminazione dell’uso di metriche quantitative relative alle riviste scientifiche, come l’Impact Factor, nelle decisioni relative a finanziamento, reclutamento e promozioni perché questi indicatori presentano delle criticità;
  2. valutazione della ricerca scientifica per i suoi meriti intrinseci e non sulla base della rivista in cui gli articoli sono pubblicati;
  3. necessità di sfruttare le opportunità offerte dalla pubblicazione online (ad esempio riducendo i limiti posti sul numero delle parole, delle immagini e dei riferimenti bibliografici negli articoli, ed esplorando nuovi indicatori di rilevanza e di impatto).

Le raccomandazioni della DORA Declaration, pur riferendosi in particolare agli articoli scientifici pubblicati su riviste peer-reviewed, possono essere estese anche ai data set. 

Strumenti utili

Strumenti di supporto alla valutazione della ricerca

  • ARCA: tra le sue funzioni ha anche strumenti dedicati al monitoraggio e alla auto-valutazione della produzione scientifica dei ricercatori dell’Ateneo.
  • SciVal: è uno strumento di analisi e valutazione quantitativa della produzione scientifica sviluppato da Elsevier e basato sul database Scopus.

Last update: 05/12/2022