Il problema, comunque, di valutare quanto è di valore la produzione scientifica di un ricercatore è in ogni caso di difficile soluzione, più semplice diventa invece valutare la produttività di gruppi di ricerca, istituti, insomma di organizzazioni con più scienziati.
Il motivo è che mentre per ogni scienziato ci sono tipologie di lavoro e di ricerca del tutto personali e spesso non facilmente valutabili, non appena si mettono insieme più persone in un certo senso queste peculiarità tendono a mediarsi ed il risultato diventa più affidabile.
Il metodo principe per capire quanto è di valore l'attività di uno scienziato è quello della misura delle sue pubblicazioni, ovvero quegli scritti dove si presentano alla comunità scientifica i risultati del proprio lavoro. In passato questa misura richiedeva parecchio tempo per poter controllare le varie riviste scientifiche, oggi la si può compiere in pochi istanti con alcuni dei vari servizi disponibili su internet che riportano, con buona affidabilità, pressoché tutte le pubblicazioni presentate dagli scienziati di vari settori nel corso degli anni. Per gli astronomi il servizio di gran lunga più utilizzato è il NASA Astrophysics Data System. L'utilizzo è semplice, basta scrivere nell'apposita casella il cognome seguito da una virgola e poi dall'iniziale del vostro astronomo preferito, ed il gioco è fatto.
Almeno in apparenza.
Il fatto è che questi strumenti richiedono però di conoscere un po' la tipologia delle varie pubblicazioni, e comunque il numero di pubblicazioni in assoluto è un indicatore non del tutto affidabile della produttività di un ricercatore.
Una prima grande distinzione richiede di separare i lavori pubblicati su riviste con "referee" e lavori senza questo passaggio. Il "referaggio", come si usa dire con un orrendo neologismo anglofilo, è una delle più fondamentali procedure che distinguono il mondo della ricerca scientifica da altri contesti. Si basa sul cosiddetto "peer review" anonimo. "Peer review" significa, essenzialmente, "valutazione da parte di tuoi pari". Ed il tutto in pratica vuol dire che qualunque scienziato che sottopone un proprio lavoro ad una rivista scientifica, in inglese si parla di "submission", accetta che il comitato editoriale della rivista che ha scelto, ce ne sono molte infatti, mandi il lavoro ad uno o più scienziati del settore che, coperti dall'anonimato, valutano il lavoro proposto. Normalmente ci sono alcune interazioni fra i revisori e gli autori, e se il processo è condotto con professionalità la qualità dei lavori pubblicati ne guadagna in maniera rilevante. Accade anche che talvolta il lavoro venga giudicato non all'altezza della pubblicazione e gli autori in quel caso devono riscriverlo e migliorarlo o, se ritengono di avere subito una valutazione ingiusta, magari chiedere un'ulteriore valutazione o cambiare rivista. Al di là comunque di questioni abbastanza tecniche, per conoscere il solo numero di pubblicazioni con referee bisogna scorrere la pagina dell'ADS e selezionare l'opzione corrispondente.
Ovviamente non è che pubblicazioni non "referate" siano necessariamente scadenti. Anzi. In questa categoria per esempio spesso ci sono atti di congressi, brevi comunicazioni di scoperta di eventi, ecc. Tuttavia queste pubblicazioni in genere accompagnano, non sostituiscono, le pubblicazioni vere e proprie nel corso dell'attività scientifica di uno scienziato.
Detto tutto questo però il lavoro non è ancora completo, se mai lo può essere. Senza dubbio la quantità di pubblicazioni è un buon indice di produttività. Ma come fare a decidere, per esempio, se le pubblicazioni, magari molte, sono però per così dire settoriali o comunque poco rilevanti? In linea di principio, per esempio, si potrebbe persino pensare a scienziati che preferiscono pubblicare pochi lavori ma di grande spessore ed altri che invece puntano alla quantità a scapito della qualità. La questione presentata così è decisamente troppo schematica, ma il concetto è chiaro.
Un modo per comprendere quanto il lavoro di uno scienziato è influente sui colleghi è quello di contare le citazioni che un lavoro, o tutti i lavori, hanno ottenuto. Nei lavori scientifici ogni qualvolta si fa riferimento ad un concetto non immediatamente conseguente a ciò che si mostra in quel lavoro, è necessario citare il lavoro nel quale il determinato concetto, idea, ecc. è stato riportato. E' quindi chiaro che tanto più il lavoro di un ricercatore risulta importante tanto più i colleghi faranno riferimento ai suoi lavori, citandolo spesso. Ancora una volta con l'ADS è facile ottenere questa informazione sempre cercando nella pagina iniziale il pulsante che permette di avere il risultato in ordine di numero di citazioni (sorted by citation count).
Tuttavia, sebbene tutti questi parametri sono importanti, ancora ci sarebbero delle varianti da tenere in conto.
Quello che accade è che è sempre possibile che uno scienziato produca lavori che verranno compresi ed apprezzati magari solo molti anni dopo, oppure ci sono altri scienziati più impegnati nello sviluppo di strumentazione, i cosiddetti "tecnologi", preziose figure intellettuali che però più che produrre articoli scientifici producono "oggetti", hardware e software, che vanno a formare le nuove strumentazioni scientifiche e così via. Tipologie di ricerca che, ingiustamente, sono penalizzate dalla semplice conta dei lavori.
Inoltre un problema sempre presente in tutti questi indicatori è che si privilegiano i ricercatori più anziani rispetto a quelli giovani. Il punto è che molti di questi indicatori sono cumulativi. Il numero di articoli totali, quelli con referee, il numero di citazione, ecc. possono solo aumentare con gli anni di lavoro. E quindi i ricercatori giovani risultano svantaggiati. Allo scopo di almeno parzialmente compensare questo problema si possono escogitare molte possibili soluzioni. Per esempio si possono considerare il numero di citazioni diviso il numero di lavori, ovvero valutare quanto in media la nostra produzione è qualitativa. Tuttavia, ed ormai stiamo decisamente cominciando a comprendere quanto la faccenda sia oggettivamente complicata, ci sono ancora altri fattori in gioco. Ad esempio, un ricercatore può scrivere articoli da solo o con pochi autori, un altro può lavorare in grandi collaborazioni con decine o anche centinaia di colleghi. E' del tutto probabile che il secondo pubblicherà molto di più del primo, ma non è detto che questo rifletta una differenza qualitativa. Oltretutto ci sono in gioco anche sottili questioni sociologiche. Un articolo con molti autori sarà probabilmente citato più spesso in quanto ognuno di questi autori, scrivendo altri articoli, potrà avere l'opportunità di citare i propri lavori.
Oppure potremmo avere il caso di uno scienziato che dopo magari lavori di grande spessore abbia, per così dire, smesso di lavorare con impegno, magari perché già all'apice della carriera accademica. Ed allora dovremmo magari valutare la produttività totale, ma anche degli ultimi 5 o 1o anni, per esempio.
Tutto questo, in realtà, non significa che sia quindi inutile cercare di valutare gli scienziati. Piuttosto il contrario. Quello che invece deve essere ben compreso è che mentre tutti i parametri che abbiamo brevemente descritto, e molti altri su cui non ci siamo soffermati, sono validi e da prendere in considerazione. Solamente, il come considerare tutti questi parametri va valutato con attenzione, tenendo conto delle tipologie di ogni singolo ricercatore, del contesto in cui si lavora, e così via. Un'operazione senza dubbio non banale anche se, come si diceva nell'introduzione, mentre diventa spesso parzialmente arbitraria quando si confrontano singole persone, diventa sempre più affidabile ed importante nel momento in cui si derivano statistiche e valutazioni per gruppi di ricerca, istituti, ed anche comunità nazionali di scienziati nello stesso settore.
