Re: [Aisa.circuli] Spain wants to change how it evaluatess…

Delete this message

Reply to this message
Author: 380°
Date:  
To: aisa.circuli@inventati.org
Old-Topics: [Aisa.circuli] Spain wants to change how it evaluates scientists—and end the ‘dictatorship of papers’
New-Topics: Re: [Aisa.circuli] Spain wants to change how it evaluates scientists—and end the ‘dictatorship of papers’
Subject: Re: [Aisa.circuli] Spain wants to change how it evaluatesscientists—and end the ‘dictatorship of papers’
Buongiorno,

"Daniela Tafani via Aisa.circuli" <aisa.circuli@???> writes:

> Spain wants to change how it evaluates scientists—and end the
> ‘dictatorship of papers’


quindi la soluzione sarebbe quella di passare da un sistema di
valutazione deficiente, ovvero la ‘dictatorship of papers’ misurata da
aziende private tipo Clarivate...

[...]

> overhauled under new proposals from the country’s National Evaluation
> and Accreditation Agency (ANECA).
>
> The reforms, announced earlier this month, would for the first time
> see researchers at Spain’s public universities evaluated on a range of
> outputs besides papers,


alla valutazione (meno?) deficiente basata su parametri stabiliti da una
commissione nazionale di valutazione, una specie di "ordine
professionale degli scienziati"?

Andiamo bene.

[...]

> To win a modest salary increase and be eligible for promotion,


Ecco appunto: tutto ciò per litigarsi le **briciole** delle scarse
finanze riservate dai /magnanimi/ alla ricerca scientifica. Scarsità
(molto) artificiosa, tra l'altro.

> researchers must show that they have published a minimum of five
> papers during that period in high-impact journals indexed in Journal
> Citation Reports (JCR), a database produced by the publishing
> analytics company Clarivate. Meeting the goal also enables scientists
> to supervise doctoral students and be listed as principal
> investigators at their universities, which gives them access to a
> larger budget.


Appunto: una serie di regole basate su valutazioni che dipendono da
misurazioni, e:

--8<---------------cut here---------------start------------->8---

La misurazione è una riduzione di complessità che produce perdita di
informazione e dipende da scelte arbitrarie – tanto più quando,
spacciata come rappresentazione di attività variegate e
multidimensionali come quelle universitarie, è esito di una combinazione
di criteri molteplici, selezionati arbitrariamente, arbitrariamente
associati a indicatori numerici, e a loro volta arbitrariamente
aggregati e pesati.

--8<---------------cut here---------------end--------------->8---

Che differenza fa se la valutazione (di cosa?!?) è basata su criteri
molto deficienti o un po' meno deficienti?!?

Qualsiasi sia il sistema di valutazione, /quindi/ di misurazione,
all'interno di quel sistema si creerà un *mercato*, il "mercato della
ricerca", che sia liberista o statalista il risultato non cambia,
cambiano solo i modi di "fare mercato": in ogni caso la ricerca verrà
valutata solo sulla base del proprio valore /di scambio/.

> Continua qui:
> https://www.science.org/content/article/spain-wants-change-how-it-evaluates-scientists-and-end-dictatorship-papers


l'executive summary di tutto il cinema della valutazione è questo:

--8<---------------cut here---------------start------------->8---

The Spanish government introduced this system in 1994 in an effort to
increase the productivity of the country’s researchers.

--8<---------------cut here---------------end--------------->8---

Se l'obiettivo è quello di aumentare la /produttività/ dei ricercatori,
allora l'unico modo è quello di applicare un sistema più o meno
deficiente di valutazione della produttività.

Domanda da un miliardo di dollari: cos'è la produttività della scienza?

L'articolo prosegue:

--8<---------------cut here---------------start------------->8---

ANECA wants assessments to consider a broader range of research outputs,
including “publications, patents, reports, studies, technical works,
artistic works, exhibitions, archaeological excavations, [and the]
creation of bibliographic records.”

--8<---------------cut here---------------end--------------->8---

Tutte attività lodevoli (tranne i brevetti, ma non andiamo OT) per
carità, ma come si /misurano/?!?

--8<---------------cut here---------------start------------->8---

Assessors will no longer consider only the impact factor of the journals
in which scientists publish, but also details such as whether the
research reaches nonacademic audiences through news reports or
government documents.

--8<---------------cut here---------------end--------------->8---

Ah fantastico, aggiungiamo anche la misurazione dell'impact factor su
"Donna moderna" e "For men", oltre che nei documenti _governativi_ :-O

Perché quindi i ricercatori non dovrebbero sottomettersi alle
classificazioni commerciali e farlo invece con quelle statali?!?

https://aisa.sp.unipi.it/utrecht-e-noi-perche-continuare-a-sottomettersi-alle-classificazioni-commerciali/

--8<---------------cut here---------------start------------->8---

Perché ballare alla musica altrui, secondo coreografie disegnate da
altri, e con una giuria il cui scopo è vendere classifiche – e
posizionamenti – che “dal punto di vista delle scienze sociali sono
spazzatura”?

[...] Ma come faranno gli studenti a scegliere presso quale università
frequentare un corso di laurea o di dottorato, e i ricercatori non
locali a decidere con che collaborare? A Utrecht rispondono così:
guardando i contenuti e l’organizzazione dei corsi, e considerando la
qualità della ricerca – cosa, questa, possibile, contro l’alchimia delle
valutazioni aliene, commerciali o statali che siano, solo in virtù
dell’adozione delle pratiche della scienza e della didattica aperta.

--8<---------------cut here---------------end--------------->8---

Detto in atre parole: /siccome/ «la misurazione è una riduzione di
complessità che produce perdita di informazione», l'unico modo per
uscire da quella /trappola/ è smetterla di misurare (la misura avviene
sempre "da fuori" e la valutazione è aliena per definizione) e
**ingaggiare** la ricerca sulla base dell'analisi della sua /qualità/.

Pare troppo semplice.

Happy hacking! 380°

--
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts. Ask me about <https://stallmansupport.org>.