Re: [Aisa.circuli] "Self driving labs" e SALAMI "peer" revie…

Delete this message

Reply to this message
Autor: 380°
Data:  
A: aisa.circuli@inventati.org
Assumpte: Re: [Aisa.circuli] "Self driving labs" e SALAMI "peer" reviewers
Buongiorno,

grazie mille per la segnalazione

l'argomento è un perfetto mix per "nexiani" e "scenziati aperti", spero
che qui si possa discutere almeno un con minimo di dettaglio nel merito
(meta) scientifico di simili _boiate_, credo si chiamino così,
scientificamente

chiedo scusa per l'estrema lunghezza del mio messaggio, ma gli argomenti
trattati sono così tanti...

"Daniela Tafani via Aisa.circuli" <aisa.circuli@???> writes:

> Eric Schmidt: This is how AI will transform the way science gets done
>
> Science is about to become much more exciting


Sì perché fino adesso 'du palle sta scienza!

'Mo che arriva l'AI hai voglia che divertimento. C'è frizzantezza
nell'aria!

> * Eric Schmidt
> <https://www.technologyreview.com/author/eric-schmidt/>


come già segnalato da MCP, l'URL dell'articolo è questo:

https://www.technologyreview.com/2023/07/05/1075865/eric-schmidt-ai-will-transform-science/

[...]

> Usual weather prediction systems have the capacity to generate around 50 predictions for the week ahead. FourCastNet can instead predict thousands of possibilities, accurately capturing the risk of rare but deadly disasters and thereby giving vulnerable populations valuable time to prepare and evacuate.


oh meno male che ci sarà l'AI che manderà l'allarme per tempo per
_evacuare_, così si potrà continuare a costruire senza ritegno ovunque,
aree a rischio idrogeologico comprese, alla faccia dei geologi
brontoloni

> The hoped-for revolution in climate modeling is just the
> beginning. With the advent of AI, science is about to become much more
> exciting—and in some ways unrecognizable. The reverberations of this
> shift will be felt far outside the lab; they will affect us all.


Will?!? Ormai non si contano più i sistemi AI usati ad-minchiam per
/laqualunque/

[...]

> We can build a future where AI-powered tools will both save us from
> mindless and time-consuming labor


Diversi ricercatori e studiosi, tra cui Antonio Casilli [1], hanno già
da _anni_ dimostrato che questa è una menzogna ENORME

Per far funzionare i sistemi di machine learning (non AGI, che non
esiste) ci vuole una enormità di lavoro _umano_... che tra l'altro oggi
è fatto ad-minchiam oltre ogni livello di indecenza (anche perché sapete
che gli frega alle persone schiavizzate di fare un lavoro fatto bene)

> and also lead us to creative inventions and discoveries, encouraging
> breakthroughs that would otherwise take decades.


La cosa /potrebbe/ essere vera solo e solo se ai sistemi di machine
learning verrano forniti dati _molto_ accurati e solo e solo se
l'interpretazione dei risultati è effettuata in modo /decentralizzato/
da scienziati MOLTO esperti e con adeguate risorse... sì, già, domani!

[...]

> More recently, larger deep-learning models that are beginning to incorporate cross-domain knowledge and generative AI have expanded what is possible.


"generative" associato ad AI è la più grande presa in giro nella storia
delle buzzwords, qualcuno potrebbe finire col pensare seriamente che
sistemi di "deep-learning" (per smontare questo termine servirebbe un
po' di umiltà e un corso breve di pedagogia, facile facile) sono in
grado di fornire valore aggiunto alla conoscenza

[...]

> the US Food and Drug Administration has already cleared 523 devices
> that use AI—75% of them for use in radiology.


Non ho idea a cosa serva l'AI in quei device, ma ricordo che tra i primi
disatri nell'applicazione del software ad apparecchi medicali ci fu
quello del Therac-25, che guarda caso era proprio un apparecchio di
radioterapia :-O

> Reimagining science
>
> At its core, the scientific process we all learned in elementary
> school will remain the same: conduct background research, identify a
> hypothesis, test it through experimentation, analyze the collected
> data, and reach a conclusion.


già, rimaniamo alle /elementari/ come se i problemi di riproducibilità,
la manipolazione dei dati, il p-hacking, la corruzione degli scienziati
e quisquiglie di livello persino superiore non fossero mai esistite...

forse sarebbe il caso di studiare un po' di meta-scienza e superare la
concezione che della scienza hanno i bambini delle elementari

> But AI has the potential to revolutionize how each of these components
> looks in the future.


...zac! Arriva l'AI e tutti quei problemi saranno solo un brutto ricordo
del passato

> Artificial intelligence is already transforming how some scientists
> conduct literature reviews. Tools like PaperQA [...] harness LLMs to
> scan databases of articles and produce succinct and accurate summaries
> of the existing literature—citations included.


Oh che risultato straordinario! E io che pensavo che ogni paper degno
di questo nome avesse un abstract scritto dai ricercatori stessi :-O

Guarda caso giusto l'altro giorno sono "inciampato" in questo:
https://theconversation.com/scientific-fraud-is-rising-and-automated-systems-wont-stop-it-we-need-research-detectives-206235
«Scientific fraud is rising, and automated systems won’t stop it. We
need research detectives»

--8<---------------cut here---------------start------------->8---

Some of this rubbish can be easily spotted by peer reviewers, but the
peer review system has become badly stretched by ever-rising paper
numbers. And there’s a new threat, as more sophisticated AI is able to
generate plausible scientific data
(https://www.nature.com/articles/d41586-023-01780-w).

[...] This is not to say automated tools have no place. They have been
used successfully to check papers for faulty experiments, and to hunt
for pilfered text reworked to avoid plagiarism checkers.

[...] But automated tools cannot be the only line of defence.

--8<---------------cut here---------------end--------------->8---

Quindi sistemi AI che si inventano dati scientifici *verosimili* contro
sistemi AI che sono in grado di controllare esperimenti farlocchi o
contrastare i plagi

Credo che anche una parte mondo scientifico sia pesantemente affetto da
ansia da prestazione

[...]

> Once the literature review is complete, scientists form a hypothesis to be tested. LLMs at their core work by predicting the next word in a sentence, building up to entire sentences and paragraphs. This technique makes LLMs uniquely suited to scaled problems intrinsic to science’s hierarchical structure and could enable them to predict the next big discovery in physics or biology.


Aaaaaaaaaaaaaaahhhhhhhhhhhhhhhhhhhhh

Sono l'unico in questa lista a cui viene voglia di urlare di fronte a
simili boiate?!?

Com'è possibile che una tecnica *linguistica* sia in grado di /predire/
una scoperta scientifica, qualcosa che ancora non è stato
_linguisticamente_ espresso?!?

Lo dicevo o che i sistemi LLM sono la perfetta macchina sofistica, o per
lo meno vengono usati così

> AI can also spread the search net for hypotheses wider and narrow the
> net more quickly.


Ah beh, in un web dove "semantic" è rimasto lettera morta e la
rappresentazione della conoscenza in modo informaticamente più evoluto
(RDF e Open Linked Data) è solo un miraggio, dove chi presenta i
risultati delle ricerche si limita a pubblicare i PDF e buonanotte,
allora gli LLM sono l'ultima illusione di poter dare un senso

[...]

> We’re already seeing simulations running multiple orders of magnitude faster than just a few years ago, allowing scientists to try more design options in simulation before carrying out real-world experiments.


Potrebbe essere che davvero l'AI sia in grado di migliorare i sistemi di
simulazione di eventi fisici/chimici et al... ma sempre di *simulazioni*
si tratta poi tocca passare a "real-world experiments"...

...magari evitando di farsi prendere dall'hubris da eccessiva confidenza
da simulazione, passando alla sperimentazione di massa quando magari non
sarebbe il caso

> Scientists at Caltech, for example, used an AI fluid simulation
> model <https://arxiv.org/abs/2304.14554>


l'abstract del paper dice

--8<---------------cut here---------------start------------->8---

[...] The AI method, based on Fourier neural operator, offers significant speedups over traditional simulation methods.

--8<---------------cut here---------------end--------------->8---

Quanto sia significativo il miglioramento in velocità Zongyi Li lo
spiega qui:
https://zongyi-li.github.io/blog/2020/fourier-pde/

--8<---------------cut here---------------start------------->8---

achieving state-of-the-art accuracy among all existing deep learning
methods and up to 1000x faster than traditional solvers.

--8<---------------cut here---------------end--------------->8---

Non (mi) è dato sapere se per /addestrare/ tali sistemi ci vogliano
scienziati che sanno molto bene il fatto loro o bastano i lavoratori
precari dei paesi poveri usati di solito per "taggare" i dati da dare in
pasto ai sistemi ML

[...]

> Eventually, much of science will be conducted at “self-driving
> labs”—automated robotic platforms combined with artificial
> intelligence.


Non vedo l'ora di vedere esperimenti di "gain of function" sui virus
condotti automaticamente da simili sistemi :-O

...così non ci sarà nemmeno da confrontarsi coi fastidiosi problemi di
coscenza che di tanto in tanto anche gli scienziati si fanno

[...]

> Finally, at the stage of analysis and conclusion, self-driving labs will move beyond automation and, informed by experimental results they produced, use LLMs to interpret the results and recommend the next experiment to run. Then, as partners in the research process, the AI lab assistant could order supplies to replace those used in earlier experiments and set up and run the next recommended experiments overnight, with results ready to deliver in the morning—all while the experimenter is home sleeping.


Siamo alla pura e semplice distopia

...anzi no, perché dire "use LLMs to interpret the results" è banale cialtroneria

> Possibilities and limitations


ah perché ci sono anche dei limiti?

[...]

> With LLMs able to assist in building code, STEM students will no longer have to master obscure coding languages,


eccallà, figuriamoci se non saltava fuori anche questa

cari studenti STEM, cari scienziati tutti, mettetevi il cuore in pace: o
imparate a programmare o dai vostri sistemi computerizzati che usate
nella ricerca non potrà venire mai fuori qualcosa di interessante,
fidatevi ;-)_

io devo ancora capire cosa diavolo c'è di così SPAVENTOSO nella
programmazione, credo che il rifiuto per la programmazione sia pari solo
al rifiuto per la matematica... ma deve valere anche per gli
scienziati?!?

[...]

> Thanks to open-source resources,


altra palla galattica: open-source proprio per nulla... ma magari su
questo ci torneremo in altre occasioni

[...]

> As AI lowers the cost and effort of running experiments, it will in some cases be easier to replicate results or conclude that they can’t be replicated, contributing to a greater trust in science.


direi che questa è la perla delle perle, semplicemente *incommensurabile*

cioè: usare un sistema /inesplicabile/ per condurre ricerce scientifiche
dovrebbe aiutare a renderle riproducibili?!? Ma chi scrive certe cose
ce l'ha una vaga idea di qual'è la natura dei problemi di
riproducibilità delle ricerche scientifiche?

semmai, considerato che l'AI molto probabilmente verrà usata per
aumentare la quantità ma non la qualità di ricerca, i problemi di
riproducibilità *esploderanno* (che sarebbe già un buon risultato, così
magari verrebbero affrontati meglio di come fatto fino ad ora)

> The key to replicability and trust is transparency. In an ideal world,
> everything in science would be open access, from articles without
> paywalls to open-source data, code, and models. Sadly, with the
> dangers that such models are able to unleash, it isn’t always
> realistic to make all models open source. In many cases, the risks of
> being completely transparent outweigh the benefits of trust and
> equity.


c'è sempre un buon motivo per essere sempre meno trasparenti :-D

[...]

> But these capabilities make it a dangerous weapon in the wrong hands.


secondo me ci vuole La Patente™

[...]

> One oft-cited hypothetical asks you to imagine telling an AI to
> produce as many paper clips as possible. Determined to accomplish its
> goal, the model hijacks the electrical grid and kills any human who
> tries to stop it as the paper clips keep piling up.


ma no dai! ...e le tre leggi della robotica di Isaac Asimov dove le
mettiamo?!? :-O

[...]

> OpenAI has managed to implement an impressive array of safeguards, but these will only remain in place as long as GPT-4 is housed on OpenAI’s servers. The day will likely soon come when someone manages to copy the model and house it on their own servers. Such frontier models need to be protected to prevent thieves from removing the AI safety guardrails so carefully added by their original developers.


ma come?!? Così tutto d'un botto buttiamo nel cesso la retorica del
"open-source"(washing)?!? ROTFL.

[...]

> Beyond regulation, governments—along with philanthropy—can support
> scientific projects with a high social return but little financial
> return or academic incentive.


Il filantropo: «Ho un interessante ricerca da finanziare, ti piacerebbe
lavorare per svilupparla, si tratta di...»

lo scienziato precarizzato: «è proprio il mio campo di ricerca, ci sto!
Quanto potrò guadagnare dal mio lavoro, visto che mi impegnerà in modo
esclusivo per più di tre anni? Migliorerà la mia carriera?»

Il filantropo: «Caro scienziato mi spiace ma in per questa ricerca il
budget per il lavoro delle persone è scarso, ma vuoi mettere la
visibilità!»

> It will therefore require a more concerted effort to understand—and even record—the data for an aggregated database.


ripeto: RDF e Open Linked Data anyone?!? :-O

[...]

saluti, 380°



[1] https://ilmanifesto.it/intelligenza-artificiale-lesercito-dei-precari

--
380° (Giovanni Biscuolo public alter ego)

«Noi, incompetenti come siamo,
non abbiamo alcun titolo per suggerire alcunché»

Disinformation flourishes because many people care deeply about injustice
but very few check the facts. Ask me about <https://stallmansupport.org>.