Statistiche: la connessione intelligente tra IA e cervello umano

L'IA offre enormi opportunità e allo stesso tempo comporta notevoli rischi. Per entrambi i motivi, l'IA spaventa molte persone. Per questo sostengono che l'IA si basa solo su statistiche e non ha nulla a che fare con l'intelligenza umana. Ciò che dimenticano è che la nostra intera esistenza si basa sulle statistiche.

Il fattore statistico della nostra esistenza

Si legge spesso sui modelli linguistici che questi LLM si basano solo sulla ricerca del prossimo parola probabile da generare e pubblicare dopo l'ultimo parola generata, e questo viene fatto parola per parola. E così ne esce un testo considerato intelligente creato dagli altri. In realtà si lavora con cosiddetti Token al posto delle parole. Detto in modo semplice, i token sono come parti di una parola o sillabe. I token vengono utilizzati per effettuare una compressione e anche per poter comprendere meglio a livello semantico le parole più lunghe o composte.

Il Responsabile della protezione dei dati di Amburgo utilizza anche questo argomento per dire che non è responsabile della AI, poiché la AI non elabora affatto dati personali. Non mi viene in mente molto di positivo su questo punto. Si tratta semplicemente di un'assurdità, come si può dimostrare . La seguente affermazione potrebbe già essere considerata una contro-argomentazione:

I modelli linguistici prevedono quale sarà la parola successiva. Questo non è intelligente.

I modelli linguistici predicono probabilmente la parola successiva adatta al contesto dato. È intelligente.

Molte persone non prestano attenzione alla parte in grassetto: di solito non viene menzionata.

Grammatica tedesca

Anche l'uomo può essere definito come un cosiddetto Token-Papagei. Il termine deriva da qualcuno con cui l'autore ha discusso di dettagli tecnici sulla IA. Quel tale pensava che i modelli linguistici fossero solo Token-Papagei. Essi quindi ripeterebbero semplicemente ciò che loro una volta avevano imparato dai dati di addestramento.

Perché l'uomo è anche un pappagallo del token? Quando parliamo della grammatica tedesca, come madrelingua vediamo che si basa su probabilità. Impariamo quali parole e concetti si combinano con altri vocaboli e termini. Per questo impariamo le probabilità. Tuttavia il nostro cervello nasconde così bene il principio dell'apprendimento della lingua che non ci accorgiamo che il principio fondamentale della grammatica è molto semplice. Solo dal 2017, con l'avvento del approccio Transformer, che è una base importante per la attuale intelligenza artificiale, è stato possibile che anche un informatico ingenuo possa capirlo se lo vuole.

Possiamo aspettare fino al giorno sacro del mai-mai…

È grammaticalmente corretto, ma un madrelingua lo direbbe così?

Se un straniero altera una espressione idiomatica a causa di ignoranza (o scarsa memoria) e la ripete in forma diversa, ma grammaticalmente corretta, allora riconosciamo la persona come straniera. Infatti abbiamo percepito la distribuzione delle probabilità anomala.

Decadimento radioattivo

Iniziamo con una citazione da Wikipedia che probabilmente qualsiasi fisico direbbe:

Il tempo di decadimento di ogni singolo nucleo atomico è casuale.

Fonte: Wikipedia

Questo significa: quando osservate un particella, non sapete quanto tempo durerà l'esistenza di questa particella. O altrimenti:non potete sapere* quanto tempo durerà l'esistenza di questa particella. Non potete saperlo perché il sapere sarebbe una violazione del riconosciuto quadro fisico della realtà. La conoscenza quindi non è possibile. Se avete interesse per ulteriori informazioni vi consiglio libri di divulgazione scientifica come quelli di Werner Heisenberg o Albert Einstein.

Quanto tempo ci vuole perché una sostanza radioattiva come l'uranio smetta di irradiare? In genere non è possibile rispondere a questa domanda osservando una particella di uranio. Per gli avvocati: a questa domanda non si può rispondere, nemmeno "in linea di principio". Ancora una volta: alla domanda su quando una sostanza radioattiva non è più tale non si può rispondere osservando una particella.

La metà vita è il tempo dopo cui la radiazione radioattiva di un materiale (nucleo radioattivo) si è dimezzata. Come si calcola questo numero? In ogni caso, vale: "Il momento della trasformazione di un singolo nucleo atomico non può essere previsto…" (Fonte: Halbwertszeit/Wikipedia). La metà vita viene determinata come "media statistica" (stessa fonte).

Decadenza radioattiva è un processo casuale che si basa sulla statistica.

Fisica quantistica

La fisica quantistica fu resa nota con la scoperta di Albert Einstein nel 1905. Egli scoprì che la luce non può essere compresa come un raggio continuo, ma piuttosto in forma di piccoli pacchetti, i quanti. Questo qui non è un discorso di fisica. Per non irritare troppi fisici, si tenga presente che esiste il dualismo onda-particella, che si riscontra nella luce. Ciò porta al cosiddetto esperimento a doppio scudo, forse la migliore prova della nostra incapacità di comprendere veramente la nostra stessa esistenza.

Ad esempio, i laser si basano sulle scoperte della fisica quantistica. Anche il GPS, la base del sistema di navigazione della vostra auto o del vostro smartphone, non esisterebbe senza la fisica quantistica. Il GPS, a sua volta, si basa su orologi atomici estremamente precisi, che esistono solo perché possiamo comprenderne il principio con la fisica quantistica.

Anche l'effetto tunnel del memoria flash si basa sulla meccanica quantistica. In sintesi: senza fisica quantistica questo contributo non sarebbe stato scritto su un computer, né pubblicato su una SSD di archiviazione via internet per raggiungere voi, né avreste un (pagabile o veloce) computer, figuriamoci poi parlare di smartphone.

Nella meccanica quantistica ci sono comunque eventi casuali che in via di principio non possono essere previsti – anche quando si conosce tutta l'informazione disponibile su un sistema quantistico.

Fonte: Caso quantico, caratteri in grassetto aggiunti. Altre fonti: Werner Heisenberg, Albert Einstein ecc.

Va addirittura al punto che non può esistere un perfetto vuoto. Infatti ciò violerebbe la relazione di incertezza di Heisenberg.

Se volete saperne di più: Werner Heisenberg, Niels Bohr, Richard Feynmann e Albert Einstein hanno scritto libri comprensibili sull'argomento, ai quali altri hanno poco da aggiungere.

Intelligenza basata su una rete neurale

Certo, l'intelligenza può essere rappresentata in ogni modo appropriato. Ma un reticolo neuronale si è rivelato particolarmente efficace. Viene utilizzato sia nel vostro cervello che nel cervello artificiale della AI.

Le reti neurali elaborano solo numeri, nient'altro.

Tutti i segnali arrivano nel vostro cervello sotto forma di valori analogici che si manifestano in corrente e tensione. Potenziali d'azione nei neuroni trasmettono i segnali elettrici („elaborazione invisibile").

A un certo punto si verifica l'"uscita". La bocca si muove perché i muscoli corrispondenti hanno ricevuto il comando numerico dal cervello attraverso il midollo spinale. I numeri sono correnti e tensioni.

I segnali analogici possono essere convertiti in segnali digitali. Il processo perde un po' di precisione perché i segnali analogici sono continui e quelli digitali sono discreti. Continuo significa, ad esempio, che esiste un numero qualsiasi di numeri tra 0 e 1. Discreto significa che esiste solo un numero limitato di numeri tra 0 e 1. Il numero di numeri nel sistema digitale dipende dalla precisione utilizzata. È facile capire che non è importante se ci sono un numero infinito di numeri tra 0 e 1 o "solo" 100.000 miliardi di numeri. La perdita di precisione nella conversione da segnali analogici a digitali è trascurabile. I sistemi analogici e digitali possono quindi essere considerati equivalenti da questo punto di vista, come dimostrano gli attuali sistemi di intelligenza artificiale, che spesso sono di gran lunga superiori agli esseri umani (ad eccezione di voi, ovviamente).

Tutto è un numero

I modelli linguistici si basano sui token. I token vengono trasformati in numeri. Per farlo, si utilizza un vocabolario. È così semplice che non c'è bisogno di parlare troppo al riguardo. Ecco un estratto dal vocabolario pubblicamente disponibile di GPT-2:

La strana "G" davanti ad alcuni token è un indicatore che il rispettivo token deve costituire l'inizio di una parola. Tutti i token senza questo indicatore non devono essere all'inizio di una parola. Il dizionario GPT-2 ha 52.000 voci.

Tutti i modelli linguistici open source dispongono di un dizionario di questo tipo, che è possibile scaricare e visualizzare come file di testo.

Come va a Immagini? Conoscono Dall-E o Midjourney. La procedura è la seguente:

1. Il testo (richiesta) viene convertito in numeri e inserito nel modello AI di DALL-E.
2. DALL-E elabora questi numeri attraverso una rete neurale che calcola solo con i numeri.
3. Il risultato finale è un numero. Questi numeri vengono interpretati come pixel.

Un punto di immagine si chiama Pixel. In un canale colore RGB e con una profondità di 24 bit, un pixel ha 3 byte: 1 byte per il rosso, 1 byte per il verde e 1 byte per il blu. Ogni byte può assumere valori compresi tra 0 e 255. Un pixel è costituito da tre numeri.

E che dire del parlato, cioè dei segnali audio? Un file MP3, o la vostra voce registrata, sono costituiti da vibrazioni ("forma d'onda"). Il vostro cervello (probabilmente) elabora due canali: Un canale è l'orecchio sinistro, un altro è l'orecchio destro. Nell'home cinema si parla di 5.1 o simili. Il 5 sta per i 4 diffusori angolari e il diffusore centrale. L'1 sta per il diffusore dei bassi. I segnali audio possono quindi essere convertiti in numeri, come dimostrano l'impianto stereo o il telefono cellulare.

Tutti gli altri segnali possono essere convertiti in numeri. Al termometro è la temperatura come valore numerico, al sensore sismico è la forza del terremoto (circa sulla scala di Richter). Altri segnali sono già digitali. Prendete ad esempio una tabella Excel che contiene dati di vendita.

Tutti i segnali possono essere convertiti in numeri.

I comandi di controllo, invece, possono essere eseguiti inviando numeri agli attuatori.

Un attuatore, come la bocca o la mano, viene controllato inviando numeri all'attuatore. Questo è tutto. Dov'è l'ingrediente segreto? Non c'è. Il fatto che siano coinvolti anche processi chimici è un dettaglio apparentemente non necessario, dovuto alla natura dei sistemi biologici. Se la vedete diversamente, sarebbe bene che contribuiste con qualche argomentazione.

Opinioni sulle statistiche

Le opinioni non sono vere e proprie prove. Dovrebbero essere riportate qui solo perché nessuno pensi che l'autore sia solo con la sua opinione.

Opinioni degli altri

Da un 30-minuto di conversazione con un collaboratore di DEEPL nel novembre 2024 è emerso: Il collaboratore è informatico e comprende la funzione tecnica dei modelli linguistici. Il suo campo di studio è la linguistica, il che non sorprende molto per DEEPL. Egli concorda con l'autore che la statistica è anche una base dell'intelligenza umana. Lui vede anche che i robot diventano sempre più potenti. Che non ogni informatico abbia queste intuizioni, si può vedere nell'esempio sopra con il pappagallo dei token (il termine deriva da un altro informatico che forse non ha ancora trovato l'orlo del piatto).

Prof. Dr. Maximilian Wanderwitz è professore di diritto economico e del diritto della tecnologia dell'informazione. Pubblica molto sul tema dell'intelligenza artificiale. Dopo il suo intervento il 26 novembre 2024 a Magonza, gli è stato chiesto dalla redattrice la sua opinione. Il professor Wanderwitz ha confermato che anche lui ritiene che la statistica sia un elemento importante dell'intelligenza umana e lo considera analogamente all'IA.

Un dipendente di T-Systems, che si occupa dei sistemi digitali nel suo azienda, ha confermato questo il 26.11.2024: Egli considera le statistiche come elemento della intelligenza umana allo stesso modo in cui lo sono nella Intelligenza Artificiale.

Sam Altmann, co-fondatore di OpenAI considera la potenza dell'IA così grande che l'IA supererà l'uomo in modo "inimmaginabile". Superare l'intelligenza con qualcos'altro che non sia l'intelligenza sembra difficile da immaginare.

Definizione di intelligenza (artificiale)

L'autore propone (dalla data di già 03.04.2024) la seguente definizione di Intelligenza Artificiale:

Come Intelligenza Artificiale si intende un sistema artificiale che cerca, di risolvere un problema anche con una definizione vaga in modo non specificato, orientato alla soluzione e che combina il conosciuto esistente con nuove informazioni e deduzioni.

Definizione del termine intelligenza artificiale. Fonte: Klaus Meffert, dr-dsgvo.de

Potete decidere da soli cosa sia un sistema artificiale. Non è importante. I 27 Stati membri dell'UE la vedono in media in modo diverso. Questa media si chiama processo democratico. L'UE considera una macchina come un prerequisito per l'IA. Questa restrizione è inutile e arrogante. È stato inoltre dimostrato che il diesel può essere ecologico. Escluderlo a priori è stato inutile e sbagliato.

Che cos'è dunque l'intelligenza? Lo stesso, tranne che per il fatto che l'intelligenza non è (necessariamente) artificiale. Questo ci dà la seguente definizione:

Come Intelligenza si intende un Sistema che cerca, di risolvere un Problema anche con una definizione imprecisa in modo non specificato, orientato alla soluzione e consistente nella combinazione del saper fare esistente con il nuovo sapere e nel trarre conclusioni.

Definizione del termine intelligenza. Fonte: Klaus Meffert, dr-dsgvo.de

La definizione di intelligenza è identica a quella di IA, ad eccezione dell'aggettivo "artificiale".

Il vostro punto di vista

Pensate che l'IA si basi "solo" sulla statistica e che quindi non sia un sistema intelligente? Allora sarebbe bello sapere su quale principio, se non la statistica, si basa l'intelligenza umana. La vostra definizione di IA o intelligenza sarà presa in considerazione volentieri se ne avete una diversa da quella citata sopra e la trovate migliore. Inoltre, sarebbe bene sapere dove si trova l'argomento quando qualcuno dice: "L'IA si basa sulle statistiche". Corretto, ma dov'è il punto?

Conclusione

La statistica è alla base della nostra esistenza. La migliore teoria che abbiamo è probabilmente quella quantistica. Descrive la nostra realtà in modo estremamente preciso. Chiunque dubiti della fisica quantistica nega la propria esistenza.

Perché semplice è (troppo) semplice?

Il motivo principale è la supposizione di alcuni che la statistica come meccanismo sia troppo semplice per produrre intelligenza.

Perché il semplice è semplicemente semplice. Dobbiamo abbandonare l'assunto che meccanismi incredibili come quello che chiamiamo intelligenza debbano basarsi su principi complicati. Il fatto che un sistema non sia abbastanza complicato non è un argomento per affermare che questo sistema non possa essere efficiente.

L'intelligenza è molto semplice nella sua essenza. Si basa (di solito) su una rete neuronale che elabora numeri e impara grazie a esempi. Esempi sono coppie di "è" (ingresso) e "dovrebbe essere" (uscita), o anche solo "è"-coppie (ad esempio testi tedeschi), considerati corretti.

È vero che la lingua tedesca (e molte altre lingue nel mondo) si basa sulla statistica. Il fatto è che il testo può essere convertito in numeri. Lo stesso vale per le immagini, il parlato e altri valori dei sensori. Le reti neurali calcolano solo con i numeri. Nel cervello non ci sono testi, suoni o immagini, ma solo numeri.

È vero anche che noi (anche voi) impariamo la lingua e la grammatica tedesche attraverso esempi, proprio come fanno le macchine intelligenti. Per questo viene utilizzato un meccanismo chiamato Attenzione. Nelle macchine intelligenti si chiama "Attention". Tuttavia, sembra che anche senza l'attenzione sia possibile, come mostrano gli ultimi approcci tecnici. Non è nemmeno importante capire come nasce l'intelligenza, perché spesso non esiste solo un modo per raggiungere un obiettivo.

Il modo in cui un obiettivo o l'intelligenza vengono raggiunti è del tutto irrilevante (se considerato su periodi di tempo più lunghi).

Tuttavia, alcuni approcci sono più efficienti di altri.

I sistemi di intelligenza artificiale di solito (ancora) imparano dai dati forniti dagli esseri umani. Una fonte importante è Internet. Tuttavia, i robot imparano come gli esseri umani se hanno con sé un cervello di intelligenza artificiale. Possono imparare da esempi nell'ambiente in cui vivono. Questi robot esistono già. Non è teoria, è realtà. I robot domestici e altri aiutanti robotici di tutti i giorni saranno presto disponibili per diverse migliaia di euro.

Il pensiero che l'intelligenza artificiale sia qualitativamente diversa dall'intelligenza umana porta a non considerare la realtà. Anche se la AI fosse una buona simulazione di intelligenza: cosa cambia?

Utilizzate AI come dipendente performante nel vostro azienda. Gli scenari di applicazione sono molti! La AI funziona meglio per casi concreti d'applicazione.

Aggiornamento: modello linguistico europeo Teuken

Difficile da credere, ma vero. Il modello linguistico europeo Teuken è stato appena pubblicato (26/11/2024).

I primi test sono molto promettenti. Nell'esempio pratico viene mostrato ciò che Teuken può fare. Per questo è stato inserito il primo paragrafo di questo articolo nel modello LLM di Teuken e doveva essere riassunto. La sfida era quella di riassumere in 3 frasi. Ecco il risultato:

Frase 1: I modelli linguistici come il GPT-3 si basano sulla determinazione e sulla pronuncia della parola più probabile per la parola precedentemente generata.Frase 2: I token sono un modo per rappresentare parole o frasi più lunghe in una forma più compressa. Possono anche rappresentare informazioni semanticamente più complesse.Teorema 3: L'argomentazione secondo cui l'IA non elabora i dati personali è sbagliata e mostra un problema di comprensione fondamentale dell'IA.Teorema 4: Gli esseri umani possono essere chiamati "pappagalli di token" perché dimostrano di ripetere ciò che è stato loro insegnato nei dati di addestramento.Teorema 5: La grammatica tedesca si basa sulle probabilità. Questo è intuitivo per gli esseri umani e viene utilizzato inconsciamente durante l'apprendimento del linguaggio.Frase 6: L'approccio del trasformatore è stato una svolta nell'IA, consentendo anche ai non esperti di comprendere le basi dell'elaborazione del linguaggio.Il testo spiega vari aspetti del modello linguistico GPT-3 e della grammatica tedesca.Erano 6 frasi. Voglio un riassunto in 3 frasiVero, ecco la versione riassunta:1. I modelli linguistici come il GPT-3 utilizzano token invece di parole.2. Gli esseri umani possono essere chiamati "pappagalli di token" perché dimostrano di ripetere ciò che è stato loro insegnato nei dati di addestramento.Gli esseri umani possono essere chiamati "pappagalli di token" perché dimostrano la ripetizione di ciò che è stato loro insegnato nei dati di addestramento.3.

All'inizio, Teuken ha consegnato 6 serie anziché 3. Ma queste 6 frasi erano molto buone. La richiesta a Teuken di fornire un riassunto in 3 frasi è stata soddisfatta. Il risultato è impressionante, anche se c'è un piccolo errore di ortografia.

Ciò che colpisce è che Teuken mette "Sentenza 1", "Sentenza 2" ecc. davanti alle frasi generate. Secondo le osservazioni dell'autore, altri modelli di IA non hanno fatto questo finora.

È stato utilizzato Teuken-7B-instruct-commercial-v0.4 di openGPT-X. Da qui le informazioni sulla licenza:

Lizenzangabe (pubblicità Teuken):

Copyright 2024 openGPT-X

Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at

http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License.

Messaggi chiave di questo articolo

I modelli linguistici non lavorano semplicemente parola per parola, ma con i cosiddetti token. Si tratta di unità più piccole di parole o sillabe.

Gli esseri umani possono anche essere descritti come pappagalli di pedine perché, come le IA, apprendiamo e applichiamo regole di linguaggio basate sulla probabilità.

Il decadimento radioattivo è un processo casuale in cui l'emivita è calcolata come valore medio statistico. Non è possibile prevedere quando un singolo atomo decadrà.

La fisica quantistica fa parte della nostra vita quotidiana, ad esempio nei laser, nel GPS e nella memoria flash.

Senza la fisica quantistica non esisterebbero né i computer né Internet.

Nella fisica quantistica ci sono eventi imprevedibili e non può esistere un vuoto perfetto.

L'intelligenza è mappata nei sistemi di IA con l'aiuto di reti neurali che elaborano solo numeri.

I segnali analogici possono essere convertiti in digitali con una perdita minima di precisione.

Tutto è un numero: i modelli linguistici come GPT-2 utilizzano un dizionario con 52.000 voci per tradurre il testo in numeri. Anche le immagini vengono convertite in numeri (pixel) da modelli come DALL-E. Anche i segnali audio e altri valori misurati possono essere rappresentati come numeri. Gli attuatori (come gli arti umani) vengono controllati con i numeri.

La statistica è una componente essenziale dell'intelligenza umana e dell'IA.

Conclusione in breve

L'intelligenza artificiale è un sistema che risolve problemi ed elabora nuove informazioni. Impara da esempi e lavora con i numeri. Lo stesso vale per l'intelligenza umana.

Le statistiche sono importanti per il nostro mondo e la teoria quantistica lo descrive al meglio. L'intelligenza è semplicemente strutturata: si basa su reti neurali che elaborano numeri.

In pratica, l'intelligenza artificiale non è diversa dall'intelligenza umana: può essere altrettanto utile. Le aziende dovrebbero utilizzare l'IA per diventare più efficienti.

A proposito di queste affermazioni fondamentali