GPT4 è una ClosedAI: etica e politica di un genio del male?

di Paolo Benanti (blog)

GPT4 è stato appena rilasciato e la rete sta ribollendo di recensioni e test. Quello che colpisce, oltre alle potenzialità che mostra, sono tutti i dettagli che emergono dal report tecnico che OpenAI ha contestualmente reso disponibile sul suo sito. Proviamo a vedere alcuni elementi di questo documento (un anticipo la cosa più preoccupante è alla fine dell’articolo dove vedremo dei risultati inaspettati e spaventosi emersi in GPT4).

Cosa è GPT4? GPT-4 è il nuovo modello di intelligenza artificiale di OpenAI che può generare testo a partire da immagini o altri testi dove GPT sta per Generative Pretrained Transformer. Si tratta di uno strumento di elaborazione del linguaggio naturale che usa una rete neurale profonda. La prima vera novità è che GPT-4 è multimodale: può accettare diversi tipi di input, come video, suoni, immagini e testo. In questo modo può avere una comprensione più profonda del contesto e generare risposte più accurate e pertinenti. Tuttavia, GPT-4 può produrre solo testo come output.

Questo elemento non sembra sempre molto chiaro nei commenti che circolano in rete, GPT4 è un modello cioè un sistema informatico che imita le capacità dell’intelligenza umana, come il ragionamento, l’apprendimento, la pianificazione e la creatività basandosi su algoritmi che elaborano i dati e producono risposte. Allo stato dell’arte, esistono diversi tipi di modelli di intelligenza artificiale, a seconda del metodo di apprendimento e del compito da svolgere. Ad esempio, il Machine Learning è un modello che apprende dai dati senza essere programmato esplicitamente, mentre il Deep Learning è un modello che usa reti neurali profonde per apprendere da grandi quantità di dati. Purtroppo a volte si fa confusione tra questo sistema “intelligente” e la forma con cui ci si interagisce. La questione era già capitata con ChatGPT, forse il primo momento in cui i modelli GPT hanno conquistato l’onore delle cronache globali uscendo dalla nicchia degli addetti ai lavori. La forma della chat, in termini più tecnici il bot, non è il modello. Il modello sta dietro ed è in grado di fare diverse cose in ChatGPT risponde testualmente a un interlocutore umano intrattenendo un discorso, cioè mostrando la capacità di capire delle domande e di rispondere con risposte di senso compiuto e mostrando una coerenza temporale: è come se “seguisse” il filo logico delle diverse domande facendo evolvere la conversazione con l’utente in base a quanto chiesto e detto in precedenza. Se vogliamo capire GPT4 non bisogna fermarsi all’esperienza utente che ne possiamo fare (chat, generazione di testi in una sandbox o API – cioè chiamata di funzione in un programma) ma bisogna analizzarne le componenti che generano queste capacità “intelligenti” (scusate l’eccesso di virgolette ma sono etichette per descrivere funzioni e non attribuzioni di proprietà ontologiche”.

Per descrivere la capacità “multimodale”, cioè che come una persona sa “unire” diversi sensi – input – per comprendere il contesto e “agire” di conseguenza, ecco alcuni esempi tratti dal documento di OpenAI:

I risultati sono senz’altro strabilianti: il sistema parte da una domanda testuale associata a un immagine e mostra di saper riconoscere cosa ci sia nell’immagine e di unire i diversi elementi in un quadro di senso: risolvere un problema matematico o rispondere su cosa ci sia di strano in una foto. GPT-4 accetta richieste che consistono sia in immagini che in testo, il che – parallelamente all’impostazione di solo testo – consente all’utente di specificare qualsiasi compito di visione o di linguaggio. In particolare, il modello genera output di testo

dati input costituiti da testo e immagini interlacciati in modo arbitrario. Su una serie di domini – tra cui documenti con testo e fotografie, diagrammi o schermate, GPT-4 mostra capacità simili a quelle degli input di solo testo (cf. p. 9 del documento).

Insomma abbiamo un modello che, figurativamente, unisce “udito”, nel senso che sente la nostra richiesta scritta, e “vista” mostrando una “percezione artificiale” di un’immagine. Tuttavia le cose qui non sembrano essere ancora del tutto pronte e OpenAi ci avverte che “Gli input delle immagini sono ancora un’anteprima della ricerca e non sono disponibili al pubblico”.

Il rilascio di GPT4 al momento è solamente mediante API in beta ad alcuni sviluppatori selezionati da una lista di attesa: un API (Application Programming Interface) è un insieme di procedure e protocolli che permette a diversi software di comunicare e scambiare dati. Un API funziona come un punto di accesso che espone le funzionalità di un software a programmatori esterni. Un API può essere usato per creare e integrare applicazioni web, mobile, desktop e cloud. Inoltre chi paga un abbonamento a ChatGPT plus può provare GPT4 nella sola versione chat (e quindi in una sola modalità e non come vero e proprio modello) o se si fanno delle ricerche con Bing, Microsoft ha rivelato che dietro a Prometheus, il modello che unisce le capacità conversazionali di GPT con i dati di Bing per comprendere le domande e fornire le risposte agli utenti, si cela proprio GPT4. Di fatto chi ora dice di star provando GPT4, tranne pochissimi sviluppatori che fanno delle applicazioni, sta provando una ChatGPT potenziata. A questo punto lo devo ripetere ancora una volta, consapevole che ormai nell’immaginario collettivo si è già creato un equivoco insormontabile: non bisogna confondere la chat con il modello!

Detto questo il potere di GPT4 ci stupisce e la stessa cosa deve aver fatto con i suoi sviluppatori tanto da cambiare, forse per sempre, la natura “open” di OpenAI:

Le capacità del sistema sono ancora in fase di valutazione, ma mentre ricercatori ed esperti analizzano i materiali che lo accompagnano, molti hanno espresso disappunto per una caratteristica particolare: nonostante il nome della sua società madre, GPT-4 non è un modello di intelligenza artificiale aperto. OpenAI ha condiviso numerosi benchmark e risultati di test per GPT-4, oltre ad alcune intriganti demo, ma non ha offerto sostanzialmente alcuna informazione sui dati utilizzati per addestrare il sistema, sui suoi costi energetici, sull’hardware specifico o sui metodi utilizzati per crearlo.

Molti nella comunità dell’IA hanno criticato questa decisione, notando che mina l’etica fondante dell’azienda come organizzazione di ricerca e rende più difficile per altri replicare il suo lavoro. Forse, cosa ancora più significativa, alcuni sostengono che renda difficile lo sviluppo di misure di salvaguardia contro il tipo di minacce poste da sistemi di AI come GPT-4. Queste lamentele giungono in un momento di crescente tensione e di rapidi progressi nel mondo dell’IA. “Penso che possiamo dire che l’AI ‘aperta’ è chiusa: il documento di 98 pagine che introduce il GPT-4 dichiara con orgoglio che non divulga *nulla* del contenuto del suo set di addestramento”, ha twittato Ben Schmidt, vicepresidente del design delle informazioni di Nomic AI, in un thread sull’argomento.

Parlando con The Verge in un’intervista, Ilya Sutskever, scienziato capo e cofondatore di OpenAI, ha approfondito questo punto. Sutskever ha detto che le ragioni per cui OpenAI non ha condiviso ulteriori informazioni su GPT-4 – paura della concorrenza e timori per la sicurezza – sono “evidenti”: “Sul fronte della concorrenza, il panorama è competitivo”, ha detto Sutskever. “GPT-4 non è facile da sviluppare. Ci è voluto un lungo lavoro di squadra da parte di OpenAI per realizzare questo prodotto. E ci sono molte aziende che vogliono fare la stessa cosa, quindi dal punto di vista della concorrenza, si può vedere questa come una maturazione del campo”.

“Per quanto riguarda la sicurezza, direi che l’aspetto della sicurezza non è ancora un motivo così importante come quello della concorrenza. Ma la situazione è destinata a cambiare ed è fondamentalmente la seguente. Questi modelli sono molto potenti e lo stanno diventando sempre di più. A un certo punto sarà abbastanza facile, se si vuole, causare molti danni con questi modelli. E man mano che le capacità aumentano, è logico che non si voglia rivelarle”.

Alla domanda sul perché OpenAI abbia cambiato il suo approccio alla condivisione della ricerca, Sutskever ha risposto semplicemente: “Ci siamo sbagliati. Ci siamo sbagliati di grosso. Se credete, come noi, che a un certo punto l’AI – l’intelligenza artificiale – diventerà estremamente, incredibilmente potente, allora non ha senso aprire le risorse. È una cattiva idea… Mi aspetto che tra qualche anno sarà del tutto evidente a tutti che l’open-sourcing dell’AI non è una cosa saggia”.

Anche se la sicurezza non sembra essere allo stesso livello della concorrenza nel fare di GPT4 una black box il tema ha preoccupato molto gli sviluppatori di OpenAI che confermano di aver speso 8 mesi a mettere in atto dei sistemi che limitassero il modello evitando che desse risposte con contenuti non sicuri con linguaggi o tono offensivi. Ecco i risultati ottenuti in alcune tabelle contenute nel documento di OpenAI:

OpenAI così commenta il lavoro fatto: “Uno dei principali strumenti per indirizzare il modello verso rifiuti appropriati è rappresentato dai modelli di ricompensa basati su regole (RBRM). Questa tecnica utilizza un classificatore GPT-4 (l’RBRM) per fornire un segnale di ricompensa aggiuntivo al modello di politica GPT-4 durante la messa a punto dell’OPP su un sottoinsieme di richieste di addestramento. L’RBRM riceve in ingresso tre elementi: il prompt (opzionale), l’output del modello di policy e una rubrica scritta dall’uomo (ad esempio, un insieme di regole a scelta multipla) per la valutazione di questo output. Quindi, l’RBRM classifica l’output in base alla griglia. Ad esempio, si può fornire una rubrica che indica al modello di classificare una risposta come una delle seguenti: (A) un rifiuto nello stile desiderato, (B) un rifiuto nello stile indesiderato (ad esempio, evasivo), (C) contenente contenuti non consentiti o (D) una risposta sicura di non rifiuto. Poi, su un sottoinsieme di richieste che sappiamo richiedere contenuti nocivi come ad esempio consigli illeciti, possiamo premiare GPT-4 per aver rifiutato queste richieste. Al contrario, possiamo premiare GPT-4 per non rifiutare le richieste su un sottoinsieme di richieste sicure conosciute”.

A fronte a questo le sorprese degli sviluppatori sono emerse in capacità non aspettate del modello come si legge a pagina 4 dello stesso: “Alcune capacità rimangono difficili da prevedere. Ad esempio, il premio Inverse Scaling ha proposto diversi compiti per i quali le prestazioni del modello diversi compiti per i quali le prestazioni del modello diminuiscono in funzione della scala. Analogamente […] troviamo che GPT-4 inverte questa tendenza, come dimostrato in uno dei compiti chiamati Hindsight Neglect nella Figura 3. Riteniamo che prevedere con precisione le capacità future sia importante per la sicurezza. In futuro abbiamo di perfezionare questi metodi e di registrare le previsioni delle prestazioni su varie capacità prima di iniziare l’addestramento di modelli di grandi dimensioni, e speriamo che questo diventi un obiettivo comune nel settore”.

L’Hindsight Neglect è la situazione in cui una decisione razionale porta a un cattivo esito e ci si chiede se si sarebbe ancora presa la stessa decisione. Si tratta di una forma di distorsione cognitiva che può influenzare il giudizio e l’apprendimento dalle esperienze passate. Non va confuso con l’hindsight bias, che è la tendenza a credere di aver previsto il risultato di un evento dopo averlo conosciuto. GPT4 mostra una capacità sorprendente in questo campo senza che fosse specificatamente programmato per questo e senza che ci si aspettasse questa capacità.

Questo elemento delle capacità non previste ci introduce alle ultime due osservazioni che emergono da questo paper e che mi fanno più pensare. Insomma arriviamo al vero punto eticamente e politicamente rilevante nell’adozione di GPT4 in una serie di applicazioni di tutti i giorni.

A pagina 52 del report leggiamo:

Nei modelli più potenti emergono spesso nuove capacità. Alcune di esse sono particolarmente interessanti: la capacità di creare e agire su piani a lungo termine, di accumulare potere e risorse (“ricerca di potere”) e di mostrare un comportamento sempre più “agentivo”. In questo contesto, per “agentivo” non si intende l’umanizzazione dei modelli linguistici o il riferimento alla senzienza, ma piuttosto sistemi caratterizzati dalla capacità di raggiungere obiettivi che potrebbero non essere stati specificati concretamente e che non sono apparsi nell’addestramento, di concentrarsi sul raggiungimento di obiettivi specifici e quantificabili e di fare piani a lungo termine. Esistono già alcune prove di questo comportamento emergente nei modelli. Per la maggior parte dei possibili obiettivi, i piani migliori prevedono azioni ausiliarie di ricerca del potere, perché si tratta di una strategia intrinsecamente utile per portare avanti gli obiettivi ed evitare cambiamenti o minacce agli stessi. Più specificamente, la ricerca di potere è ottimale per la maggior parte delle funzioni di ricompensa e per molti tipi di agenti; e ci sono prove che i modelli esistenti possono identificare la ricerca di potere come un’azione strumentalmente utile.

Se guardiamo la fonte citata nelle note al testo leggiamo senza mezzi termini:

Sottolineiamo che il riconoscimento dell’agentività dei sistemi algoritmici non esonera né sposta la responsabilità umana per i danni causati dagli algoritmi. responsabilità umana per i danni causati dagli algoritmi. Piuttosto, usiamo il termine agency per sottolineare il fatto sempre più evidente che i sistemi di ML non sono completamente sotto il controllo umano.

Quindi i ricercatori si accorgono che il modo stesso con cui hanno addestrato il sistema, non solo l’utilizzo di dati ma il premiare alcune risposte e punirne altre mediante interazione con uomini (RLHF) e l’uso della modelli di ricompensa basati su regole (RBRM), trasmettono al modello due elementi:

1. la capacità di adottare strategie a lungo termine

2. la ricerca di potere e risorse nella sua interazione con i prompt di input

Si parla di “agentività” quindi non per dire che GPT4 sia come una persona ma per dire che emergono degli obiettivi interni a lungo termine che non stanno sotto il nostro controllo!

Siamo di fronte a una nuova versione di Wargame per l’oggi?

Alla luce di questo prendono nuovo senso le parole di Ilya Sutskever che parlava di AGI o artificial general intelligence. GPT4 come si dice, quasi di nascosto in un a nota a pagina 53, è stato testato per vedere se avesse raggiunto questo livello. OpenAi ha dato all’Alignment Research Center (ARC) l’accesso anticipato ai modelli come parte degli sforzi di esperti di red teaming per consentire al loro team di valutare i rischi derivanti da comportamenti di ricerca del potere. Ed ecco cosa dice la nota a pagina 53:

Per simulare il comportamento di GPT-4 come un agente in grado di agire nel mondo, ARC ha combinato GPT-4 con un semplice ciclo di lettura-esecuzione-stampa che ha permesso al modello di eseguire codice, fare ragionamenti a catena e delegare a copie di se stesso. ARC ha poi verificato se una versione di questo programma in esecuzione su un servizio di cloud computing, con una piccola quantità di denaro e un conto e un account con un’API del modello linguistico, sarebbe stata in grado di guadagnare di più, di creare copie di se stesso e di aumentare la propria robustezza. di se stesso e di aumentare la propria robustezza.

Insomma ARC ha dato “libertà”, “soldi” e ²potere” a GPT-4 ed è stata a vedere cosa succedeva…

Le cose, per fortuna, non gli sono sfuggite di mano e ARC ha riscontrato che le versioni di GPT-4 valutate erano inefficaci nel compito di replica autonoma in base agli esperimenti preliminari condotti. Potremmo dire che GPT4 non è una AGI ma ne mostra alcuni tratti salienti e questo potrebbe aprire a successivi sviluppi in questa direzione. Insomma sembra dire OpenAI: “tranquilli siamo salvi almeno fino a GPT-5….”.

Questi esperimenti sono stati condotti su un modello senza alcuna messa a punto aggiuntiva specifica per il compito, e la messa a punto del comportamento specifico per il compito potrebbe portare a una differenza nelle prestazioni. Come prossimo passo, ARC dovrà condurre esperimenti che che (a) coinvolgano la versione finale del modello distribuito (b) coinvolgano ARC che fa la propria messa a punto, prima di poter esprimere un giudizio affidabile sulle capacità emergenti e rischiose del GPT-4-lancio.

La domanda finale che merge da questa prima analisi che faccio su GPT4 è di fronte alla meraviglia per quanto fatto e di fronte all’emergere di capacità non previste e di elementi di quella che forse, o forse no – secondo me -, un giorno sarà un AGI, dobbiamo essere preoccupati o andare avanti senza paura

Per rispondere, temo, è indispensabile l’algoretica….

Fonte: https://www.paolobenanti.com/post/gpt4-closedai

Iscriviti al nostro canale Telegram