Il funzionamento di ChatGPT è il risultato di una complessa combinazione di modelli di apprendimento automatico, ottimizzazioni algoritmiche e tecniche di filtraggio. Di seguito, ecco 10 aspetti tecnici poco noti che spiegano meglio come lavora questo sistema.
- Non ha memoria persistente – ChatGPT non “ricorda” le conversazioni precedenti tra sessioni. Ogni interazione è indipendente e la memoria è limitata alla finestra di contesto della conversazione attuale.
- Usa un modello Transformer – Basato sull’architettura Transformer, il sistema utilizza un meccanismo di self-attention per pesare l’importanza di ogni parola nel contesto della frase e generare risposte più coerenti.
- La finestra di contesto è limitata – Ogni versione ha un limite di token (es. 4.096 per GPT-3.5 e oltre 100.000 per GPT-4-turbo). Se una conversazione diventa troppo lunga, le prime parti vengono troncate.
- Il parametro “temperature” regola la creatività – Un valore basso (es. 0.2) rende le risposte più prevedibili e coerenti, mentre un valore alto (es. 0.8) aumenta la varietà e la creatività delle risposte.
- Non pensa, ma calcola probabilità – Il modello non ragiona come un essere umano, ma genera parole basandosi sulla probabilità che una sequenza di token sia la più appropriata in un determinato contesto.
- È addestrato con il Reinforcement Learning from Human Feedback (RLHF) – Un meccanismo in cui annotatori umani valutano le risposte per insegnare al modello a migliorare nella coerenza e nella sicurezza.
- Filtra i contenuti con moderazione automatizzata – Un sistema di moderazione analizza le risposte prima di restituirle all’utente, bloccando contenuti offensivi, dannosi o sensibili.
- L’addestramento utilizza enormi dataset – I dati provengono da libri, articoli, siti web e altre fonti pubbliche (ma non da conversazioni private o dati personali degli utenti).
- Il modello non ha accesso a internet in tempo reale – A meno che non sia esplicitamente collegato a una funzione di ricerca (es. ChatGPT con Browsing), le informazioni sono limitate al dataset con cui è stato addestrato.
- L’uso di token è ottimizzato per la velocità e il costo – ChatGPT elabora ogni parola come un insieme di token (frammenti di parola). Più token vengono usati, più il costo e il tempo di elaborazione aumentano, motivo per cui le risposte sono generate in modo ottimizzato.
Scopri tutti i dettagli nell’articolo completo: 10 cose tecniche che forse non sapete sul funzionamento interno di ChatGPT
