Se hai utilizzato un’IA nell’ultimo anno e mezzo ti sarà capitato di chiedere un numero specifico di parole ma di averne ottenute spesso più del dovuto o meno. Perché?

Che cos’è l’IA generativa?

Esistono vari tipi di IA, quella generativa rappresenta uno dei principali. Per generativa si intende un’intelligenza artificiale in grado di generare contenuto, principalmente partendo da del testo ma non solo. Il contenuto generato può essere testuale, audio, video, codice. I più famosi sono senz’altro ChatGPT, Gemini e MidJourney.

Come funziona?

Il funzionamento di un’IA di questo tipo non è affatto banale. Il motivo per il quale quando chiediamo parole precise il conteggio è quasi sempre sbagliato richiede di capire meglio, a grandi linee, cosa succede quando scriviamo un input.

Il primo termine che balza all’occhio quando si parla di IA come ChatGPT è il termine token. Token lo abbiamo già sentito nel mondo delle criptovalute ma nel mondo dell’IA assume un ruolo essenziale. Un token non è altro l’unità più piccola nella quale può essere parcellizzato il testo.

Purtroppo ho usato una definizione generica perché non ci è dato sapere come ogni modello gestisca questa unità. Potrebbe essere una lettera, una parola o una frase, ma dipende e quindi il metro non è comune.

Perché i token sono importanti?

Il token è fondamentale perché è l’unità che congiunge il linguaggio umano a quello macchina. In altre parole, senza di essi sarebbe impossibile comunicare con un qualsiasi modello, bisognerebbe conoscere il linguaggio macchina. 

Il token ha poi un importante ruolo predittivo. Infatti l’IA progressivamente impara a prevedere quale sarà il prossimo token a partire da uno dato e questo consente di aumentare la velocità e l’accuratezza della risposta. 

Le strategie di tokenizzazione più comuni sono:

• basata sullo spazio: ogni volta che l’IA incontra uno spazio considera quelle lettere un token;
• basata sul dizionario: l’IA ha un suo dizionario e confronta le parole con quelle che già conosce, ogni volta che trova un match lo considera un token;
• basata sui byte: ogni parola viene scomposta in due o tre byte che diventano un token;
• divisione delle parole: ogni parola viene “rotta” in due o tre pezzi che vengono utilizzati come token;
• statistica: le parole vengono messe insieme a seconda della statistica di utilizzo delle stesse.

Limiti dei modelli

I modelli devono sottostare ad un limite di token utilizzabili, principalmente per distribuire la capacità computazionale al meglio tra i vari utilizzatori simultanei. 

Ognuno dei modelli più famosi ha un numero di token diverso supportato, basato sul modo in cui vengono gestiti gli stessi. Per questo è importante che l’utente finale comprenda meglio come dialogare senza incorrere in limitazioni che abbassino la qualità dell’output.