https://blog-dev.simpleenough.net/fr/tags/everyday/Recent content in Everyday on Simple Enough BlogHugofrTue, 01 Apr 2025 17:52:00 +0100https://blog-dev.simpleenough.net/fr/blog/token/Tue, 01 Apr 2025 17:52:00 +0100https://blog-dev.simpleenough.net/fr/blog/token/<h2 id="i-quest-ce-quun-token-" class="heading">I. Qu’est-ce qu’un token ?<a href="#i-quest-ce-quun-token-" aria-labelledby="i-quest-ce-quun-token-"> <!-- <i class="fas fa-link anchor"></i> --> <svg class="svg-inline--fa fas fa-link anchor" fill="currentColor" aria-hidden="true" role="img" viewBox="0 0 640 512"><use href="#fas-link"></use></svg>&nbsp; </a> </h2> <p>Un <strong>token</strong> est une unité de texte que le modèle traite. Il peut s’agir d’un mot entier, d’une partie de mot ou même d’un caractère spécial.</p> <h3 id="exemples-concrets" class="heading">Exemples concrets<a href="#exemples-concrets" aria-labelledby="exemples-concrets"> <!-- <i class="fas fa-link anchor"></i> --> <svg class="svg-inline--fa fas fa-link anchor" fill="currentColor" aria-hidden="true" role="img" viewBox="0 0 640 512"><use href="#fas-link"></use></svg>&nbsp; </a> </h3> <table class="table"> <thead> <tr> <th >Texte</th> <th >Nombre de tokens</th> </tr> </thead> <tbody> <tr> <td >Bonjour</td> <td >1</td> </tr> <tr> <td >Je suis un développeur</td> <td >5</td> </tr> <tr> <td >L’intelligence artificielle est fascinante !</td> <td >9</td> </tr> <tr> <td >GPT est un modèle puissant.</td> <td >6</td> </tr> </tbody> </table> <h3 id="particularité-du-découpage-des-tokens" class="heading">Particularité du découpage des tokens<a href="#particularit%c3%a9-du-d%c3%a9coupage-des-tokens" aria-labelledby="particularité-du-découpage-des-tokens"> <!-- <i class="fas fa-link anchor"></i> --> <svg class="svg-inline--fa fas fa-link anchor" fill="currentColor" aria-hidden="true" role="img" viewBox="0 0 640 512"><use href="#fas-link"></use></svg>&nbsp; </a> </h3> <ul> <li>En anglais, les mots courts représente 1 token (ex. <code>&quot;Hello&quot;</code> = 1 token).</li> <li>En français, certains mots longs peuvent être divisés en plusieurs tokens (ex. &ldquo;développeur&rdquo; ou &ldquo;intelligence&rdquo;` = 2 tokens).</li> <li>La ponctuation comptent aussi comme des tokens.</li> <li>Les espaces sont pris en compte avec le mot qui le suit.</li> <li>Les acronymes représente 1 token.</li> </ul> <p>En moyenne, 100 tokens correspondent à environ 75 mots, bien que cela puisse varier selon la langue et le style d’écriture.</p>