https://blog-dev.simpleenough.net/fr/tags/openia/Recent content in OpenIA on Simple Enough BlogHugofrWed, 26 Mar 2025 09:05:00 +0100https://blog-dev.simpleenough.net/fr/blog/chunk/Wed, 26 Mar 2025 09:05:00 +0100https://blog-dev.simpleenough.net/fr/blog/chunk/<h2 id="i-taille-des-chunks--pourquoi-1000-tokens-" class="heading">I. Taille des chunks : pourquoi ~1000 tokens ?<a href="#i-taille-des-chunks--pourquoi-1000-tokens-" aria-labelledby="i-taille-des-chunks--pourquoi-1000-tokens-"> <!-- <i class="fas fa-link anchor"></i> --> <svg class="svg-inline--fa fas fa-link anchor" fill="currentColor" aria-hidden="true" role="img" viewBox="0 0 640 512"><use href="#fas-link"></use></svg>&nbsp; </a> </h2> <p>La valeur par défaut de <strong>1000 tokens par chunk</strong> n’est pas arbitraire :</p> <ul> <li>Un chunk de cette taille contient généralement <strong>assez d&rsquo;information pour être sémantiquement cohérent</strong>, sans être trop lourd.</li> <li>Il reste <strong>compatible avec les fenêtres contextuelles</strong> des LLMs modernes (4k, 8k, 32k voire 1M tokens).</li> <li>Il évite de <strong>diluer la compréhension</strong> ou de casser des unités de sens.</li> </ul> <p>Certains cas nécessitent des tailles différentes :</p>