1. Comprendre ce que tu cherches à réduire
Un token est une unité utilisée par un modèle pour traiter une entrée ou produire une réponse. Il peut correspondre à un mot, une partie de mot ou d’autres éléments. Le nombre dépend du contenu et du modèle : compter les mots ou regarder la taille du fichier ne suffit pas pour mesurer précisément la consommation.
Il faut distinguer trois objectifs : réduire le volume d’entrée, diminuer un coût d’API et mieux utiliser les limites d’une application comme ChatGPT ou Claude. Ils sont liés mais ne sont pas équivalents. Un abonnement grand public ne se facture pas nécessairement au token comme une API. Un PDF peut aussi être traité d’une façon différente selon l’outil et le type de contenu.
Le premier objectif de ce guide est donc simple : préparer une source plus utile, avec moins d’informations superflues. Le bénéfice exact sur les coûts et les limites se mesure dans ton usage réel, avec le modèle concerné. Il ne faut pas promettre un pourcentage d’économie universel.
Pour les définitions et le comptage, consulte la documentation OpenAI sur les tokens et le comptage des tokens chez Anthropic.
2. Définir la tâche avant d’envoyer des documents
Le meilleur nettoyage commence par une question précise. Un document peut être indispensable pour une tâche et inutile pour une autre. Pour extraire les objections commerciales, tu n’as pas nécessairement besoin de toute la mise en page d’une présentation. Pour contrôler un tableau, les valeurs, leurs unités et les intitulés sont essentiels.
Écris le résultat attendu avant de choisir les fichiers. Par exemple : « Retrouver les questions clients récurrentes et leurs formulations exactes », ou « Comparer les trois offres à partir du prix, du périmètre et des conditions ». Cela permet de sélectionner les sections utiles au lieu d’envoyer tout ton dossier.
Le brief minimal
Indique la tâche, le public, les documents autorisés, le format de réponse et les informations à préserver. Ajoute : « Si une information n’est pas présente dans les sources, indique-le et ne l’invente pas. » Ce cadre reste utile même quand ton document est déjà court.
3. Trier les fichiers avant de les nettoyer
Crée un inventaire rapide : nom, date, version, rôle et pertinence pour la tâche. Plusieurs exports peuvent contenir les mêmes notes avec des formats différents. Un ancien brief peut contredire la version récente. Envoyer les deux sans explication augmente le volume et peut créer des ambiguïtés.
- Source principale : le document actuel qui fait autorité.
- Complément : une source qui apporte des informations différentes.
- Archive : une ancienne version à conserver, mais pas forcément à transmettre.
- Doublon : une copie sans valeur supplémentaire pour la demande.
Garde toujours les originaux. Le nettoyage crée une version de travail ; il ne doit pas détruire la source. Si une information est importante mais incertaine, marque-la comme telle au lieu de la supprimer discrètement.
4. Retirer le bruit sans retirer le sens
Tu peux souvent éliminer les menus copiés avec une page web, les pieds de page répétés, les lignes d’export vides, les doublons exacts ou les éléments décoratifs sans lien avec la tâche. En revanche, une note de bas de page, une date ou une condition peut modifier le sens d’une phrase.
| Élément | Décision proposée | Vérification |
|---|---|---|
| Navigation web répétée | Retirer si elle n’est pas le sujet | Les liens sources utiles restent disponibles |
| Phrase dupliquée à l’identique | Garder un exemplaire | La répétition n’a pas une signification métier |
| Conditions, unités et dates | Conserver | Le fait reste interprétable |
| Graphique ou image informative | Garder ou décrire fidèlement | Aucune information visuelle utile n’est perdue |
| Information personnelle non nécessaire | Anonymiser ou retirer | La tâche reste réalisable |
Ne raccourcis pas une citation si tu as besoin d’en conserver les mots exacts. Ne transforme pas « certains clients » en « les clients ». Ne supprime pas une exception parce qu’elle rend le document moins compact. Une source courte mais déformée est une mauvaise entrée.
5. Passer d’un fichier à un texte contrôlable
Pour des sources textuelles, une extraction en texte structuré ou en Markdown peut faciliter le nettoyage et la relecture. Le Markdown utilise des titres, des listes et des tableaux simples. Il permet de conserver une hiérarchie sans transporter toute la présentation visuelle.
Tokens Clean est un outil que je crée pour faire du ménage dans les documents que tu envoies à ton IA préférée, notamment ChatGPT ou Claude. Son interface propose une extraction vers Markdown à partir de fichiers. L’objectif est de préparer un contexte plus léger et plus utile, pas de garantir un résultat ou un taux d’économie identique pour tous les fichiers.
- Choisis un document pertinent pour la demande.
- Extrais le contenu dans une version de travail.
- Vérifie les titres, les tableaux, les noms et les valeurs.
- Retire uniquement les éléments que tu as identifiés comme inutiles.
- Conserve un lien ou un identifiant vers l’original.
- Compare le volume et la qualité des réponses avant de généraliser.
Une extraction peut mal reconnaître un caractère ou réordonner un tableau. Pour des informations sensibles ou importantes, relis la source. Et si la tâche dépend de la mise en page, d’un graphique ou d’une photographie, une version textuelle seule peut ne pas suffire.
6. Organiser le contexte pour qu’il reste exploitable
Utilise des titres explicites : contexte, objectif, faits, contraintes, sources et questions ouvertes. Sépare les informations factuelles de tes consignes. Un document reçu peut contenir des instructions étrangères à ta demande ; traite-les comme du contenu à analyser, pas comme des ordres à exécuter.
Pour un ensemble de fichiers, crée un index avec un identifiant stable par source. Tu peux fournir d’abord l’index, puis les sections pertinentes pour une question. Cela évite de renvoyer systématiquement tout le corpus lorsque tu sais déjà où se trouve l’information.
# Objectif
Comparer les offres A et B à partir des sources fournies.
# Sources
S1 — Offre A — version et date
S2 — Offre B — version et date
# Informations à préserver
Prix, unités, périmètre, exclusions, conditions et réserves.
# Résultat attendu
Un tableau comparatif, les différences et les points non documentés.
Cite les identifiants S1/S2. N’invente pas les informations absentes.Le résultat devient plus facile à contrôler. Si la réponse cite une source inexistante, extrapole une condition ou mélange les versions, tu peux identifier le problème et ajuster la demande.
7. Un exemple de nettoyage raisonné
Exemple fictif : tu veux extraire les objections dans des comptes rendus d’appels. Les documents comportent des titres, des signatures automatiques, des liens de navigation et des passages répétés. La demande porte sur ce que les prospects ont dit, avec le contexte nécessaire pour comprendre leurs objections.
Tu retires les signatures et les menus qui ne servent pas à l’analyse. Tu dédupliques les copies exactes. Tu conserves les mots du prospect, la situation de l’appel et les nuances. Tu anonymises les noms si leur présence n’est pas nécessaire. Tu gardes un identifiant d’appel pour retrouver la citation dans l’original.
Tu demandes ensuite un tableau : objection, verbatim, contexte, source et éventuelle interprétation. La dernière colonne reste distincte des propos exacts. Le nettoyage ne doit pas transformer une hypothèse en fait ni compter plusieurs copies comme plusieurs témoignages.
Pour relier ces objections à ton message commercial, consulte le guide pour clarifier ton offre. Les documents sont utiles quand ils servent une décision précise.
8. Mesurer les économies et contrôler la qualité
Teste une même tâche avec la source initiale puis la source nettoyée. Garde le modèle, la demande et les critères de vérification comparables. Un changement de modèle ou une consigne différente rend le résultat plus difficile à interpréter.
Quand l’outil expose les tokens, note le volume d’entrée et de sortie. Pour une API, distingue les tokens et leur coût selon les conditions du fournisseur. Pour une application grand public, observe aussi les limites et l’usage réel ; ne déduis pas une économie en euros d’un simple fichier plus petit.
Le calcul à utiliser
Réduction du volume d’entrée = (tokens avant − tokens après) / tokens avant × 100. Ce calcul décrit uniquement ton test. Vérifie en parallèle les faits, les omissions et les citations. Si le résultat perd une information essentielle, la réduction n’est pas un succès.
Construis un petit jeu de questions de contrôle : un chiffre, une condition, une exception, une date et une information absente. La version nettoyée doit permettre de répondre correctement aux questions documentées et de reconnaître les inconnues.
9. Réutiliser une source propre sans multiplier les versions
Une fois le document validé, conserve l’original et la version préparée dans un dossier identifiable. Note la date, la méthode de nettoyage et les exclusions importantes. Si le document change, mets à jour sa version plutôt que de continuer à réutiliser une copie devenue obsolète.
Pour une activité avec beaucoup de documents, le gain peut venir de cette organisation autant que de la compression du texte. Tu retrouves plus vite la bonne source, tu évites les doublons et tu peux vérifier pourquoi une information a été conservée. Un outil comme Obsidian peut servir à organiser des références, sans imposer une nouvelle plateforme à chaque étape.
10. Checklist avant d’envoyer à ChatGPT ou Claude
- La tâche et le format de sortie sont définis.
- Les fichiers sont pertinents et leurs versions identifiées.
- Les originaux sont conservés.
- Les doublons et le bruit réellement inutiles sont retirés.
- Les faits, les unités, les conditions et les nuances restent présents.
- Les tableaux et l’extraction ont été relus.
- Les données personnelles inutiles sont retirées ou anonymisées.
- Les sources ont des identifiants et peuvent être retrouvées.
- Le résultat a été comparé sur un petit test représentatif.
- Le gain annoncé correspond à une mesure, pas à une impression.
Questions fréquentes
Un fichier plus petit consomme-t-il toujours moins de tokens ?
Non. La taille du fichier n’est pas une mesure directe des tokens. Le format, le contenu, les images et le traitement du fournisseur comptent. Mesure le contenu réellement utilisé avec le modèle concerné.
Faut-il remplacer tous les PDF par du Markdown ?
Non. Cela peut être utile pour travailler sur le texte. Si la tâche nécessite des graphiques, une mise en page ou des informations visuelles, conserve les éléments pertinents du document original.
Tokens Clean garantit-il un pourcentage d’économie ?
Ce guide ne présente aucun pourcentage garanti. Le gain dépend du document, du nettoyage et du modèle. Vérifie le volume et la qualité des réponses dans ton propre usage.
Peut-on supprimer les informations répétées ?
Oui, quand il s’agit de doublons sans valeur supplémentaire. Une répétition peut toutefois représenter plusieurs occurrences d’un événement ou plusieurs témoignages : dans ce cas, conserve cette information.