En français, le même prompt coûte plus de tokens
· mis à jour le
Ce qu’est un token, pourquoi le tokenizer découpe davantage le français, et ce que ça coûte : sur un long texte et sa traduction officielle, de 1,14 à 1,50 fois plus de tokens selon le tokenizer. Les accents n’y sont presque pour rien, et le chatbot d’un service client paie 17 % de plus.