Tokens d'entrée vs de sortie
Les deux moitiés d'une facture LLM, généralement tarifées très différemment.
Les tokens d'entrée sont ce que vous envoyez (prompt, contexte, documents récupérés) ; les tokens de sortie sont ce que le modèle génère. La sortie coûte typiquement 3 à 5× le prix de l'entrée, donc les fonctionnalités gourmandes en sortie coûtent bien plus que ne le suggère leur nombre de tokens.
Pourquoi c'est important
Comme la sortie coûte généralement plusieurs fois plus que l'entrée, cette répartition décide où va réellement votre argent — et où concentrer vos efforts quand il faut réduire le coût sans abîmer le produit.
Exemple
Sur GPT-4o, 1 M de tokens d'entrée coûtent 2,50 $ tandis qu'1 M de tokens de sortie coûtent 10 $ — une fonctionnalité qui génère beaucoup coûte donc quatre fois plus que le même nombre de tokens dépensé en entrée.
Calculez-le avec le calculateur de marge gratuit →
Termes liés