KI-Token-Zähler

Verwendung des KI-Token-Zählers

1. Text in das Eingabefeld einfügen oder eingeben.
2. Auf Tokens zählen klicken.
3. Die modellspezifische Aufschlüsselung in der Ergebnistabelle ablesen.

Was das Tool macht

Der KI-Token-Zähler läuft vollständig im Browser. GPT-4o-Token-Zählungen verwenden den cl100k_base-BPE-Encoder über die gpt-tokenizer-Bibliothek, die bei Bedarf geladen wird - es werden keine Daten an einen Server gesendet. Claude- und Gemini-Schätzungen verwenden eine zeichenbasierte Formel (Zeichen geteilt durch 3,5), die für englischen Text auf etwa 10 % genau ist. Mit diesem Tool lässt sich die Prompt-Länge prüfen, bevor API-Limits erreicht werden, oder API-Kosten schätzen.

Wann Token-Zählungen wichtig sind

• Kontextfenster-Budgetierung. Bevor ein langes Dokument in einen Prompt eingefügt wird, prüfen, ob es in das Kontextlimit des Modells passt - mit ausreichend Platz für den System-Prompt und die Antwort.
• Kostenschätzung. API-Preise werden pro Million Tokens berechnet. Die Anzahl mit dem Eingabe-Tarif des Modells multiplizieren, um die Kosten eines Batch-Jobs vorab zu schätzen.
• Chunking für RAG. Beim Aufteilen von Dokumenten für Embeddings wird üblicherweise eine feste Token-Größe pro Chunk angestrebt. Einen Beispiel-Chunk einfügen, um zu prüfen, ob der Splitter die gewünschte Größe produziert.
• Truncation-Debugging. Wenn Vervollständigungen mitten im Satz abbrechen, hat der Prompt zusammen mit der Antwort wahrscheinlich das Limit erreicht. Die Token-Anzahl des Prompts zeigt, wie viel Budget für die Antwort tatsächlich übrig war.

Wichtige Hinweise

Token-Zählungen sind keine Wortzählungen: Im englischen Durchschnitt entspricht ein Token etwa 0,75 Wörtern, aber Code, JSON, nicht-lateinische Schriften und lange zusammengesetzte Wörter tokenisieren weniger effizient. Leerzeichen und Satzzeichen kosten ebenfalls Tokens - deshalb hat minifiziertes JSON weniger Tokens als formatiertes JSON mit identischem Inhalt. Anfragen im Chat-Format fügen zudem einen geringen Pro-Nachrichten-Overhead hinzu (einige Tokens pro Nachricht), der bei einer reinen Textzählung nicht berücksichtigt wird. API-seitige Zählungen sollten daher als endgültige Referenz gelten, wenn man an einem Limit ist.