[Bug] Prompt Cache causes excessive token consumption (10-20x inflation)
Bug Description
TOKEN ISSUE:
IM "JUST" A PRIVATE PRO USER BUT THATS MY WEEK OF VACANCY WHERE I PLANNED TO CODE SOME PROJECTS
Aufgrund des unerwartet hohen Token-Verbrauchs war ich gezwungen, ein Projekt drastisch zu verschlanken, um überhaupt arbeitsfähig zu bleiben. Ein Git-Repository wurde erst nach dieser Verschlankung eingerichtet, sodass der ursprüngliche Zustand nicht aus der Versionshistorie rekonstruierbar ist.
Wie ich inzwischen erfahren habe, liegt die Ursache in einem bekannten Prompt-Cache-Bug (dokumentiert u.a. in GitHub Issue #38239) der den Token-Verbrauch um Faktor 10-20x aufbläht. Dieses Problem war mir zum Zeitpunkt meiner Arbeit nicht bekannt— ich habe die Verschlankung in dem Glauben durchgeführt, mein Projekt sei zu komplex aufgebaut.Token Konsum Same here:
Konkreter Schaden:
- Ein voller Arbeitstag mit mehreren erzwungenen Wartezeiten durch Limit-Resets
- Bei moderater Nutzung wurden 45% des Wochenlimits (Pro) DIenstag mittag verbraucht
- Signifikanter Verlust an Projektstruktur
- Vertrauensverlust in die Zuverlässigkeit der Token-Abrechnung
Meine Erwartung:
- Transparente Kommunikation über den Zeitplan zur Behebung des Cache-Bugs
- Eine Form der Kompensation für den entstandenen Aufwand (z.B. Gutschrift auf das Kontingent)
Environment Info
- Platform: win32
- Terminal: windows-terminal
- Version: 2.1.87
- Feedback ID: 0018cd12-ea60-48f8-a692-a3b1f6b5f379
This issue has 6 comments on GitHub. Read the full discussion on GitHub ↗