KI-API-Zugriffe verwalten, ohne die ursprünglichen Schlüssel weiterzugeben.
Entwickler und Teams, die KI-APIs in Skripten, Diensten und auf einzelnen Arbeitsrechnern nutzen.
Flume ist ein Proxy zwischen einer Anwendung und ihren KI-Anbietern. Statt den Haupt-API-Schlüssel eines Anbieters in jedes Skript oder jede Arbeitsumgebung zu kopieren, erhält jeder Nutzer oder Dienst ein eigenes Token. Wir haben das Produkt darauf ausgerichtet, diesen Zugriff zu steuern und Anfragen, Tokenverbrauch sowie geschätzte Kosten ihren Verursachern zuzuordnen.
Der Anbieterschlüssel liegt verschlüsselt auf dem Server. Anwendungen nutzen stattdessen ausgegebene Proxy-Tokens, die jeweils an einen Anbieter gebunden sind. Ein Team kann Entwicklungsskripten, Produktivdiensten und einzelnen Personen getrennte Tokens geben. Wird ein Zugang widerrufen, müssen nicht alle anderen einen neuen Anbieterschlüssel erhalten.
Tokens können ein Ablaufdatum, eine Liste erlaubter Modelle, tägliche Anfragelimits und eine Ausgabenobergrenze haben. Der Proxy prüft diese Regeln vor dem Weiterleiten. Das Team kann den Zugriff pro Dienst oder Person anpassen, statt nur den vollständigen Zugriff über den ursprünglichen Anbieterschlüssel zu vergeben.
Das Dashboard schlüsselt Aktivitäten nach Token und Anbieter auf, einschliesslich Anzahl der Anfragen, Antwortzeiten und verfügbarer Verbrauchsdaten. Modellpreistabellen liefern Kostenschätzungen unter Berücksichtigung relevanter Cache-Preise. Die Zahlen helfen bei unerwarteten Rechnungen oder beim Vergleich von Arbeitslasten; sie sind Schätzungen und ersetzen keine Anbieterrechnung.
Unterstützte Anbindungen behalten Anfragepfade, Inhalte und Antwortformate des Anbieters bei; Clients verwenden lediglich die Proxy-URL. Streaming-Antworten werden an die Anwendung durchgereicht. Der Proxy erfasst Verbrauchsinformationen zur Messung, statt Prompts und generierte Antworten in einer Bibliothek zu sammeln.
Den Anbieterschlüssel in Flume hinterlegen und das zugehörige Konto oder den Dienst wählen.
Ein eigenes Token für einen Nutzer oder Dienst erstellen und die nötigen Grenzen oder Ablaufzeiten festlegen.
Den Client auf den Proxy ausrichten, die Nutzung prüfen und Zugriffe bei veränderter Arbeitslast anpassen oder widerrufen.