Warstwa kontrolna między Twoim SaaS-em a każdym LLM-em.
odnoga łączy jedno API z kontrolą organizacji, księgą rozliczeń, wersjonowaniem i ewaluacją promptów, routingiem, dwiema warstwami pamięci podręcznej, obserwowalnością i serwerem MCP.
Co robi platforma odnoga
Obsługa wielu organizacji
Organizacja jest pełnoprawnym elementem systemu — klucze, budżety, analityka, prompty i audyt mają własny zakres dla każdego klienta.
- Nieograniczona liczba organizacji w obszarze roboczym
- Tworzenie zasobów przez REST i SDK
- Osobny klient Stripe i fakturowanie dla każdej organizacji
- Kaskadowe limity: obszar roboczy → organizacja → użytkownik
Magazyn kluczy i ich zmiana
Klucze dostawców pozostają w zaszyfrowanym magazynie. Możesz je rotować, ograniczać ich zakres, odwoływać i audytować bez ponownego wdrażania aplikacji.
- AES-256, envelope encryption
- Zakres według organizacji, modelu i regionu
- Zmiana klucza bez przerwy w działaniu
- Pełny audyt każdego dostępu do klucza
Budżety i limity ruchu
Miękki limit ostrzega, a twardy zatrzymuje użycie. Limity możesz ustawić dla dowolnego wymiaru.
- Budżety dzienne, miesięczne i całkowite
- Limity RPM, TPM i równoległych wywołań
- Plany z regułami overage
- Webhooki przy przekroczeniu progu
Prompt versioning
Traktuj prompty jak kod: historia wersji, porównanie zmian, testy A/B i natychmiastowy powrót do poprzedniej wersji. Koniec z pytaniem „co zmieniło się wczoraj?”.
- Git-like historia z diffami
- A/B routing po procencie ruchu
- Atomowe przepinanie labelu production
- Nadpisania promptów dla poszczególnych organizacji
Laboratorium ewaluacji
Zamroź jedną wersję promptu i jej testy, a następnie porównaj ten sam zestaw na 2–8 aktywnych modelach.
- Odpowiedzi i wyniki asercji obok siebie
- Tokeny wejścia/wyjścia, naliczony koszt i opóźnienia
- Jawne, jednorazowe przechwycenie realnego wywołania
- Przegląd i redakcja przed zapisaniem testu
Dwie warstwy cache
Kontroluj deterministyczne ponowne użycie odpowiedzi odnogi niezależnie od pamięci podręcznej promptów dostawcy. Każdy mechanizm rozwiązuje inny problem kosztowy.
- Osobne przełączniki opt-in
- Kontrola TTL, pominięcia i odświeżenia
- Wywołania kreatywne mogą odmówić ponownego użycia odpowiedzi
- Oszczędności wyliczane z historii wywołań
MCP server
Twoi klienci podpinają odnoga do Claude Desktop, Cursor, Lovable czy dowolnego hosta MCP — OAuth 2.1 z DCR.
- OAuth 2.1 + PKCE + DCR
- Tokeny ograniczone do zakresu użytkownika
- Tools: chat, embeddings, image, search
- Wpinasz w Claude Desktop w sekundy
Obserwowalność i kondycja ruchu
Każde wywołanie ma własny zapis, a ruch każdego procesu jest porównywany z jego własną normą. Analizuj koszty i czas odpowiedzi oraz wykrywaj zatrzymane zadania i nagłe wzrosty.
- Panele dla każdej organizacji
- Wykrywanie zatrzymanych procesów i nagłych wzrostów
- Eksport CSV / Parquet
- Śledzenie w OpenTelemetry
Inteligentny routing
„auto” wybiera najlepszy model. Ustalasz kolejność modeli zapasowych według kosztu, czasu odpowiedzi lub długości kontekstu.
- Routing po koszcie i latencji
- Przełączanie dostawcy zgodnie z zasadami ponawiania
- Domyślny model dla każdej organizacji
- Przypisanie regionu zgodnie z wymogami
Bezpieczeństwo i compliance
SOC 2, opcja EU hosting, redakcja PII w logach, podpisane webhooki. Pod regulowane SaaSy.
- SOC 2 Type II (in progress)
- GDPR & DPA
- Redakcja PII i czyszczenie logów
- SSO (SAML, OIDC) on Enterprise
Wsparcie z kontekstem
Zgłoś problem ze strony, na której wystąpił, z użytecznym kontekstem strony i workspace do weryfikacji.
- Dostępne na komputerze i telefonie
- Numer zgłoszenia i status
- Kontekst strony dołączony do zgłoszenia
- Widoczność otwartych zgłoszeń dla zespołu wsparcia
Jak wywołanie przechodzi przez odnogę
Your SaaS ──► odnoga Edge ──► Auth + Vault ──► Budget meter
│
▼
Prompt registry
│
▼
Router (auto/fallback)
│
┌────────────────────────┬────────────────┼────────────────┬────────────────┐
▼ ▼ ▼ ▼ ▼
OpenAI Anthropic Gemini Mistral Groq …
│ │ │ │ │
└────────────┬───────────┴────────────────┴────────────────┴────────────────┘
▼
Observability + Billing ──► Stripe, Postgres, OTEL
Auth na edge
Bearer key i header end-user są walidowane zanim cokolwiek się wydarzy.
Stateless workers
Skala pozioma. <40ms overhead na p50.
Pluggable providers
Nowy provider to ~80 linii adaptera.
Działa z Twoim stosem technologicznym
OpenAI SDK
Podmieniasz base URL.
Vercel AI SDK
Provider kompatybilny od ręki.
LangChain
Używaj jak ChatOpenAI z custom base URL.
LlamaIndex
Klasa LLM zgodna z OpenAI.
Stripe
Natywny billing, faktury, webhooki.
Postgres / Supabase
Dane w formacie zgodnym z Twoim stackiem.
Czym odnoga NIE jest
Nie jest środowiskiem uruchomieniowym dla modeli hostowanych samodzielnie.
Podłączasz własnego dostawcę, a odnoga kieruje ruch.
Nie jest platformą do trenowania modeli ani swobodnym playgroundem AI.
Workspace promptów służy kontrolowanej pracy produkcyjnej: wersjonowaniu, ewaluacjom, ruchowi A/B i promocji opartej na danych.