# AnvĂ€ndarhandbok 🌐 **Languages:** đŸ‡ș🇾 [English](../../USER_GUIDE.md) | đŸ‡§đŸ‡· [PortuguĂȘs (Brasil)](../pt-BR/USER_GUIDE.md) | đŸ‡Ș🇾 [Español](../es/USER_GUIDE.md) | đŸ‡«đŸ‡· [Français](../fr/USER_GUIDE.md) | 🇼đŸ‡č [Italiano](../it/USER_GUIDE.md) | đŸ‡·đŸ‡ș [РуссĐșĐžĐč](../ru/USER_GUIDE.md) | 🇹🇳 [äž­æ–‡ (çź€äœ“)](../zh-CN/USER_GUIDE.md) | đŸ‡©đŸ‡Ș [Deutsch](../de/USER_GUIDE.md) | 🇼🇳 [à€čà€żà€šà„à€Šà„€](../in/USER_GUIDE.md) | đŸ‡č🇭 [àč„àž—àžą](../th/USER_GUIDE.md) | đŸ‡ș🇩 [ĐŁĐșŃ€Đ°Ń—ĐœŃŃŒĐșа](../uk-UA/USER_GUIDE.md) | 🇾🇩 [Ű§Ù„ŰčŰ±ŰšÙŠŰ©](../ar/USER_GUIDE.md) | đŸ‡ŻđŸ‡” [æ—„æœŹèȘž](../ja/USER_GUIDE.md) | đŸ‡»đŸ‡ł [Tiáșżng Việt](../vi/USER_GUIDE.md) | 🇧🇬 [БългарсĐșĐž](../bg/USER_GUIDE.md) | đŸ‡©đŸ‡° [Dansk](../da/USER_GUIDE.md) | đŸ‡«đŸ‡ź [Suomi](../fi/USER_GUIDE.md) | đŸ‡źđŸ‡± [ŚąŚ‘ŚšŚ™ŚȘ](../he/USER_GUIDE.md) | 🇭đŸ‡ș [Magyar](../hu/USER_GUIDE.md) | đŸ‡źđŸ‡© [Bahasa Indonesia](../id/USER_GUIDE.md) | đŸ‡°đŸ‡· [한ꔭ얎](../ko/USER_GUIDE.md) | đŸ‡ČđŸ‡Ÿ [Bahasa Melayu](../ms/USER_GUIDE.md) | đŸ‡łđŸ‡± [Nederlands](../nl/USER_GUIDE.md) | 🇳🇮 [Norsk](../no/USER_GUIDE.md) | đŸ‡”đŸ‡č [PortuguĂȘs (Portugal)](../pt/USER_GUIDE.md) | đŸ‡·đŸ‡Ž [RomĂąnă](../ro/USER_GUIDE.md) | đŸ‡”đŸ‡± [Polski](../pl/USER_GUIDE.md) | 🇾🇰 [Slovenčina](../sk/USER_GUIDE.md) | 🇾đŸ‡Ș [Svenska](../sv/USER_GUIDE.md) | đŸ‡”đŸ‡­ [Filipino](../phi/USER_GUIDE.md) Komplett guide för att konfigurera leverantörer, skapa kombinationer, integrera CLI-verktyg och distribuera OmniRoute. --- ## InnehĂ„llsförteckning - [Pricing at a Glance](#-pricing-at-a-glance) - [Use Cases](#-use-cases) - [Provider Setup](#-provider-setup) - [CLI Integration](#-cli-integration) - [Deployment](#-deployment) - [Available Models](#-available-models) - [Advanced Features](#-advanced-features) --- ## 💰 PrissĂ€ttning i en överblick | NivĂ„ | Leverantör | Kostnad | KvotĂ„terstĂ€llning | BĂ€st för | | -------------------- | ----------------- | --------------------- | ------------------------ | -------------------------- | | **💳 PRENUMERATION** | Claude Code (Pro) | 20 USD/mĂ„nad | 5h + veckovis | Har redan prenumererat | | | Codex (Plus/Pro) | 20-200 USD/mĂ„nad | 5h + veckovis | OpenAI-anvĂ€ndare | | | Gemini CLI | **GRATIS** | 180K/mĂ„nad + 1K/dag | Alla! | | | GitHub Copilot | 10-19 USD/mĂ„nad | MĂ„natlig | GitHub-anvĂ€ndare | | **🔑 API-NYCKEL** | DeepSeek | Betala per anvĂ€ndning | Inga | Billigt resonemang | | | Groq | Betala per anvĂ€ndning | Inga | Ultrasnabb slutledning | | | xAI (Grok) | Betala per anvĂ€ndning | Inga | Grok 4 resonemang | | | Mistral | Betala per anvĂ€ndning | Inga | EU-vĂ€rdade modeller | | | Förvirring | Betala per anvĂ€ndning | Inga | SökförstĂ€rkt | | | Tillsammans AI | Betala per anvĂ€ndning | Inga | Modeller med öppen kĂ€llkod | | | Fireworks AI | Betala per anvĂ€ndning | Inga | Fast FLUX bilder | | | Cerebras | Betala per anvĂ€ndning | Inga | Wafer-skala hastighet | | | SammanhĂ„lla | Betala per anvĂ€ndning | Inga | Kommando R+ RAG | | | NVIDIA NIM | Betala per anvĂ€ndning | Inga | Företagsmodeller | | **💰 BILLIGT** | GLM-4.7 | $0,6/1M | Dagligen 10:00 | Budget backup | | | MiniMax M2.1 | $0,2/1M | 5-timmars rullande | Billigaste alternativet | | | Kimi K2 | 9 USD/mĂ„n lĂ€genhet | 10 miljoner tokens/mĂ„nad | FörutsĂ€gbar kostnad | | **🆓 GRATIS** | iFlow | $0 | ObegrĂ€nsad | 8 modeller gratis | | | Qwen | $0 | ObegrĂ€nsad | 3 modeller gratis | | | Kiro | $0 | ObegrĂ€nsad | Claude gratis | **💡 Proffstips:** Börja med Gemini CLI (180K gratis/mĂ„nad) + iFlow (obegrĂ€nsat gratis) combo = $0 kostnad! --- ## 🎯 AnvĂ€ndningsfall ### Fall 1: "Jag har Claude Pro-abonnemang" **Problem:** Kvoten gĂ„r ut oanvĂ€nd, hastighetsgrĂ€nser under tung kodning ``` Combo: "maximize-claude" 1. cc/claude-opus-4-6 (use subscription fully) 2. glm/glm-4.7 (cheap backup when quota out) 3. if/kimi-k2-thinking (free emergency fallback) Monthly cost: $20 (subscription) + ~$5 (backup) = $25 total vs. $20 + hitting limits = frustration ``` ### Fall 2: "Jag vill ha noll kostnad" **Problem:** Har inte rĂ„d med prenumerationer, behöver pĂ„litlig AI-kodning ``` Combo: "free-forever" 1. gc/gemini-3-flash (180K free/month) 2. if/kimi-k2-thinking (unlimited free) 3. qw/qwen3-coder-plus (unlimited free) Monthly cost: $0 Quality: Production-ready models ``` ### Fall 3: "Jag behöver kodning dygnet runt, inga avbrott" **Problem:** Deadlines, har inte rĂ„d med driftstopp ``` Combo: "always-on" 1. cc/claude-opus-4-6 (best quality) 2. cx/gpt-5.2-codex (second subscription) 3. glm/glm-4.7 (cheap, resets daily) 4. minimax/MiniMax-M2.1 (cheapest, 5h reset) 5. if/kimi-k2-thinking (free unlimited) Result: 5 layers of fallback = zero downtime Monthly cost: $20-200 (subscriptions) + $10-20 (backup) ``` ### Fall 4: "Jag vill ha GRATIS AI i OpenClaw" **Problem:** Behöver AI-assistent i meddelandeappar, helt gratis ``` Combo: "openclaw-free" 1. if/glm-4.7 (unlimited free) 2. if/minimax-m2.1 (unlimited free) 3. if/kimi-k2-thinking (unlimited free) Monthly cost: $0 Access via: WhatsApp, Telegram, Slack, Discord, iMessage, Signal... ``` --- ## 📖 LeverantörsinstĂ€llningar ### 🔐 Prenumerationsleverantörer #### Claude Code (Pro/Max) ```bash Dashboard → Providers → Connect Claude Code → OAuth login → Auto token refresh → 5-hour + weekly quota tracking Models: cc/claude-opus-4-6 cc/claude-sonnet-4-5-20250929 cc/claude-haiku-4-5-20251001 ``` **Proffstips:** AnvĂ€nd Opus för komplexa uppgifter, Sonnet för snabbhet. OmniRoute spĂ„rar kvot per modell! #### OpenAI Codex (Plus/Pro) ```bash Dashboard → Providers → Connect Codex → OAuth login (port 1455) → 5-hour + weekly reset Models: cx/gpt-5.2-codex cx/gpt-5.1-codex-max ``` #### Gemini CLI (GRATIS 180K/mĂ„nad!) ```bash Dashboard → Providers → Connect Gemini CLI → Google OAuth → 180K completions/month + 1K/day Models: gc/gemini-3-flash-preview gc/gemini-2.5-pro ``` **BĂ€st vĂ€rde:** Enorma gratis nivĂ„! AnvĂ€nd detta före betalda nivĂ„er. #### GitHub Copilot ```bash Dashboard → Providers → Connect GitHub → OAuth via GitHub → Monthly reset (1st of month) Models: gh/gpt-5 gh/claude-4.5-sonnet gh/gemini-3-pro ``` ### 💰 Billiga leverantörer #### GLM-4.7 (Daglig Ă„terstĂ€llning, $0,6/1M) 1. Registrera dig: [Zhipu AI](https://open.bigmodel.cn/) 2. HĂ€mta API-nyckel frĂ„n Coding Plan 3. Instrumentpanel → LĂ€gg till API-nyckel: Leverantör: `glm`, API-nyckel: `your-key` **AnvĂ€ndning:** `glm/glm-4.7` — **Proffstips:** Coding Plan erbjuder 3× kvot till 1/7 kostnad! ÅterstĂ€ll dagligen 10:00. #### MiniMax M2.1 (5 timmars Ă„terstĂ€llning, $0,20/1M) 1. Registrera dig: [MiniMax](https://www.minimax.io/) 2. HĂ€mta API-nyckel → Dashboard → LĂ€gg till API-nyckel **AnvĂ€nd:** `minimax/MiniMax-M2.1` — **Proffstips:** Billigaste alternativet för lĂ„nga sammanhang (1M tokens)! #### Kimi K2 ($9/mĂ„nad platt) 1. Prenumerera: [Moonshot AI](https://platform.moonshot.ai/) 2. HĂ€mta API-nyckel → Dashboard → LĂ€gg till API-nyckel **AnvĂ€ndning:** `kimi/kimi-latest` — **Proffstips:** Fast $9/mĂ„nad för 10 miljoner tokens = $0,90/1 miljon effektiv kostnad! ### 🆓 GRATIS leverantörer #### iFlow (8 GRATIS modeller) ```bash Dashboard → Connect iFlow → OAuth login → Unlimited usage Models: if/kimi-k2-thinking, if/qwen3-coder-plus, if/glm-4.7, if/minimax-m2, if/deepseek-r1 ``` #### Qwen (3 GRATIS modeller) ```bash Dashboard → Connect Qwen → Device code auth → Unlimited usage Models: qw/qwen3-coder-plus, qw/qwen3-coder-flash ``` #### Kiro (Claude FREE) ```bash Dashboard → Connect Kiro → AWS Builder ID or Google/GitHub → Unlimited Models: kr/claude-sonnet-4.5, kr/claude-haiku-4.5 ``` --- ## 🎹 Combos ### Exempel 1: Maximera prenumeration → Billig backup ``` Dashboard → Combos → Create New Name: premium-coding Models: 1. cc/claude-opus-4-6 (Subscription primary) 2. glm/glm-4.7 (Cheap backup, $0.6/1M) 3. minimax/MiniMax-M2.1 (Cheapest fallback, $0.20/1M) Use in CLI: premium-coding ``` ### Exempel 2: Endast gratis (noll kostnad) ``` Name: free-combo Models: 1. gc/gemini-3-flash-preview (180K free/month) 2. if/kimi-k2-thinking (unlimited) 3. qw/qwen3-coder-plus (unlimited) Cost: $0 forever! ``` --- ## 🔧 CLI-integration ### Markör IDE ``` Settings → Models → Advanced: OpenAI API Base URL: http://localhost:20128/v1 OpenAI API Key: [from omniroute dashboard] Model: cc/claude-opus-4-6 ``` ### Claude Code Redigera `~/.claude/config.json`: ```json { "anthropic_api_base": "http://localhost:20128/v1", "anthropic_api_key": "your-omniroute-api-key" } ``` ### Codex CLI ```bash export OPENAI_BASE_URL="http://localhost:20128" export OPENAI_API_KEY="your-omniroute-api-key" codex "your prompt" ``` ### OpenClaw Redigera `~/.openclaw/openclaw.json`: ```json { "agents": { "defaults": { "model": { "primary": "omniroute/if/glm-4.7" } } }, "models": { "providers": { "omniroute": { "baseUrl": "http://localhost:20128/v1", "apiKey": "your-omniroute-api-key", "api": "openai-completions", "models": [{ "id": "if/glm-4.7", "name": "glm-4.7" }] } } } } ``` **Eller anvĂ€nd Dashboard:** CLI Tools → OpenClaw → Auto-config ### Cline / FortsĂ€tt / RooCode ``` Provider: OpenAI Compatible Base URL: http://localhost:20128/v1 API Key: [from dashboard] Model: cc/claude-opus-4-6 ``` --- ## 🚀 Implementering ### VPS-distribution ```bash git clone https://github.com/diegosouzapw/OmniRoute.git cd OmniRoute && npm install && npm run build export JWT_SECRET="your-secure-secret-change-this" export INITIAL_PASSWORD="your-password" export DATA_DIR="/var/lib/omniroute" export PORT="20128" export HOSTNAME="0.0.0.0" export NODE_ENV="production" export NEXT_PUBLIC_BASE_URL="http://localhost:20128" export API_KEY_SECRET="endpoint-proxy-api-key-secret" npm run start # Or: pm2 start npm --name omniroute -- start ``` ### Hamnarbetare ```bash # Build image (default = runner-cli with codex/claude/droid preinstalled) docker build -t omniroute:cli . # Portable mode (recommended) docker run -d --name omniroute -p 20128:20128 --env-file ./.env -v omniroute-data:/app/data omniroute:cli ``` För vĂ€rdintegrerat lĂ€ge med CLI-binĂ€rer, se Docker-sektionen i huvuddokumenten. ### Miljövariabler | Variabel | Standard | Beskrivning | | --------------------- | ------------------------------------ | ------------------------------------------------------ | | `JWT_SECRET` | `omniroute-default-secret-change-me` | JWT-signeringshemlighet (**förĂ€ndring i produktion**) | | `INITIAL_PASSWORD` | `123456` | Första inloggningslösenordet | | `DATA_DIR` | `~/.omniroute` | Datakatalog (db, anvĂ€ndning, loggar) | | `PORT` | ram standard | Serviceport (`20128` i exempel) | | `HOSTNAME` | ram standard | Bind vĂ€rd (Docker har som standard `0.0.0.0`) | | `NODE_ENV` | runtime default | StĂ€ll in `production` för distribution | | `BASE_URL` | `http://localhost:20128` | Intern bas-URL pĂ„ serversidan | | `CLOUD_URL` | `https://omniroute.dev` | Bas-URL för molnsynkroniseringsslutpunkt | | `API_KEY_SECRET` | `endpoint-proxy-api-key-secret` | HMAC-hemlighet för genererade API-nycklar | | `REQUIRE_API_KEY` | `false` | Framtvinga Bearer API-nyckel pĂ„ `/v1/*` | | `ENABLE_REQUEST_LOGS` | `false` | Aktiverar förfrĂ„gnings-/svarsloggar | | `AUTH_COOKIE_SECURE` | `false` | Tvinga `Secure` auth-cookie (bakom HTTPS omvĂ€nd proxy) | För den fullstĂ€ndiga referensen till miljövariabeln, se [README](../README.md). --- ## 📊 TillgĂ€ngliga modeller
Visa alla tillgĂ€ngliga modeller **Claude Code (`cc/`)** — Pro/Max: `cc/claude-opus-4-6`, `cc/claude-sonnet-4-5-20250929`, `cc/claude-haiku-4-5-20251001` **Codex (`cx/`)** — Plus/Pro: `cx/gpt-5.2-codex`, `cx/gpt-5.1-codex-max` **Gemini CLI (`gc/`)** — GRATIS: `gc/gemini-3-flash-preview`, `gc/gemini-2.5-pro` **GitHub Copilot (`gh/`)**: `gh/gpt-5`, `gh/claude-4.5-sonnet` **GLM (`glm/`)** — $0,6/1M: `glm/glm-4.7` **MiniMax (`minimax/`)** — $0,2/1M: `minimax/MiniMax-M2.1` **iFlow (`if/`)** — GRATIS: `if/kimi-k2-thinking`, `if/qwen3-coder-plus`, `if/deepseek-r1` **Qwen (`qw/`)** — GRATIS: `qw/qwen3-coder-plus`, `qw/qwen3-coder-flash` **Kiro (`kr/`)** — GRATIS: `kr/claude-sonnet-4.5`, `kr/claude-haiku-4.5` **DeepSeek (`ds/`)**: `ds/deepseek-chat`, `ds/deepseek-reasoner` **Groq (`groq/`)**: `groq/llama-3.3-70b-versatile`, `groq/llama-4-maverick-17b-128e-instruct` **xAI (`xai/`)**: `xai/grok-4`, `xai/grok-4-0709-fast-reasoning`, `xai/grok-code-mini` **Mistral (`mistral/`)**: `mistral/mistral-large-2501`, `mistral/codestral-2501` **Förvirring (`pplx/`)**: `pplx/sonar-pro`, `pplx/sonar` **Together AI (`together/`)**: `together/meta-llama/Llama-3.3-70B-Instruct-Turbo` **Fireworks AI (`fireworks/`)**: `fireworks/accounts/fireworks/models/deepseek-v3p1` **Cerebras (`cerebras/`)**: `cerebras/llama-3.3-70b` **Kohere (`cohere/`)**: `cohere/command-r-plus-08-2024` **NVIDIA NIM (`nvidia/`)**: `nvidia/nvidia/llama-3.3-70b-instruct`
--- ## đŸ§© Avancerade funktioner ### Anpassade modeller LĂ€gg till valfritt modell-ID till valfri leverantör utan att vĂ€nta pĂ„ en appuppdatering: ```bash # Via API curl -X POST http://localhost:20128/api/provider-models \ -H "Content-Type: application/json" \ -d '{"provider": "openai", "modelId": "gpt-4.5-preview", "modelName": "GPT-4.5 Preview"}' # List: curl http://localhost:20128/api/provider-models?provider=openai # Remove: curl -X DELETE "http://localhost:20128/api/provider-models?provider=openai&model=gpt-4.5-preview" ``` Eller anvĂ€nd Dashboard: **Leverantörer → [Leverantör] → Anpassade modeller**. ### Dedikerade leverantörsrutter RuttförfrĂ„gningar direkt till en specifik leverantör med modellvalidering: ```bash POST http://localhost:20128/v1/providers/openai/chat/completions POST http://localhost:20128/v1/providers/openai/embeddings POST http://localhost:20128/v1/providers/fireworks/images/generations ``` Providerprefixet lĂ€ggs till automatiskt om det saknas. Omatchade modeller returnerar `400`. ### NĂ€tverksproxykonfiguration ```bash # Set global proxy curl -X PUT http://localhost:20128/api/settings/proxy \ -d '{"global": {"type":"http","host":"proxy.example.com","port":"8080"}}' # Per-provider proxy curl -X PUT http://localhost:20128/api/settings/proxy \ -d '{"providers": {"openai": {"type":"socks5","host":"proxy.example.com","port":"1080"}}}' # Test proxy curl -X POST http://localhost:20128/api/settings/proxy/test \ -d '{"proxy":{"type":"socks5","host":"proxy.example.com","port":"1080"}}' ``` **Tillrang:** Nyckelspecifik → Kombinationsspecifik → Leverantörsspecifik → Global → Miljö. ### Model Catalog API ```bash curl http://localhost:20128/api/models/catalog ``` Returnerar modeller grupperade efter leverantör med typer (`chat`, `embedding`, `image`). ### Cloud Sync - Synkronisera leverantörer, kombinationer och instĂ€llningar mellan enheter - Automatisk bakgrundssynkronisering med timeout + felsnabb - Föredrar serversidan `BASE_URL`/`CLOUD_URL` i produktion ### LLM Gateway Intelligence (fas 9) - **Semantisk cache** — Autocachar icke-strömmande, temperatur=0 svar (förbikoppla med `X-OmniRoute-No-Cache: true`) - **BegĂ€r idempotens** — Avduplicerar förfrĂ„gningar inom 5s via `Idempotency-Key` eller `X-Request-Id` header - **FörloppsspĂ„rning** — Opt-in SSE `event: progress`-hĂ€ndelser via `X-OmniRoute-Progress: true` header --- ### ÖversĂ€ttarlekplats Åtkomst via **Dashboard → ÖversĂ€ttare**. Felsöka och visualisera hur OmniRoute översĂ€tter API-förfrĂ„gningar mellan leverantörer. | LĂ€ge | Syfte | | ---------------- | ------------------------------------------------------------------------------------------- | | **Lekplats** | VĂ€lj kĂ€ll-/mĂ„lformat, klistra in en begĂ€ran och se den översatta utdata direkt | | **Chatttestare** | Skicka livechattmeddelanden via proxyn och inspektera hela begĂ€ran/svarscykeln | | **TestbĂ€nk** | Kör batchtester över flera formatkombinationer för att verifiera översĂ€ttningens korrekthet | | **Live Monitor** | Se översĂ€ttningar i realtid nĂ€r förfrĂ„gningar flödar genom proxyn | **AnvĂ€ndningsfall:** - Felsök varför en specifik kombination av klient/leverantör misslyckas - Verifiera att tanketaggar, verktygsanrop och systemuppmaningar översĂ€tts korrekt - JĂ€mför formatskillnader mellan OpenAI, Claude, Gemini och Responses API-format --- ### Routingstrategier Konfigurera via **Dashboard → InstĂ€llningar → Routing**. | Strategi | Beskrivning | | ------------------------------ | -------------------------------------------------------------------------------------------------------------- | | **Fyll först** | AnvĂ€nder konton i prioritetsordning – primĂ€rt konto hanterar alla förfrĂ„gningar tills det inte Ă€r tillgĂ€ngligt | | **Round Robin** | GĂ„r igenom alla konton med en konfigurerbar sticky limit (standard: 3 samtal per konto) | | **P2C (Power of Two Choices)** | VĂ€ljer 2 slumpmĂ€ssiga konton och vĂ€gar till det friskare — balanserar belastning med medvetenhet om hĂ€lsa | | **SlumpmĂ€ssig** | VĂ€ljer slumpmĂ€ssigt ett konto för varje begĂ€ran med Fisher-Yates shuffle | | **Minst anvĂ€nda** | Rutter till kontot med den Ă€ldsta `lastUsedAt` tidsstĂ€mpeln, fördelar trafiken jĂ€mnt | | **Kostnadsoptimerad** | Rutter till kontot med lĂ€gst prioritetsvĂ€rde, optimerar för lĂ€gsta kostnadsleverantörer | #### Modelalias med jokertecken Skapa jokerteckenmönster för att mappa om modellnamn: ``` Pattern: claude-sonnet-* → Target: cc/claude-sonnet-4-5-20250929 Pattern: gpt-* → Target: gh/gpt-5.1-codex ``` Jokertecken stöder `*` (alla tecken) och `?` (enkeltecken). #### Reservkedjor Definiera globala reservkedjor som gĂ€ller för alla förfrĂ„gningar: ``` Chain: production-fallback 1. cc/claude-opus-4-6 2. gh/gpt-5.1-codex 3. glm/glm-4.7 ``` --- ### MotstĂ„ndskraft och effektbrytare Konfigurera via **Dashboard → InstĂ€llningar → Resilience**. OmniRoute implementerar motstĂ„ndskraft pĂ„ leverantörsnivĂ„ med fyra komponenter: 1. **Provider Profiles** — Konfiguration per leverantör för: - Feltröskel (hur mĂ„nga fel före öppning) - Nedkylningstid - KĂ€nslighet för detektering av hastighetsgrĂ€ns - Exponentiell backoff-parametrar 2. **Redigerbara hastighetsgrĂ€nser** — StandardinstĂ€llningar pĂ„ systemnivĂ„ som kan konfigureras i instrumentpanelen: - **Requests Per Minute (RPM)** — Maximalt antal förfrĂ„gningar per minut och konto - **Minsta tid mellan förfrĂ„gningar** — Minsta mellanrum i millisekunder mellan förfrĂ„gningar - **Max samtidiga förfrĂ„gningar** — Maximalt antal samtidiga förfrĂ„gningar per konto - Klicka pĂ„ **Redigera** för att Ă€ndra och sedan pĂ„ **Spara** eller **Avbryt**. VĂ€rden kvarstĂ„r via resilience API. 3. **Circuit Breaker** — SpĂ„rar fel per leverantör och öppnar automatiskt kretsen nĂ€r ett tröskelvĂ€rde nĂ„s: - **STÄNGD** (frisk) — BegĂ€ran flyter normalt - **ÖPPEN** — Leverantören Ă€r tillfĂ€lligt blockerad efter upprepade fel - **HALF_OPEN** — Testar om leverantören har Ă„terhĂ€mtat sig 4. **Policy & Locked Identifiers** — Visar strömbrytarens status och lĂ„sta identifierare med tvĂ„ngsupplĂ„sning. 5. **Rate Limit Auto-Detection** — Övervakar `429` och `Retry-After` rubriker för att proaktivt undvika att nĂ„ leverantörshastighetsgrĂ€nser. **Proffstips:** AnvĂ€nd knappen **ÅterstĂ€ll alla** för att rensa alla strömbrytare och nedkylningar nĂ€r en leverantör Ă„terhĂ€mtar sig efter ett avbrott. --- ### Databasexport/import Hantera sĂ€kerhetskopiering av databas i **Dashboard → InstĂ€llningar → System och lagring**. | ÅtgĂ€rd | Beskrivning | | ---------------------------- | -------------------------------------------------------------------------------------------------------------------------------------------------------------------- | | **Exportera databas** | Laddar ned den aktuella SQLite-databasen som en `.sqlite`-fil | | **Exportera alla (.tar.gz)** | Laddar ner ett fullstĂ€ndigt sĂ€kerhetskopieringsarkiv inklusive: databas, instĂ€llningar, kombinationer, leverantörsanslutningar (inga referenser), API-nyckelmetadata | | **Importera databas** | Ladda upp en `.sqlite` fil för att ersĂ€tta den aktuella databasen. En sĂ€kerhetskopia före import skapas automatiskt | ```bash # API: Export database curl -o backup.sqlite http://localhost:20128/api/db-backups/export # API: Export all (full archive) curl -o backup.tar.gz http://localhost:20128/api/db-backups/exportAll # API: Import database curl -X POST http://localhost:20128/api/db-backups/import \ -F "file=@backup.sqlite" ``` **Importvalidering:** Den importerade filen Ă€r validerad för integritet (SQLite pragmakontroll), obligatoriska tabeller (`provider_connections`, `provider_nodes`, `combos`, `api_keys`) och storlek (max 100 MB). **AnvĂ€ndningsfall:** - Migrera OmniRoute mellan maskiner - Skapa externa sĂ€kerhetskopior för katastrofĂ„terstĂ€llning - Dela konfigurationer mellan teammedlemmar (exportera alla → dela arkiv) --- ### InstĂ€llningar Dashboard InstĂ€llningssidan Ă€r organiserad i 5 flikar för enkel navigering: | Tab | InnehĂ„ll | | ------------- | ----------------------------------------------------------------------------------------------------------- | | **SĂ€kerhet** | InstĂ€llningar för inloggning/lösenord, IP-Ă„tkomstkontroll, API-auth för `/models` och leverantörsblockering | | **Ruttning** | Global routingstrategi (6 alternativ), jokerteckenmodellalias, reservkedjor, kombinationsstandarder | | **Resiliens** | Leverantörsprofiler, redigerbara hastighetsgrĂ€nser, strömbrytarstatus, policyer och lĂ„sta identifierare | | **AI** | TĂ€nkande budgetkonfiguration, global systempromptinjektion, promptcachestatistik | | **Avancerat** | Global proxykonfiguration (HTTP/SOCKS5) | --- ### Kostnader och budgethantering Åtkomst via **Dashboard → Kostnader**. | Tab | Syfte | | ---------- | ---------------------------------------------------------------------------------------------------- | | **Budget** | StĂ€ll in utgiftsgrĂ€nser per API-nyckel med dagliga/veckovisa/mĂ„natliga budgetar och realtidsspĂ„rning | | **Priser** | Visa och redigera modellprisposter — kostnad per 1000 in-/utdata-tokens per leverantör | ```bash # API: Set a budget curl -X POST http://localhost:20128/api/usage/budget \ -H "Content-Type: application/json" \ -d '{"keyId": "key-123", "limit": 50.00, "period": "monthly"}' # API: Get current budget status curl http://localhost:20128/api/usage/budget ``` **KostnadsspĂ„rning:** Varje begĂ€ran loggar tokenanvĂ€ndning och berĂ€knar kostnaden med hjĂ€lp av pristabellen. Visa uppdelningar i **Dashboard → AnvĂ€ndning** efter leverantör, modell och API-nyckel. --- ### Ljudtranskription OmniRoute stöder ljudtranskription via den OpenAI-kompatibla slutpunkten: ```bash POST /v1/audio/transcriptions Authorization: Bearer your-api-key Content-Type: multipart/form-data # Example with curl curl -X POST http://localhost:20128/v1/audio/transcriptions \ -H "Authorization: Bearer your-api-key" \ -F "file=@audio.mp3" \ -F "model=deepgram/nova-3" ``` TillgĂ€ngliga leverantörer: **Deepgram** (`deepgram/`), **AssemblyAI** (`assemblyai/`). Ljudformat som stöds: `mp3`, `wav`, `m4a`, `flac`, `ogg`, `webm`. --- ### Kombinerade balanseringsstrategier Konfigurera balansering per kombination i **Dashboard → Kombinationer → Skapa/Redigera → Strategi**. | Strategi | Beskrivning | | --------------------- | -------------------------------------------------------------------------------------- | | **Round-Robin** | Roterar genom modeller sekventiellt | | **Prioritet** | Försöker alltid den första modellen; faller tillbaka endast pĂ„ fel | | **SlumpmĂ€ssig** | VĂ€ljer en slumpmĂ€ssig modell frĂ„n kombinationen för varje begĂ€ran | | **Viktad** | Rutter proportionellt baserade pĂ„ tilldelade vikter per modell | | **Minst anvĂ€nda** | Rutter till modellen med de minsta senaste förfrĂ„gningarna (anvĂ€nder kombinationsmĂ„tt) | | **Kostnadsoptimerad** | Rutter till den billigaste tillgĂ€ngliga modellen (anvĂ€nder pristabell) | Globala kombinationsstandarder kan stĂ€llas in i **Dashboard → InstĂ€llningar → Routing → Combo Defaults**. --- ### Health Dashboard Åtkomst via **Dashboard → HĂ€lsa**. SystemhĂ€lsoöversikt i realtid med 6 kort: | Kort | Vad den visar | | -------------------- | ------------------------------------------------------------------ | | **Systemstatus** | Drifttid, version, minnesanvĂ€ndning, datakatalog | | **Providers hĂ€lsa** | TillstĂ„nd för strömbrytare per leverantör (stĂ€ngd/öppen/halvöppen) | | **TaxegrĂ€nser** | Aktiva nedkylningar per konto med Ă„terstĂ„ende tid | | **Aktiva lĂ„sningar** | Leverantörer tillfĂ€lligt blockerade av lockoutpolicyn | | **Signaturcache** | Dedupliceringscachestatistik (aktiva nycklar, trĂ€ffhastighet) | | **Latens-telemetri** | p50/p95/p99 latensaggregation per leverantör | **Proffstips:** HĂ€lsosidan uppdateras automatiskt var tionde sekund. AnvĂ€nd strömbrytarkortet för att identifiera vilka leverantörer som har problem.