Teknisk innhold

Slik kan du kjøre agent-selskapet billigere

Hvis du bygger et oppsett med mange subagenter og flere runder med testing og revisjon, kan modellkostnaden løpe fort. Denne siden viser en praktisk måte å splitte lasten mellom en lokal Ollama-modell og en billigere API-modell gjennom egne Claude Code-profiler.

Tilbake til MyAgentCompany Gå rett til oppskriften
Advarsel:

Dette er teknisk innhold. Det er fullt mulig å få det til selv, men du bør være komfortabel med terminal, shell-profiler og miljøvariabler før du setter i gang.

Hvorfor gjøre dette

Poenget er ikke bare å spare penger. Poenget er å bruke riktig modell til riktig jobb.

Lokal modell til det tunge volumet

En lokal Ollama-modell kan ta mye av grunnarbeidet: repo-lesing, bred utforsking, enkle vurderinger og tidlige utkast. Det er spesielt nyttig hvis du vet at mange agenter skal kalles flere ganger i løp.

Billigere skyprofil til utvalgte roller

Noen roller trenger fortsatt en sterkere eller mer stabil skybasert modell. Da er en billigere API-modell et godt kompromiss, i stedet for å sende alt til de dyreste Claude-modellene.

Samme verktøy, to startmåter

Du trenger ikke bygge om hele arbeidsflyten. Det holder å starte Claude Code med ulike profiler, der hver profil peker til sin egen provider, modell og konfigurasjonsmappe.

Steg for steg

Eksempelet under bruker OpenRouter med GLM 5.2 som skyprofil, og Ollama med Qwen som lokal profil. Prinsippet er det samme hvis du velger andre modeller senere.

Steg 1

Sjekk at grunnmuren er på plass

Før du gjør noe annet, må tre ting fungere: Claude Code må være installert, Ollama må være installert og kjøre, og du må ha en API-nøkkel fra OpenRouter.

  • `claude --version` skal fungere
  • `ollama --version` skal fungere
  • `ollama list` skal vise modellen du vil bruke lokalt
claude --version
ollama --version
ollama list

Hvis Ollama ikke allerede kjører, starter du den med:

ollama serve
Steg 2

Lag to separate Claude-profiler

Dette er selve trikset. I stedet for å la alt dele samme konfigurasjon, lager du to ulike mapper. Da holder du lokalprofilen og skyprofilen ryddig adskilt.

mkdir -p ~/.claude-glm
mkdir -p ~/.claude-ollama

Jeg anbefaler å tenke på disse som to forskjellige innganger til samme verktøy, ikke som to forskjellige arbeidsmåter du må lære på nytt.

Steg 3

Legg inn OpenRouter-nøkkelen din

Hvis du bruker Zsh eller Bash, er det enklest å lagre OpenRouter-nøkkelen som en vanlig miljøvariabel i shell-filen din.

export OPENROUTER_API_KEY="sk-or-v1-REPLACE_ME"

Legg dette i `~/.zshrc` eller `~/.bashrc`, og last filen inn på nytt etterpå.

source ~/.zshrc
Steg 4

Lag to startkommandoer

Nå lager du to aliases: ett for GLM-profilen og ett for Ollama-profilen. Her er det viktigste at hver kommando setter sine egne variabler i det øyeblikket Claude Code starter.

alias claude-glm='CLAUDE_CONFIG_DIR="$HOME/.claude-glm" \
ANTHROPIC_BASE_URL="https://openrouter.ai/api" \
ANTHROPIC_AUTH_TOKEN="$OPENROUTER_API_KEY" \
ANTHROPIC_API_KEY="" \
ANTHROPIC_MODEL="z-ai/glm-5.2" \
ANTHROPIC_DEFAULT_SONNET_MODEL="z-ai/glm-5.2" \
ANTHROPIC_DEFAULT_OPUS_MODEL="z-ai/glm-5.2" \
claude'

alias claude-ollama='CLAUDE_CONFIG_DIR="$HOME/.claude-ollama" \
ANTHROPIC_BASE_URL="http://localhost:11434" \
ANTHROPIC_AUTH_TOKEN="ollama" \
ANTHROPIC_API_KEY="" \
ANTHROPIC_MODEL="qwen3.6:27b-q8-32k-instruct" \
ANTHROPIC_DEFAULT_SONNET_MODEL="qwen3.6:27b-q8-32k-instruct" \
ANTHROPIC_DEFAULT_OPUS_MODEL="qwen3.6:27b-q8-32k-instruct" \
claude'

Hvis modellnavnet ditt i Ollama er litt annerledes enn eksempelet over, bruker du det eksakte navnet som `ollama list` viser.

Steg 5

Last inn shell-filen på nytt

Når aliasene er lagt inn, må du laste shell-oppsettet på nytt. Det er et lite steg, men det er ofte akkurat dette som gjør at folk tror noe ikke virker.

source ~/.zshrc

Bruker du Bash, bytter du bare ut `~/.zshrc` med `~/.bashrc`.

Steg 6

Test hver profil for seg

Start først skyprofilen:

claude-glm

Avslutt den, og test så lokalprofilen:

claude-ollama

Hvis begge starter uten problemer, har du nå to ulike innganger til Claude Code som kan brukes fra samme terminalmiljø.

Hvordan jeg ville brukt dette i praksis

Det viktige er ikke bare at det fungerer, men at du gir de riktige rollene de riktige kostnadsrammene.

Lokalt først

La billige eller lokale modeller ta de rollene som gjør mye lesing, sortering, oppsummering og utkast. Det er ofte her volumet blir størst.

Sky der det trengs

Bruk GLM eller andre billige API-modeller til roller som fortsatt trenger bedre resonnering, bedre stabilitet eller større kontekstvindu enn det du er komfortabel med lokalt.

Hold styr på hvem som gjør hva

Hvis alt får kjøre på dyreste modell, blir eksperimentet fort kostbart. Hvis alt får kjøre lokalt, kan kvaliteten falle for mye. Den beste løsningen er nesten alltid en blanding.

Vanlige feil

De fleste problemer her er ikke mystiske. De skyldes nesten alltid en liten detalj i oppsettet.

Ollama svarer ikke

Da kjører ofte ikke Ollama-serveren. Start den med `ollama serve`, og sjekk at modellen finnes med `ollama list`.

Claude Code vil logge inn på vanlig måte

Det skjer ofte hvis `ANTHROPIC_API_KEY` ikke er satt tomt i aliaset. Derfor står den eksplisitt som `""` i eksemplene over.

Feil modellnavn lokalt

Bruk det eksakte modellnavnet som finnes i Ollama-installasjonen din. Ikke stol på hukommelsen, sjekk med `ollama list`.

For lite kontekst lokalt

Hvis lokale agenter begynner å miste tråden i større arbeidsoppgaver, er det ofte et tegn på at du trenger en modellvariant med større kontekstvindu eller en mer nøye avgrenset rolle.

Kortversjonen

Hvis du bare vil vite om dette er verdt å teste: ja, det er det.

Praktisk tommelfingerregel La volum kjøre billig, og la kritiske vurderinger kjøre smartere. Det er ofte nok til å gjøre et agent-oppsett langt mer realistisk å eksperimentere med.

Det viktigste poenget

Du trenger ikke velge én modell for hele selskapet ditt. Det er fullt mulig å ha en lokal, billig profil for tunge og repeterende oppgaver, og en separat skyprofil for rollene der du vil ha litt mer kvalitet eller litt mer pålitelighet.

Det er nettopp denne typen oppsett som gjør agent-eksperimenter mer interessante i praksis, fordi du begynner å designe for kostnad, kvalitet og rollefordeling samtidig.

Tilbake til MyAgentCompany Se flere eksperimenter