DiffusionGemma firedobler hastigheten på lokal AI

Hva DiffusionGemma er og hvorfor lanseringen er teknisk interessant

Google DeepMind slapp DiffusionGemma som en eksperimentell, åpen modell bygget på tekst-diffusjon i stedet for klassisk autoregressiv generering. Modellen er sporet av LLM Stats under navnet DiffusionGemma 26B-A4B, og ble omtalt samme dag av Simon Willison. Den er lisensiert under Apache 2.0, som tillater kommersiell bruk, modifikasjon og videredistribusjon uten royalty.

For norske SMB-er er det praktisk-interessante ikke skåren på et leaderboard, men kombinasjonen i samme slipp: høy tokens-per-sekund på forbruker-GPU, åpne vekter under en kommersielt akseptabel lisens, og et VRAM-krav som faktisk passer en arbeidsstasjon. Det er denne kombinasjonen som gjør at samtalen om kjøre AI lokalt mot sky-API ikke lenger handler bare om hobby-prosjekter, men om reelle drifts-valg.

Modellen i korte trekk

DiffusionGemma er bygget som en Mixture of Experts med 26 milliarder parametere totalt, hvor kun en delmengde aktiveres per inferens, ifølge Google DeepMind. MoE-arkitektur lar modellen ha stor kapasitet uten å laste alle parametere ved hver token, et velkjent grep for å holde inferenskostnaden nede. Til sammenligning har DeepSeek V3 671 milliarder parametere totalt, i en helt annen vektklasse både i kapasitet og maskinvarekrav.

Modellen er en del av Googles Gemma-familie, linjen for åpne vekt-modeller. Den nye varianten skiller seg ved at den ikke genererer tekst sekvensielt token-for-token. I stedet bruker den diffusjon for å produsere 256 tokens parallelt per foroverpass, et tall som er hele forutsetningen for hastighetsgevinsten.

Eksperimentell status er ikke en formalitet

Google selv merker DiffusionGemma som eksperimentell i lanseringsposten. Den merkelappen signaliserer at modellen er sluppet for utforsking og benchmarking, ikke som hovedlinje for produksjons-arbeidsflyter. SMB-er som vurderer å bygge kritiske prosesser oppå diffusjonsmodellen, bør forholde seg til den statusen i risikovurderingen.

Samtidig betyr eksperimentell ikke ubrukelig. Simon Willison testet modellen via NVIDIAs gratis-API kort tid etter slipp og rapporterte rundt 500 tokens per sekund på en enkelt prompt. Hans test genererte 2 409 tokens på 4,4 sekunder. Det er reell hastighet på reell maskinvare, ikke en marketing-graf.

Plassering i et tett modell-marked

AI Release Tracker registrerer 161 frontmodeller siden ChatGPT-lanseringen i november 2022, og LLM Stats sporer over 500 språkmodeller fra 50+ organisasjoner. DiffusionGemma er en av mange i et stadig tettere felt, men en av få med diffusjons-arkitektur tilgjengelig under åpen lisens og med dokumenterte hastighetstall på forbruker-GPU. For mer kontekst om språkmodell-valget generelt, har vi en gjennomgang av LLM-er og valg av språkmodell for norske bedrifter.

Tekst-diffusjon mot autoregressiv generering

Klassiske språkmodeller, fra GPT-4 til Claude og Gemini, genererer tekst en token om gangen. Hver token avhenger av forrige token. Det betyr at hastigheten i praksis er begrenset av hvor raskt GPU-en kan lese sin egen output, ikke av hvor mange transistorer den har. Tekst-diffusjon bryter denne flaskehalsen ved å la modellen produsere mange tokens samtidig.

Det er ikke en helt ny ide. Bilde-diffusjon, som Stable Diffusion og DALL-E, har brukt prinsippet i årevis: start fra støy, og iterer mot et ferdig signal. Det nye er at Google DeepMind har klart å overføre tilnærmingen til tekst på en måte som faktisk gir opptil fire ganger raskere generering enn autoregressive modeller, med kvalitet som er konkurransedyktig i kategorien.

Token-for-token er den klassiske bremsen

I en autoregressiv modell må neste token vente på forrige. Det betyr at om du genererer 1 000 tokens, må modellen kjøre 1 000 foroverpass. Hver enkelt foroverpass er rask, men seriellet akkumulerer ventetid. Det er grunnen til at sjelden bare GPU-størrelse alene avgjør hastigheten i praksis.

Sky-API-leverandørene har kompensert for dette med batching: de fyller GPU-en med mange forskjellige forespørsler samtidig. Det gir høy total gjennomstrømning, men den enkelte bruker venter fortsatt på sine egne tokens. Lavere QPS, som vi kommer til, endrer dette regnestykket dramatisk.

Diffusjon: bilde-trikset overført til tekst

DeepMind beskriver tilnærmingen som tekst-diffusjon. Modellen jobber på 256 tokens parallelt per foroverpass og iterer mot et ferdig svar, i stedet for å forutsi en token ad gangen. Det er denne arkitekturen som muliggjør 4x-tallet i overskriften, ikke en mystisk modellforbedring eller bedre treningsdata.

Det er verdt å være presis: 4x er DeepMinds eget tall, og det gjelder mot autoregressive baselines i kategorien. Det er ikke 4x mot Claude Opus 4.7 eller GPT-5.3 Instant, som er frontier-modeller i andre vektklasser.

Hvorfor 256 parallelt ikke alltid betyr proporsjonal hastighetsgevinst

Det ligger en intuitiv felle her: hvis modellen produserer 256 tokens per foroverpass, hvorfor er hastigheten bare 4x og ikke en størrelsesorden høyere? Svaret er at hver foroverpass i en diffusjonsmodell er tyngre enn i en autoregressiv modell, og at modellen typisk må kjøre flere iterasjoner for å konvergere til et godt svar. Sluttregnestykket lander på 4x i praksis, ikke en størrelsesorden mer.

Tabellen under viser hvordan de to arkitekturene faktisk skiller seg, basert på DeepMinds beskrivelse og generelle bransje-konvensjoner.

Egenskap	Autoregressiv (vanlig LLM)	Diffusjon (DiffusionGemma)
Tokens per pass	1	256
Hastighet på RTX 5090	Varierer	700+ tokens per sekund
Hastighet på H100	Varierer	1000+ tokens per sekund
Optimalisering	Batching ved høy QPS	Lav konkurranse, lokal kjøring
Modenhet	Bevist i produksjon	Eksperimentell

Tallene som faktisk betyr noe

Hastighetsmarkedsføring er notorisk vanskelig å lese. DeepMinds egne tall peker på over 1 000 tokens per sekund på en NVIDIA H100 og over 700 tokens per sekund på en NVIDIA GeForce RTX 5090. Det andre tallet er det viktigste for SMB-er, fordi RTX 5090 koster en brøkdel av en H100 og passer i en standard arbeidsstasjon.

1000+ tokens per sekund på H100 er ikke nyheten

H100 er en datasenter-GPU. Den koster titusenvis av dollar og krever passende strøm og kjøling. At en optimalisert modell genererer over 1 000 tokens per sekund på den, er et sterkt resultat, men ikke et tall som direkte oversettes til SMB-budsjett. Det er likevel et viktig referansepunkt, fordi det signaliserer at arkitekturen skalerer på den maskinvaren skyleverandørene faktisk bruker.

Til perspektiv: Stanford AI Index 2026 dokumenterer at USA har 5 427 datasentre, mer enn 10 ganger noe annet land. Det er der H100-volumet ligger, og det er der frontier-modellene faktisk kjøres.

700+ på RTX 5090 er det reelle salgsargumentet

RTX 5090 er Nvidias toppmodell for forbrukere. Den er kraftig, men den er ikke datasenter. At DiffusionGemma kjører 700+ tokens per sekund på den, betyr at en god arbeidsstasjon kan håndtere generering med en hastighet som tidligere krevde dedikert sky-infrastruktur. For latens-sensitive interne arbeidsflyter er dette en reell endring i hva som er mulig på egen maskin.

Det er likevel verdt å understreke at tokens per sekund er en av flere relevante målestørrelser. For en chat-opplevelse er time-to-first-token ofte mer kritisk enn ren gjennomstrømning. Diffusjonsmodeller har en annen profil enn autoregressive på dette punktet, og det bør testes på egen oppgave.

Willisons test gir et tredje datapunkt

Simon Willison målte rundt 500 tokens per sekund via NVIDIAs gratis-API. Den genererte 2 409 tokens på 4,4 sekunder. Det er lavere enn DeepMinds toppmål, men det er en uavhengig observasjon i en realistisk testbruk.

Det er et nyttig påminnelse: laboratorie-tall er overgrenser, ikke driftstall. Den hastigheten du faktisk ser, avhenger av prompten, av lengden på outputen, av om modellen kjøres alene eller delt, og av om det er tatt med startup-kostnader. Vår erfaring er at hastighetstall fra labb ikke erstatter kvalitetsmåling på egen oppgave. Mål output før modellbytte.

Maskinvarekravet i praksis

DeepMind oppgir 18 GB VRAM som grensen for å kjøre den kvantiserte modellen på forbruker-GPU. Det er et tall som faktisk passer i et reelt anskaffelses-budsjett, men det krever en spesifikk GPU-klasse. En vanlig kontor-PC med integrert grafikk er ikke nok.

18 GB VRAM-grensen i praksis

18 GB er over det de fleste laptoper og rimelige stasjonære PC-er har. Det er innenfor rekkevidde for entusiast-GPU-er og profesjonelle arbeidsstasjoner. Det betyr at en SMB som vil kjøre AI lokalt, må sette opp en eller flere dedikerte GPU-er, ikke bare gjenbruke kontorets standardflåte. Det er en CAPEX-beslutning, ikke en gratis-løsning.

Det er også verdt å huske at kvantisering innebærer en kvalitets-avveiing. Modellen mister noe presisjon når vektene reduseres til lavere bit-bredde for å få plass i mindre VRAM. Tap er typisk lite for generelle oppgaver, men det er ikke null. Test mot egen referanse-prompt.

Forbruker-GPU mot datasenter-GPU

Forskjellen mellom en RTX 5090 og en H100 er ikke bare pris. H100 har mer minnebåndbredde, bedre interconnect for å koble flere GPU-er sammen, og en helt annen driftsprofil med dedikert kjøling. For en SMB som ikke skal kjøre inferens 24/7 for tusenvis av brukere, er forbruker-GPU likevel ofte godt nok.

IBM peker på i sine 2026-prediksjoner at maskinvareeffektivitet vil bli den nye skaleringsstrategien, og at konkurransen i 2026 ikke handler om AI-modeller alene, men om systemene rundt dem. Det stemmer med DiffusionGemma-historien: modellen er bare halve poenget. Arkitekturen som lar den utnytte forbruker-GPU er det andre.

Lav konkurranse er forutsetningen

Det viktigste forbeholdet fra DeepMind selv er at DiffusionGemma er designet for lokale arbeidsflyter med lav konkurranse, og gir mindre gevinst i høy-QPS skysetting. Det er en setning som virker uskyldig, men som rammer rett inn i vurderingen for når lokal AI faktisk lønner seg.

QPS, batching og hva som tar plass på GPU

QPS, queries per second, er antallet samtidige forespørsler som treffer GPU-en. Sky-API-leverandører lever av høy QPS. De pakker hundrevis av forespørsler sammen for å holde GPU-en mettet. Det gir lav kostnad per token, men den enkelte forespørsel må vente i kø.

Når QPS er lav, typisk i et internt verktøy med 2-20 brukere, faller hele batching-fordelen bort. Da blir tokens-per-sekund-tallet på en enkelt forespørsel det som teller, og det er nettopp her diffusjonsmodellen har sin egen profil.

Når lokal kjøring slår sky

Lokal kjøring slår sky-API når tre forhold sammenfaller: lav QPS, sensitive data, og forutsigbar maskinvarekost. Alura mener lokal AI ikke er et mål i seg selv. Bruk det der personvern, latens eller forutsigbar kostnad faktisk krever det. Det er ikke en motstand mot lokal AI, men en motstand mot å bygge lokal infrastruktur fordi det føles teknisk solid.

Stanfords AI Index for 2026 rapporterer at 70% av organisasjoner bruker AI i minst en forretningsfunksjon, og at 58% av ansatte globalt rapporterer å bruke AI på jobb regelmessig. Den utbredte bruken betyr at de fleste arbeidsflyter allerede har en sky-API-leverandør. Spørsmålet er ikke om man skal bruke AI, men hvor inferensen skjer.

Kvalitetsavveiingen ingen tester for deg

Modellen aktiverer kun en delmengde av parameterne under inferens, ifølge DeepMind. Det er lite sammenlignet med frontier-modeller. Det er likevel ikke det samme som å si at den er dårlig på din oppgave. Det er der den kritiske testingen kommer inn.

Aktive parametere mot frontier

Til sammenligning: DeepSeek V3 har 671 milliarder parametere, og Qwen3-Coder-Next har 80 milliarder. Frontier-modellene jobber i en helt annen vektklasse. Det er rimelig å forvente at DiffusionGemma er svakere på lange resoneringer, kompleks koding og nyanserte språkoppgaver enn de største.

Stanford AI Index 2026 påpeker at selv toppmodeller har påtagelige svakheter: Gemini Deep Think vant gull i IMO, men toppmodellen leser analoge klokker korrekt bare 50,1% av tiden. Kvalitet er ujevn, og benchmarks fanger ikke alltid det som faktisk betyr noe i din arbeidsflyt.

Sigma-normalisert kvalitet og hva det betyr

LLM Stats sporer kvalitetsindekser med sigma-normalisering på tvers av modeller. Til orientering ligger Claude Opus 4.7 på 1,94σ og Gemini 3.1 Flash Image på 4,74σ i deres siste oppdatering. Det er tall som forteller om relativ posisjonering i markedet, ikke om hvor godt en modell vil løse din egen, spesifikke oppgave.

Hastighetstall fra labb erstatter ikke kvalitetsmåling på egen oppgave. Mål output før modellbytte. Det er bedre å bruke en uke på å bygge en egen evalueringssuite med 30-50 representative prompts fra egen arbeidsflyt, enn å lese seg gjennom tre måneder med benchmark-blogger. Den evalueringssuiten blir et permanent verktøy som overlever flere modellbytter.

Apache 2.0 og hva åpne vekter faktisk gir en norsk SMB

Lisensen er en av tre grunner DiffusionGemma er interessant. Modellen er sluppet under Apache 2.0, en av de mest brukervennlige open source-lisensene som finnes. Den tillater kommersiell bruk, modifikasjon og videredistribusjon, så lenge opprinnelig lisensmerknad følger med. ByteByteGo peker på åpne vektmodeller som en av fem hovedtrender i 2026.

Hva åpne vekter faktisk gir

Åpne vekter betyr at du kan laste ned modellen, kjøre den på egen maskin, finetune den på egne data, og distribuere finetunet versjon til andre. Det er ikke det samme som åpen kildekode i tradisjonell forstand, fordi treningsdata og treningsoppskrift ofte ikke følger med. Du kan ikke nødvendigvis reprodusere modellen fra bunnen av.

Likevel er åpne vekter et stort skritt. ByteByteGo peker på at OpenAI lanserte gpt-oss i august 2025, deres første åpne vektmodeller siden GPT-2, og at DeepSeek åpnet R1 og R1-Zero i januar 2025. Trenden er klar: store laboratorier slipper deler av arsenalet sitt for å forme økosystemet og rekruttere utviklere.

Leverandørbinding mot driftsansvar

Apache 2.0-lisens fjerner leverandørbinding, men ikke driftsansvaret for inferens, oppdateringer og sikkerhet. Det er en undervurdert kostnad. Når du går fra et sky-API til en lokalt kjørt modell, overtar du ansvaret for at modellen er oppe, at den får sikkerhetsoppdateringer, at maskinvaren ikke faller ut, og at noen følger med på utgiveren for nye versjoner.

IBMs 2026-prediksjoner understreker dette: konkurransen i 2026 handler ikke om modellene alene, men om systemene rundt. For en SMB som vurderer å hoppe på lokal AI, betyr det at modellen er den enkleste delen. Pipelinen, overvåkningen, oppdaterings-rutinen og sikkerhets-vurderingen er den vanskelige delen.

For dypere bakgrunn om kompromisser mellom kjøremiljøer, har vi en gjennomgang av Edge AI og IoT som dekker mange av de samme avveiingene fra en annen vinkel.

Kostnadsbildet mot sky-API

Sky-API er gjennomsiktig dyrt: du betaler per token. Lokal AI er ugjennomsiktig dyrt: du betaler for maskinvare, strøm, drift og oppdateringer, og må amortisere det over reell bruk. Hvilket alternativ som er rimeligere, avhenger nesten alltid av volumet.

Sky-API-prisene varierer enormt. LLM Stats dokumenterer at prisen per million tokens kan ligge på alt fra 20 dollar for raskere modeller til 500 dollar for topp-tier reasoning-modeller.

Modell	Pris per million tokens	Maks tokens
GPT-5.5	$500.00	1,1M
Claude Opus 4.8	$500.00	1,0M
Gemini 3.5 Flash	$150.00	1,0M
Kimi K2.7 Code	$95.00	1,0M
MiniMax M3	$60.00	1,0M
MiMo-V2.5-Pro	$100.00	1,0M
Grok-4 Fast Non-Reasoning	$20.00	2,0M

Sky-API i praksis

LLM Stats viser også at OpenAIs input-priser ligger i området $0.10 til $10.00 per million tokens, mens Googles ligger på $0.25 til $2.50. Det er en stor spredning innen samme leverandør, og den lavere enden av spennet er ofte mer enn rask nok for de fleste interne arbeidsflyter.

Det er denne lave enden av prisspennet som lokal kjøring må slå. Hvis den interne brukerbasen genererer 1-10 millioner tokens i måneden, vil sky-API typisk vinne. Krysser man et høyere månedsforbruk, samtidig som maskinvaren utnyttes godt, blir lokal kjøring konkurransedyktig.

Maskinvare-CAPEX mot opex

En arbeidsstasjon med en RTX 5090 og 64 GB systemminne ligger typisk på 50 000-80 000 kroner alt etter konfigurasjon. Strøm, kjøling og avskrivning kommer i tillegg. Hvis maskinen kjøres aktivt 8 timer om dagen for et team på 10-30 personer, kan break-even mot et middels sky-API-budsjett ligge på 12-24 måneder.

Regnestykket går imidlertid raskt i feil retning hvis maskinen blir stående ubrukt store deler av dagen, eller hvis modellen må byttes ut innen et år fordi kvaliteten ikke holder. Det er den risikoen som gjør at forutsigbar kostnad, ikke billigste kostnad, er den ærlige formuleringen av lokal AI sitt økonomiske argument.

EU AI Act og deployer-rollen ved lokal kjøring

AI Act trådte i kraft 1. august 2024, og blir fullt anvendelig 2. august 2026. IBM oppsummerer rammeverket som verdens første omfattende regulatoriske rammeverk for AI. For norske SMB-er som planlegger lokal AI-deployment, er det viktig å forstå hvordan rollene fordeles mellom modell-tilbyder og bedrift som tar modellen i bruk.

Dato	Hva som gjelder
1. august 2024	AI Act trer i kraft
2. februar 2025	Forbud og AI-leseferdigheter
2. august 2025	Regler for GPAI-modeller
2. august 2026	AI Act fullt anvendelig
2. august 2027	Høyrisiko-systemer i regulerte produkter

Provider mot deployer

Artikkel 3 i AI Act definerer en provider som personen eller enheten som utvikler et AI-system eller GPAI-modell og setter det på markedet under eget navn. En deployer er den som bruker AI-systemet under egen autoritet, utenfor personlig, ikke-profesjonell aktivitet.

Global Campus of Human Rights illustrerer skillet konkret: et universitet som integrerer ChatGPT i sitt eget AI-system og tilbyr det til studenter, klassifiseres som deployer. Det samme prinsippet gjelder en SMB som tar DiffusionGemma inn i en intern chatbot. Modellen er Googles ansvar som provider. Implementasjonen er ditt ansvar som deployer.

10^25 FLOPs og systemisk risiko

Terskelen for at en GPAI-modell anses å ha systemisk risiko er 10^25 FLOPs brukt i trening. DiffusionGemma er ikke i nærheten av den terskelen, og er heller ikke i den klassen som har systemisk risiko. Det betyr at deployer-pliktene er mer håndterbare enn for de største frontier-modellene.

Likevel: AI Act klassifiserer systemer etter risiko i fire kategorier. Wikipedia oppsummerer dem som uakseptabel, høy, begrenset og minimal, pluss en egen kategori for general-purpose AI. Hvilken kategori din konkrete deployment faller i, avgjør hvilke krav som faktisk gjelder. Det er ditt ansvar som deployer å gjøre den vurderingen.

Bøter og praktisk risiko

Bøter under AI Act kan nå 35 millioner euro eller 7% av global årlig omsetning for brudd på forbudene i Artikkel 5. IBM oppsummerer at andre brudd har et tak på 15 millioner euro eller 3% av omsetningen, og at 7,5 millioner euro eller 1,5% gjelder for å levere feil eller villedende informasjon til myndighetene.

ModelOp påpeker at fristen for praktiske implementeringsguider er februar 2026, og at høyrisiko-systemer innebygd i regulerte produkter har en lengre overgangsperiode frem til august 2027. Det gir et reelt tidsvindu for SMB-er som vil komme i mål før reglene treffer for fullt.

AI Act er en forordning, som vil gjelde direkte i alle EU-medlemsstater uten behov for nasjonal implementering i de fleste tilfeller. EØS-tilpasning gjør at norske SMB-er må forholde seg til den samme tidslinjen.

Tre bruksområder hvor DiffusionGemma er et rimelig valg i dag

Modellen er ikke et generelt erstatningsverktøy for Claude eller GPT. Den er sterk på akkurat de oppgavene hvor diffusjons-arkitekturen og lokal kjøring spiller mest til hennes fordel. Det er tre brukstilfeller som peker seg ut.

Sensitive interne søk og oppslag

For en SMB med pasientdata, økonomidata eller forretningshemmeligheter er det dyrt å la data forlate egen nett. Sky-API-leverandører gir kontrakter og databehandleravtaler, men det er fortsatt en datalek-risiko å forholde seg til. Kjøre AI lokalt fjerner den eksponeringen, fordi prompten aldri forlater bygningen.

DiffusionGemma er rask nok til at en intern søke-grensesnitt kan ha en god brukeropplevelse, og modellens aktive parameterstørrelse er nok for de fleste oppslag, sammendrag og besvarelser av interne dokumenter. For tyngre resonering må man fortsatt vurdere en større modell.

Dokumentutkast og lange genereringsoppgaver

Når en modell skal generere 3 000-10 000 tokens, blir hastighet det viktigste. De 700 tokens per sekund på en RTX 5090 betyr at en lang dokumentskisse kommer ut på under 30 sekunder, ikke flere minutter. Det er forskjellen mellom et verktøy folk faktisk bruker, og et som blir forbigått.

Stanford AI Index rapporterer at AI øker produktiviteten med 14 til 15% i kundestøtte, 26% i programvareutvikling og opptil 50% i markedsføring. Det er gevinster som lett forsvinner igjen hvis verktøyet er sært å bruke fordi det er for tregt.

Latenskritisk pre-prosessering

Mange AI-arbeidsflyter har et ledd som klassifiserer, klassifiserer på nytt eller renser data før noe tyngre kjøres. Et slikt forfilter må være raskt og forutsigbart. Diffusjonsmodellen kan kjøre det leddet med lav latens og forutsigbar kostnad, mens en større modell håndterer den endelige genereringen, gjerne i sky.

Hybridoppsett er ofte det riktige svaret. For dypere kontekst om hvordan ulike modaliteter henger sammen i moderne stacks, har vi en gjennomgang av multimodal AI som dekker hvordan tekst, bilde, lyd og video brukes sammen.

Vanlige feil norske SMB-er gjør ved overgang til lokal AI

Lokal AI selges ofte som et enkelt regnestykke: kutt sky-regningen og kjør modellen selv. Realiteten er sjelden så ren. Det er fem typiske feilkilder som dukker opp gang etter gang når SMB-er forsøker overgangen for tidlig.

Feil	Symptom	Korrigerende handling
Antar hastighet = kvalitet	Bytter modell uten å måle output	Bygg egen evalueringssuite først
Glemmer driftsansvar	Maskinvaren faller ut uten varsel	Tildel ressurser til drift og monitorering
Underestimerer oppdaterings-arbeid	Modellen aldrer, ny versjon hopper en	Etabler en månedlig oppfølgings-rutine
Tror Apache 2.0 er gratis	Total cost of ownership overrasker	Regn drift, strøm og folk inn fra start
Overser EU AI Act-roller	Risiko-vurdering glemmes	Avklar deployer-status og krav tidlig

Antar at hastighet er det samme som kvalitet

700 tokens per sekund er sterkt, men det er bare nyttig hvis det modellen genererer faktisk svarer på spørsmålet. Den vanligste feilen er å bytte fra en sky-modell til en lokal modell basert på hastighet alene, oppdage at output-kvaliteten har falt, og deretter bruke flere uker på å forstå hvorfor.

Stanford AI Index 2026 dokumenterer at det er 362 AI-hendelser i 2025, opp fra 233 i 2024. Mange av dem skyldes ikke ondsinnede aktører, men feil bruk av verktøy som ikke var testet godt nok mot egen oppgave.

Glemmer at modellen aldrer

LLM Stats sporer over 500 modeller, og listen vokser. Når DiffusionGemma 26B-A4B er åtte måneder gammel, er det god sjanse for at en bedre modell finnes. Det betyr at lokal-stacken må ha en rutine for å vurdere bytte, ikke bare en rutine for å holde modellen i live.

ByteByteGo peker også på at åpne vektmodeller diversifiserer raskt på størrelse, land og spesialisering. Det betyr at mens DiffusionGemma er et godt valg i dag, kan en bedre modell for din oppgave dukke opp senere i året.

Undervurderer EU AI Act-kravene

Den siste vanlige feilen er å anta at fordi modellen kjører lokalt, slipper man EU AI Act-kravene. Det er feil. IBM presiserer at AI Act gjelder for providers og deployers utenfor EU hvis AI-en eller output brukes i EU. Norske SMB-er er deployers i kraft av sin lokale bruk av modellen, uavhengig av hvor inferensen fysisk skjer.

Det betyr at risiko-vurdering, transparens-krav og dokumentasjon må være på plass uansett om modellen er Googles sky eller egen RTX 5090. Ikke gjør den feilen sent i prosjektet.

Spørsmål ledere stiller før de godkjenner lokal AI-stack

Det er noen spørsmål som dukker opp i hvert eneste ledermøte hvor lokal AI er på agendaen. De er nesten alltid de samme. Det er nyttig å ha svarene klare før møtet, ikke under det.

Hvem eier driften av maskinen?

Sky-API er en abonnementsavtale. Lokal AI er en infrastruktur du må eie. Det betyr at noen i organisasjonen, internt eller via en partner, må ha ansvar for at maskinen er oppe, at GPU-en kjøres innenfor termiske grenser, og at logger og overvåkning fanger opp problemer før brukerne ser dem.

IBM peker på at etterspørselen overgikk forsyningskjeden i 2025. Det betyr at om maskinvaren feiler, kan utskifting ta tid. Reserve-kapasitet, enten i form av en sekundær lokal maskin eller en sky-fallback, bør være planlagt fra start.

Hva hvis kvaliteten ikke holder?

Det er to typer kvalitetssvikt: en stille drift over tid, og en plutselig nedgang ved en ny prompt-type. Begge må fanges. Vår erfaring er at en sjekkliste på 30-50 representative prompts, kjørt manuelt eller automatisk en gang i uken, fanger 90% av problemene tidlig nok.

Stanfords AI Index rapporterer at 73% av eksperter forventer positiv effekt på jobber, mot bare 23% av publikum. Det gapet betyr at kvalitetssvikt i interne AI-verktøy raskt blir politisk i organisasjonen. Det er et godt argument for å være konservativ med utrulling.

Hva med oppdateringer og sikkerhetshull?

Sky-API-leverandører tar seg av modell-oppdateringer og sikkerhets-patching av infrastrukturen. Når man kjører lokalt, må SMB-en selv eller dens partner stå for både modell-bytter og operativsystem-, driver- og bibliotek-oppdateringer. Det er typisk en halv stilling, ikke en helg-prosjekt.

Stanford AI Index 2026 dokumenterer at en tredjedel av spurte organisasjoner forventer å redusere arbeidsstyrken det kommende året på grunn av AI. Det er et viktig tegn på at AI-relaterte stillinger må strategi-vurderes nøye, både i opp- og nedbygging.

Oppsummering: når diffusjonsmodellen er riktig verktøy

DiffusionGemma er en velkommen utvidelse av valgmulighetene for SMB-er som vurderer å kjøre AI lokalt. Den bringer 4x hastighet på et arkitekturnivå, fungerer på forbruker-GPU med 18 GB VRAM, og leveres under Apache 2.0. Det er en meningsfull kombinasjon. Men det er ikke en universal-løsning.

Den faktiske beslutningen avhenger av tre forhold: volum, datasensitivitet og intern kapasitet til å drifte. Hvis du svarer ja på alle tre, er DiffusionGemma et reelt alternativ. Hvis du svarer nei på to av tre, vil sky-API typisk vinne på kostnad og fleksibilitet i 2026.

Når DiffusionGemma er riktig verktøy

Den er riktig når interne brukere genererer høyt volum mot sensitive data, når organisasjonen har faktisk driftskapasitet, og når oppgaven er innenfor det modellens aktive parameterstørrelse kan løse godt. Den er også riktig som pre-prosesserings-ledd i en hybrid arkitektur, hvor en lokal modell renser og klassifiserer før en sky-modell tar de tyngste oppgavene.

Stanford AI Index 2026 dokumenterer at generativ AI har nådd 53% befolkningsadopsjon innen tre år etter masseintroduksjon. Når den utbredelsen er gitt, blir spørsmålet ikke om man skal bruke AI, men hvor og hvordan. Diffusjonsmodellen er ett av flere verktøy som hører hjemme i den vurderingen.

Når den er feil verktøy

Den er feil når oppgaven krever frontier-kvalitet, når volumet er for lavt til å forsvare CAPEX, eller når organisasjonen ikke har kapasitet til å drifte og oppdatere. Da er sky-API enklere, sikrere og ofte rimeligere over totalsyklusen.

IEEE Spectrum rapporterer at totale AI-investeringer i 2025 nådde 581 milliarder dollar, og at antall AI-relaterte GitHub-prosjekter har vokst til 5,58 millioner. Det er en eksplosiv vekst i økosystemet, men ikke alle verktøy passer hver bedrift. Den gode anskaffelsen er den som matcher faktisk behov, ikke den som tar seg godt ut i en demo.

I Alura bygger vi AI-infrastruktur for norske virksomheter, fra dataplattformer til agentiske systemer i produksjon. Vi er ikke en SaaS-leverandør. Vi er håndverkere som setter sammen byggesteinene som faktisk fungerer for din situasjon.

Bestill en arkitektur-samtale: vi går gjennom din nåværende infrastruktur, identifiserer integrasjonspunkter, og foreslår en pragmatisk vei videre. Uforpliktende, 45 minutter.