AI-brikker uten NVIDIA-lås gir SMB-er billigere AI-drift

Hva ZMLs inferensserver LLMD er

I juli 2026 slapp den franske oppstartsbedriften ZML et gratis produkt kalt ZML/LLMD, en inferensserver som skal kjøre åpne språkmodeller raskt på mange ulike AI-brikker. Ifølge TechCrunch støtter serveren brikker fra Nvidia, AMD, Google TPU, Apple Metal og Intel Arc i samme oppsett. Poenget er ikke å erstatte NVIDIA, men å la deg unngå leverandørlåsning og bruke maskinvaren du allerede har.

For en norsk leder er det interessante ikke selve programvaren, men hva den signaliserer: inferens er i ferd med å bli et lag som kan flyttes mellom brikker. Denne artikkelen bruker LLMD som konkret eksempel, men rammeverket gjelder enhver brikkeuavhengig tilnærming du måtte vurdere.

Hva LLMD faktisk gjør

LLMD er en inferensserver, ikke en modell. Den tar en ferdigtrent, åpen språkmodell og kjører den så effektivt som mulig på den maskinvaren du peker den mot. ZML beskriver målet som å bryte siloer slik at bedrifter og skytjenester kan bruke en blanding av brikker for å redusere kostnader og energiforbruk.

Ifølge omtalen av lanseringen lar programvaren modeller kjøre på maksimal hastighet på brikker fra flere produsenter samtidig. Det er verdt å understreke at LLMD retter seg mot inferens, altså å kjøre en modell i produksjon, ikke mot trening. Skillet er avgjørende for hvem som faktisk har nytte av dette, og vi kommer tilbake til det.

Brikkene den støtter

Bredden i maskinvarestøtten er selve argumentet. LLMD skal kjøre på Nvidia, AMD, Google TPU, Apple Metal og Intel Arc ifølge TechCrunch. Det betyr at en organisasjon i teorien kan blande akseleratorer fra flere leverandører bak samme inferenslag, i stedet for å standardisere alt på ett økosystem.

ZML har ifølge omtalen nådd stadiet med samdesign av silisium, altså tett tilpasning mellom programvare og brikke. For en SMB er ikke det poenget. Poenget er at du kan utnytte eksisterende maskinvare i stedet for å kjøpe nytt for å matche en leverandørs stakk.

Selskapet bak og finansieringen

ZML er et lite Paris-basert team på 20 personer som ifølge TechCrunch har hentet 20 millioner dollar fra venturefirmaer, blant dem Harry Stebbings' 20VC, Xavier Niels Kima Ventures, Kindred Capital og LocalGlobe. Grunnlegger er Steeve Morin, og prosjektet er støttet av Turing Award-vinner Yann LeCun.

Størrelsen er relevant for risikovurderingen din. Et team på 20 med 20 millioner dollar i ryggen er ambisiøst, men det er ikke en etablert infrastrukturleverandør. ZML møter dessuten konkurranse fra aktører som Baseten, Inferact og RadixArk. Det gjør leverandørmodenhet til noe du må sjekke aktivt, ikke anta.

Brikkeuavhengig inferens forklart for beslutningstakere

Brikkeuavhengig inferens betyr at koden som kjører modellen din ikke er bundet til en maskinvareprodusents programvarestakk. I dag er det uvanlig, fordi NVIDIAs CUDA-økosystem regnes som en av de sterkeste konkurransefordelene i hele AI-brikkemarkedet. Når inferens frikobles fra brikken, blir maskinvare en pris- og ytelsesbeslutning, ikke en lock-in-beslutning.

Trening versus inferens: hvorfor skillet betyr noe

Trening bygger modellen. Inferens kjører den. For de aller fleste norske SMB-er er trening irrelevant: de bruker ferdige modeller og betaler for å kjøre dem. Det er derfor inferens er det interessante segmentet. Ifølge Roots Analysis har inferens-segmentet høyest markedsandel innen funksjon, med 58 % av markedet i 2026.

I Europa peker tallene samme vei. Market Data Forecast beskriver inferens-segmentet som størst i 2025 på grunn av utbredt integrering av AI i sanntidssystemer. Poenget for deg: kostnaden i AI-drift ligger sjelden i å trene noe, den ligger i å kjøre det, døgnet rundt, i produksjon.

Hva leverandørlåsing koster

Leverandørlåsing er sjelden en enkeltregning. Den dukker opp som manglende forhandlingsmakt, som avhengighet av en leverandørs leveringsevne, og som kostnaden ved å bytte senere. ZMLs uttalte mål er nettopp å la selskaper unngå leverandørlåsning og utnytte eksisterende maskinvare.

Alura mener SMB-er bør teste brikkeuavhengige inferensverktøy før de binder seg til en maskinvareleverandør. Ikke fordi NVIDIA er feil valg, men fordi et reelt alternativ i bakhånd endrer forhandlingsposisjonen din, selv om du aldri bytter. Samtidig er vår erfaring at gevinsten for de fleste norske SMB-er handler mer om lavere kostnad og fleksibilitet enn om å forlate NVIDIA helt.

CUDA-vollgraven

Grunnen til at brikkeuavhengighet er vanskelig, er at NVIDIA ikke bare selger brikker. De selger et helt programvarelag som utviklere har bygget mot i over et tiår. Datam Intelligence beskriver CUDA-økosystemet som en av de sterkeste konkurransefordelene i markedet, og MarketsandMarkets anslår at de tre største selskapene har 95 til 96 % av databehandlingsmarkedsandelen.

Verktøy som LLMD angriper akkurat dette laget. Hvis inferens kan skje like effektivt uten CUDA-bindingen, forsvinner en del av vollgraven. Det er en teknisk påstand du må verifisere på din arbeidsbelastning, ikke ta på tro, men retningen er tydelig: flere aktører prøver å gjøre inferens til et åpent lag.

Rammeverk for å vurdere et NVIDIA-alternativ

Et NVIDIA-alternativ er ikke en ja/nei-beslutning, men en avveining mellom kostnad, risiko og modenhet. Under følger et rammeverk du kan bruke i praksis. Alura mener leverandøruavhengighet er verdifullt, men at kompatibilitet og ytelse må verifiseres på egen arbeidsbelastning før produksjon. Rammeverket er bygget for å tvinge frem den verifiseringen før du forplikter budsjett.

Fem spørsmål før du bytter

Kjør disse fem spørsmålene før du gjør noe annet. Ett: kjører du faktisk inferens i eget miljø, eller kaller du et API? Hvis du kaller et API, er brikkevalget leverandørens problem, ikke ditt. To: hvor stor er din faktiske inferenskostnad i kroner per måned? Tre: hvilke modeller kjører du, og er de åpne modeller som LLMD er designet for? Fire: har du maskinvare fra flere leverandører allerede? Fem: tåler arbeidsbelastningen din en periode med testing og risiko?

Hvis svaret på flertallet er ja, er brikkeuavhengig inferens verdt en pilot. Hvis du kaller et lukket API mot en ekstern leverandør, er dette foreløpig ikke din kamp, og du bør heller optimalisere forbruket.

Beslutningsmatrise

Matrisen under kobler situasjonen din til en anbefalt handling. Den er en startsortering, ikke en fasit.

Situasjon	NVIDIA-avhengighet i dag	Anbefalt neste steg
Kaller lukket AI-API	Indirekte	Optimaliser forbruk, ingen brikkebeslutning
Kjører åpne modeller i egen sky	Direkte, via GPU-instanser	Pilot brikkeuavhengig inferens
Har egen maskinvare fra flere leverandører	Delvis	Test LLMD-type verktøy på reell last
Kjøper ny maskinvare nå	I ferd med å låses	Krev brikkeuavhengighet i kravspec
Stabil produksjon, lav kost	Høy, men billig	Behold NVIDIA, revurder ved skalering

Når du bør bli på NVIDIA

Det finnes gode grunner til å bli. NVIDIA dominerer fortsatt, med en estimert markedsandel på 81 %, og økosystemet er modent. Hvis inferenskostnaden din er lav, produksjonen stabil, og teamet ditt lite, er byttekostnaden ofte høyere enn gevinsten.

Alura mener at for de fleste norske SMB-er handler gevinsten mer om lavere kostnad og fleksibilitet enn om å forlate NVIDIA helt. Å beholde NVIDIA og samtidig kjenne alternativene er en fullt gyldig strategi. Det farlige er ikke å bruke NVIDIA. Det farlige er å låse seg uten å ha vurdert alternativet.

Praktisk: dette gjør du på mandag morgen

Teori hjelper lite uten en konkret første uke. Her er tre steg du kan starte på mandag, i rekkefølge. De krever ingen innkjøp, bare målinger og en avgrenset test. Poenget er å erstatte antakelser om kostnad og ytelse med tall fra din egen drift.

Kartlegg din faktiske inferens-arbeidsbelastning

Start med å skrive ned hva du faktisk kjører: hvilke modeller, hvor mange forespørsler, hvilken maskinvare, og hva det koster per måned. Mange organisasjoner oppdager her at inferens er en liten kostnad, eller at den skjer hos en API-leverandør de ikke kontrollerer. Uten dette bildet er enhver brikkebeslutning gjetning.

Verktøy for å hente ut innsikt fra egne data raskt er en del av det samme bildet, som vi har skrevet om i AI-drevet analyse: fra data til innsikt på sekunder. Kartleggingen skal svare på ett spørsmål: hvor mye av AI-driften din er egentlig eksponert mot brikkevalg?

Kjør en skyggetest

En skyggetest kjører den nye inferensserveren parallelt med produksjonen din, på reell trafikk, uten at brukerne merker det. Du sammenligner svar, latens og gjennomstrømning side om side. LLMD er gratis, så den økonomiske terskelen for en pilot er lav. Kostnaden ligger i tid og oppmerksomhet, ikke i lisens.

Målet med skyggetesten er ikke å bevise at alternativet er raskere. Det er å avdekke hvor det ikke virker: modeller som ikke støttes, formater som brekker, eller ytelse som faller under kravet ditt. Det er billigere å finne dette i skygge enn i produksjon.

Regn på totalkostnad, ikke listepris

Listeprisen på en brikke er sjelden den reelle kostnaden. Legg til strøm, kjøling, drift og tiden teamet bruker på vedlikehold. Energi er en betydelig post: NVIDIA oppnådde ifølge Congruence Market Insights en 35 % reduksjon i energiforbruk på tvers av produktlinjene sine i 2024, og Amazons Trainium3 er oppgitt å være 40 % mer energieffektiv enn forgjengeren.

Regnestykket avgjør om brikkeuavhengighet lønner seg for deg. En organisasjon med lav last og dyr driftstid sparer lite. En med jevn, tung inferenslast og tilgang til billigere maskinvare kan spare mye. Tallene er dine, ikke bransjens.

AI-brikkemarkedet og NVIDIAs dominans i tall

For å forstå hvorfor brikkeuavhengighet er et tema nå, må du se størrelsen og konsentrasjonen i markedet. Anslagene spriker mye mellom analysehusene, noe som i seg selv sier noe om usikkerheten. Vi har skrevet om NVIDIAs rolle i denne boomen tidligere, i Nvidia leverer og markerer AI-boomen.

Markedsstørrelse og vekstanslag

Tallene varierer avhengig av hvordan hvert hus definerer markedet. Roots Analysis venter vekst fra 100 milliarder dollar i 2026 til 2100 milliarder dollar innen 2040. Datam Intelligence verdsatte markedet til 77,59 milliarder dollar i 2025 og venter 361,14 milliarder innen 2035. Precedence Research lander på 94,44 milliarder i 2025 og venter en kraftig vekst gjennom det neste tiåret.

Spriket er poenget: ingen vet nøyaktig hvor stort dette blir, og tallene som følger viser bredden i anslagene.

De øvrige analysehusene spriker like mye. Research and Markets anslår markedet til 84,17 milliarder dollar i 2026 og 286,7 milliarder innen 2030. Coherent Market Insights venter 107,01 milliarder dollar i 2026 og 592,61 milliarder innen 2033. De anslåtte vekstratene varierer kraftig fra hus til hus, noe som i seg selv understreker hvor usikre disse framskrivningene er.

NVIDIAs andel og tall

NVIDIAs dominans er dokumentert fra flere hold, noe vi også har omtalt i Nvidia leverer og markerer AI-boomen. Intellectia anslår markedsandelen til 81 %, og Motley Fool oppgir det samme med henvisning til IDC.

Størrelsen på selskapet forklarer hvorfor lock-in er reell. Datam Intelligence oppgir en omsetning på 215,9 milliarder dollar for regnskapsåret 2026, med en datacenteromsetning på 62,3 milliarder i fjerde kvartal alene, opp 75 % fra året før. Yahoo Finance oppgir datasenterinntekter på 193,7 milliarder dollar for samme regnskapsår, der 50 % kom fra hyperskalere. Bruttomarginen er ifølge Intellectia svært høy sammenlignet med bransjen ellers.

Utfordrerne bygger seg opp

Den viktigste trusselen mot NVIDIA er ikke AMD, men Google, ifølge Motley Fool. Google har bygget egne TPU-er siden 2015, og syvende generasjon, Ironwood, gir 4x ytelsesforbedring per brikke mot forrige generasjon. Anthropic vil kjøpe opptil 1 million TPU-er, og en DA Davidson-analytiker hevder Alphabet kan ta 20 % av markedet.

AMD har sikret seg en stor avtale med Meta, som har forpliktet seg til 6 GW med AMD Instinct-GPU-er. Broadcom venter ifølge Motley Fool rundt 100 milliarder dollar i AI-brikkeinntekt fra ASIC-er neste år. Oppstartsselskaper er også godt kapitalisert: Groq har fått en investeringsforpliktelse på 1,5 milliarder dollar fra Saudi-Arabia. For en kjøper betyr det at reell konkurranse er på vei, men ikke at NVIDIA er avsatt.

Kostnadsbildet for norske SMB-er

Markedstallene er store, men de fleste norske SMB-er lever i en helt annen skala. Poenget er ikke hvor stort markedet blir, men hvor din marginale krone går. AI-brikker har blitt den største driveren for global halvlederkapitalinvestering, og big tech alene ventes å bruke over 500 milliarder dollar på datasentre og brikker i 2026 ifølge Intellectia. Den kapitalflommen skviser priser og tilgang, også for deg.

Hvor kostnaden faktisk ligger

For en SMB ligger AI-kostnaden sjelden i selve brikken, men i driftstiden. En modell som svarer på kundehenvendelser døgnet rundt akkumulerer inferenskostnad time for time. Det er derfor inferens, med 58 % av markedet i 2026, er det økonomisk relevante segmentet, ikke trening.

Adopsjonen er samtidig lavere enn hypen antyder. Bare en liten andel av EU-bedriftene tok i bruk AI-teknologier i 2024, om enn med en tydelig økning fra året før. De fleste virksomheter er altså tidlig i løpet, og har mulighet til å ta brikkevalg bevisst før de låser seg.

Sky versus egen maskinvare

De fleste SMB-er velger sky, og bør gjøre det. Egen maskinvare gir kontroll og potensielt lavere enhetskostnad ved høy last, men binder kapital og krever kompetanse. Tabellen setter opp avveiningen. Brikkeuavhengig inferens er relevant i begge modeller, men gir mest når du har, eller vurderer, egen maskinvare fra flere leverandører.

Dimensjon	Sky-inferens	Egen maskinvare
Kapitalbinding	Lav	Høy
Enhetskostnad ved høy last	Høyere	Potensielt lavere
Brikkevalg	Leverandørens ansvar	Ditt ansvar
Verdi av brikkeuavhengighet	Begrenset	Høy
Kompetansekrav	Lavt	Høyt

Energi som kostnadsdriver

Energi er en av de tyngste postene i AI-drift, og en av grunnene ZML oppgir for å blande brikker er nettopp å redusere kostnader og energiforbruk. Effektivitetsgevinstene i nye brikker er reelle: Trainium3 er 40 % mer energieffektiv enn forgjengeren, og NVIDIA kuttet energiforbruket med 35 % på tvers av produktlinjene i 2024.

For en norsk SMB med tilgang til relativt rimelig kraft er dette både en kostnad og et konkurransefortrinn. Å velge brikke og inferenslag som passer arbeidsbelastningen din kan gi målbar effekt på strømregningen, ikke bare på ytelsen.

Kompatibilitet og ytelse du må teste først

Løftet om brikkeuavhengighet er attraktivt, men det holder bare hvis det faktisk virker på din last. Alura mener leverandøruavhengighet er verdifullt, men at kompatibilitet og ytelse må verifiseres på egen arbeidsbelastning før produksjon. Dette er ikke en formalitet. Det er der de fleste piloter enten består eller feiler.

Modellstøtte og formater

LLMD er designet for å kjøre åpne språkmodeller effektivt på flere prosessorer. Første sjekk er derfor triviell, men avgjørende: er modellene du bruker åpne, og støttes de faktisk? Et verktøy som støtter Nvidia, AMD, Google TPU, Apple Metal og Intel Arc dekker mye, men ikke nødvendigvis den ene modellvarianten du er avhengig av.

Sjekk også formater og kvantisering. En modell som gir korrekte svar på en brikke kan gi subtilt annerledes svar på en annen. Skyggetesten fra kapittelet over er stedet å fange dette, ved å sammenligne svar side om side på reell trafikk.

Ytelse: latens og gjennomstrømning

Brikkeuavhengighet er verdiløst hvis ytelsen faller under kravet ditt. Mål to ting: latens, altså hvor raskt et enkelt svar kommer, og gjennomstrømning, altså hvor mange forespørsler du håndterer per tidsenhet. NVIDIAs økosystem setter en høy referanse. AIMultiple oppgir at DeepSeek-R1 671B får 30x ytelsesøkning på NVIDIA GB200 NVL72 med Dynamo, og at neste generasjon Vera Rubin gir 5x raskere inferens enn Blackwell.

Poenget er ikke at alternativene taper, men at du må måle mot din egen terskel, ikke mot markedslederens toppytelse. Til sammenligning når Huaweis Ascend 910C ifølge DeepSeek rundt 60 % av NVIDIA H100s inferensytelse. Om 60 % er nok, avhenger helt av lasten din.

Driftsmodenhet og støtte

En gratis inferensserver fra et team på 20 personer er ikke det samme som en driftsklar plattform med enterprise-støtte. Vurder hvem som fikser feil klokken tre om natten, hvor lenge prosjektet lever, og hva som skjer hvis konkurrenter som Baseten, Inferact eller RadixArk vinner kappløpet.

Sjekklisten under samler det du bør ha svar på før produksjon. Ingen enkeltrad diskvalifiserer alene, men flere røde svar bør stoppe utrullingen.

Sjekkpunkt	Hva du verifiserer	Konsekvens hvis nei
Modellstøtte	Dine modeller kjører korrekt	Blokkerende
Svarkvalitet	Identiske svar i skyggetest	Blokkerende
Latens	Under din terskel	Blokkerende
Gjennomstrømning	Dekker toppbelastning	Høy risiko
Driftsstøtte	Hvem fikser feil i produksjon	Høy risiko
Leverandørmodenhet	Prosjektets levetid og finansiering	Middels risiko

Regulering og forsyningskjede i Europa

Brikkevalg er ikke bare teknikk og pris. Det er også regulering og geografi. EU bygger både et regelverk og en industripolitikk rundt AI, og begge deler påvirker hvilke brikker og leverandører som er tilgjengelige for norske virksomheter. EU AI Act er ifølge Quinn Emanuel den første omfattende juridiske rammen for AI i verden.

EU AI Act og hva det betyr

AI Act forbyr praksis som anses å utgjøre uakseptabel risiko, og forbudet trådte i kraft 2. februar 2025. Forpliktelsene for høyrisiko-AI under Annex III begynner å gjelde 2. august 2026, mens Annex I følger 2. august 2027.

Bøtenivåene er høye nok til at dette er en styresak, ikke bare en IT-sak. Brudd på forbudet mot uakseptabel risiko kan gi bøter på inntil 35 millioner euro eller 7 % av omsetningen, mens brudd på reglene for høyrisiko-AI kan gi inntil 15 millioner euro eller en tilsvarende andel av omsetningen. Regelverket handler om hvordan du bruker AI, ikke hvilken brikke den kjører på, men det setter rammen rundt hele beslutningen.

Forsyningskjede og importavhengighet

Europa er sårbart i forsyningskjeden. EU importerte 92 % av sine høytytende AI-akseleratorer i 2025 ifølge Market Data Forecast. En kritisk flaskehals er TSMCs CoWoS-pakketeknologi, som Datam Intelligence beskriver som avgjørende for AI-brikkeforsyning.

Denne avhengigheten er selve argumentet for fleksibilitet. Et inferenslag som kjører på flere brikketyper reduserer eksponeringen mot at en leverandør eller en region får leveringsproblemer. Geopolitikk er en reell del av bildet: Datam Intelligence oppgir at NVIDIA ikke rapporterte H20-salg til kunder i Kina i andre kvartal av regnskapsåret 2026, en påminnelse om hvor raskt tilgangen kan endres.

Europeisk kapasitet og InvestAI

EU svarer med kapital. InvestAI-initiativet mobiliserer 200 milliarder euro, hvorav 20 milliarder euro går til AI-gigafabrikker. Det europeiske brikkesettmarkedet ventes å vokse fra 17,15 milliarder dollar i 2025 til 146,68 milliarder innen 2034, med Tyskland som største bidragsyter.

For en norsk SMB betyr dette at europeiske alternativer og lokal kapasitet gradvis bygges opp. En fransk aktør som ZML er del av den samme bevegelsen mot mindre avhengighet av amerikansk maskinvare. Det gjør ikke alternativene modne over natten, men det gir dem et industripolitisk medvind som er verdt å følge med på.

Markedsobservasjon: hvor konkurransen går

Tre bevegelser i markedet forklarer hvorfor brikkeuavhengighet blir viktigere, ikke mindre viktig, de neste årene. De handler om egendesignede brikker, om edge, og om at hele racket blir produktenheten. Dette er markedsspeiling, ikke spådom, men retningen er godt dokumentert i kildene.

ASIC-er og egendesignede brikker

Skyleverandørene bygger sine egne brikker for å slippe unna NVIDIA-marginene. AIMultiple venter at tilpassede ASIC-forsendelser fra skyleverandører vokser klart raskere enn GPU-forsendelser i 2026. Roots Analysis anslår at ASIC-segmentet får høyest vekst av alle brikketyper, med en CAGR på 28 % frem til 2040.

OpenAI og Broadcom har ifølge Datam Intelligence lansert Jalapeño, en spesialdesignet brikke for LLM-inferens. Google annonserte to nye prosessorer, TPU 8t og TPU 8i, der sistnevnte ifølge Yahoo Finance er best egnet for inferens og AI-agenter. Jo flere brikketyper, jo mer verdt er et inferenslag som snakker med dem alle.

Edge-inferens vokser

Mye inferens flytter ut til enheten der dataene skapes. Roots Analysis oppgir at edge-segmentet har over 75 % av inntektene innen prosesseringstype i 2026, og IDTechEx venter at edge-markedet passerer 80 milliarder dollar innen 2036. Precedence Research anslår vekst fra 8,3 milliarder dollar i 2025 til 36,12 milliarder innen 2034.

Edge betyr mange ulike brikker med lavt strømforbruk, ikke ett standardisert datasenter. Det forsterker behovet for programvare som ikke er bundet til en produsent. For norske virksomheter i bransjer med sanntidsbehov, som vi har beskrevet i konteksten for AI i eiendom og eiendomsmegling, er dette relevant ganske raskt.

Racket blir produktenheten

Markedet beveger seg mot rack-skala AI-systemer der hele racket, ikke den enkelte brikken, er produktenheten. Det gjør innkjøpsbeslutninger større og mer bindende. Jo mer du kjøper som en integrert enhet, jo dyrere blir det å bytte senere.

Konsekvensen for en SMB er enkel: fleksibilitet er billigst å sikre før du kjøper, ikke etter. Å kreve brikkeuavhengighet i kravspesifikasjonen når du anskaffer, er billigere enn å rive deg løs fra en integrert stakk to år senere.

Vanlige feil når SMB-er velger AI-maskinvare

De fleste tabbene i AI-maskinvare er ikke tekniske, de er økonomiske og strategiske. Her er de tre vi ser oftest, og hvordan du unngår dem. Alle tre kommer av å ta beslutningen på magefølelse i stedet for på egne tall.

Å kjøpe kapasitet du ikke bruker

Hypen rundt AI-brikker er intens: PHLX Semiconductor-indeksen steg 70 % i 2026, og oppstartsselskaper hentet over 2 milliarder dollar på 75 selskaper i første kvartal 2025 alene. Presset til å kjøpe stort er reelt.

Feilen er å dimensjonere for en fremtidig last du ikke har ennå. En SMB som kjøper toppmaskinvare for en pilot ender ofte med dyr, ledig kapasitet. Start med sky, mål reell last, og skaler når tallene rettferdiggjør det.

Å måle på feil metrikk

Mange sammenligner brikker på ren toppytelse, som FLOPS, i stedet for på kostnad per faktisk forespørsel i sin egen drift. Toppytelse selger, men det er kroner per inferens i produksjon som treffer regnskapet. Å hente ut riktige tall fra egen drift er en øvelse i seg selv, som vi har skrevet om i AI-drevet analyse: fra data til innsikt på sekunder. En brikke som er raskest på papiret kan være dyrest i praksis for din last.

Mål det som betyr noe for deg: latens under din terskel, gjennomstrømning ved din toppbelastning, og total kostnad inkludert energi og drift. Alt annet er markedsføringstall.

Å undervurdere byttekostnaden

Den dyreste feilen er å låse seg uten å vite det. Når racket blir produktenheten og økosystemet er dypt integrert, blir det å bytte senere en stor prosjektkostnad, ikke en enkel konfigurasjonsendring.

Motgiften er å bygge inn valgfrihet fra start. Et brikkeuavhengig inferenslag, eller bare et krav om åpne modeller og standardformater, holder døren åpen. Alura mener SMB-er bør teste brikkeuavhengige inferensverktøy før de binder seg til en maskinvareleverandør, nettopp fordi byttekostnaden er lettest å unngå før den oppstår.

Ofte stilte spørsmål om brikkeuavhengig inferens

Kort svar på spørsmålene vi får oftest fra ledere som vurderer et NVIDIA-alternativ.

Må vi forlate NVIDIA for å spare penger?

Nei. For de fleste norske SMB-er handler gevinsten mer om lavere kostnad og fleksibilitet enn om å forlate NVIDIA helt, som Alura ser det. Poenget med brikkeuavhengig inferens er å ha et reelt alternativ, ikke nødvendigvis å bruke det. Selv om du blir på NVIDIA, styrker alternativet forhandlingsposisjonen din.

Er ZML/LLMD klart for produksjon?

Det må du verifisere selv. LLMD er gratis og nylig lansert av et team på 20 personer med 20 millioner dollar i finansiering. Det er lav terskel for en pilot, men driftsmodenhet, støtte og leverandørens levetid er ting du må sjekke før produksjon, ikke anta.

Hvilke brikker støtter LLMD?

Ifølge TechCrunch kjører LLMD på Nvidia, AMD, Google TPU, Apple Metal og Intel Arc. Det dekker de fleste vanlige oppsett, men du må bekrefte at akkurat dine modeller og formater fungerer korrekt på den maskinvaren du planlegger å bruke.

Gjelder dette oss hvis vi bare bruker et AI-API?

Da er brikkevalget leverandørens problem, ikke ditt, i første omgang. Brikkeuavhengig inferens er mest relevant hvis du kjører åpne modeller i eget miljø eller på egen maskinvare. Bruker du et lukket API, bør du heller optimalisere forbruket og følge med på hvordan leverandørens priser utvikler seg.

Hvor stor blir egentlig konkurransen til NVIDIA?

Betydelig, men gradvis. NVIDIA har fortsatt rundt 81 % markedsandel, mens Google, AMD, Broadcom og en rekke oppstartsselskaper bygger seg opp. Future Markets Inc. analyserer over 140 selskaper i markedet. Konkurransen er reell nok til å gi deg valgmuligheter, men NVIDIA er ikke i ferd med å miste ledelsen med det første.

Oppsummering og veien videre

Brikkeuavhengig inferens er ikke en snarvei til å kutte NVIDIA, men en måte å gjøre maskinvare til en pris- og fleksibilitetsbeslutning i stedet for en lock-in-beslutning. Verktøy som ZML/LLMD viser retningen, i et marked der NVIDIA fortsatt har rundt 81 % andel, men der Google, AMD, Broadcom og oppstartsselskaper bygger reelle alternativer.

Det viktigste å ta med seg

Tre ting. Inferens, ikke trening, er der SMB-kostnaden ligger, og der uavhengighet gir mening. Gevinsten for de fleste norske SMB-er handler mer om lavere kostnad og fleksibilitet enn om å forlate NVIDIA. Og valgfrihet er billigst å sikre før du kjøper, ikke etter at du har låst deg til en integrert stakk.

Alura mener leverandøruavhengighet er verdifullt, men at kompatibilitet og ytelse må verifiseres på egen arbeidsbelastning før produksjon. Det er den delen ingen markedsrapport kan gjøre for deg.

Neste steg på mandag

Start med kartleggingen: hva kjører du, hvor mye koster det, og hvor eksponert er du mot brikkevalg? Kjør deretter en skyggetest av et brikkeuavhengig inferenslag på reell trafikk, og regn på totalkostnad, ikke listepris. Er du tidlig i AI-løpet, som de fleste EU-bedriftene som først tok i bruk AI i 2024, er dette det rette tidspunktet å bygge inn fleksibilitet før beslutningene blir dyre å reversere.

I Alura bygger vi AI-infrastruktur for norske virksomheter, fra dataplattformer til agentiske systemer i produksjon. Vi er ikke en SaaS-leverandør. Vi er håndverkere som setter sammen byggesteinene som faktisk fungerer for din situasjon.

Bestill en arkitektur-samtale: vi går gjennom din nåværende infrastruktur, identifiserer integrasjonspunkter, og foreslår en pragmatisk vei videre. Uforpliktende, 45 minutter.