Vi går over til selvhostet AI

I de seneste to år har Herodesk’s AI-funktioner været baseret på OpenAI’s modeller. Oversættelse, klassificering og til sidst AI agenterne, der besvarer kundespørgsmål og udfører handlinger i din webshop: alt dette blev håndteret ved at sende forespørgsler til OpenAI’s servere i USA og afvente et svar.

Sådan fungerer det ikke længere.

Fra og med slutningen af maj kører alle AI-forespørgsler i Herodesk på vores egne servere ved hjælp af open source-modeller, som vi selv hoster og administrerer i Danmark og Tyskland. Ingen OpenAI. Ingen tredjeparts-AI-udbyder, der sidder mellem dine kundedata og din support-indbakke.

Dine data forbliver præcis der, hvor du tror, de er

Hvis du nogensinde har skullet udfylde et sikkerhedsspørgeskema for leverandører, ved du, hvordan det foregår: Hver eneste underdatabehandler bliver opført på listen, og hver eneste underdatabehandler bliver nøje gransket. For et stigende antal af vores kunder var det en dealbreaker, at en amerikansk AI-udbyder overhovedet var med på listen, selv med anonymiserede data og en streng politik om ingen træning fra OpenAI’s side.

Det er nu fortid. Hver eneste AI-forespørgsel, der vedrører en ordre, en kundebesked eller jeres produktkatalog, behandles udelukkende på vores egen infrastruktur, der er hostet i Danmark og Tyskland. Intet forlader EU. Intet går gennem en tredjepart. Hvis jeres virksomhed tager overholdelse af GDPR alvorligt, fjerner dette endnu en ting, I behøver at bekymre jer om, når I vælger Herodesk.

Lavere omkostninger, uden at de videregives til dig

Brugen af AI i Herodesk er steget hurtigt, især siden vi lancerede de autonome AI agenter i oktober sidste år. Flere kunder, flere samtaler, mere komplekse forespørgsler: alt sammen faktureret pr. token af OpenAI. Den omkostningskurve begyndte at se bekymrende ud.

Når vi kører vores egne modeller på lejet GPU-infrastruktur, ændrer det regnestykket. I stedet for en variabel, stadigt stigende regning fra en amerikansk udbyder har vi direkte kontrol over omkostningerne. Det er ikke en detalje, vi nævner for at lyde imponerende. Det er grunden til, at vi kan tilbyde vores AI agenter til en meget konkurrencedygtig pris.

Der er ikke sket nogen ændringer hos dig

At skifte AI-udbyder medfører normalt nedetid, omkonfigurering eller en vanskelig overgangsperiode. Her var det ikke tilfældet.

De værktøjer, vi bruger til at køre vores egne modeller, taler samme sprog som OpenAI’s API, så set fra Herodesk’s synspunkt var det en ren udskiftning. Jeres AI agenter fortsatte med at fungere nøjagtigt som før, på de samme kanaler, på de samme sprog og med de samme svartider. Hvis du ikke havde læst dette indlæg, ville du slet ikke have bemærket, at noget var ændret.

Et hurtigt kig under motorhjelmen

Uden at gå for meget i detaljer: Vi lejer NVIDIA-GPU’er fra et datacenter i Danmark, som er sikkert forbundet til vores servere i Tyskland, og kører selv open source-sprogmodeller på dem. Forskellige modeller varetager forskellige opgaver: de mindre til enkle opgaver som oversættelse, de større til de mere komplekse ræsonnementer, som vores AI agenter skal udføre. Det kræver mere arbejde at køre dem end blot at kalde en API, men det er arbejde, vi er rustet til at udføre godt, og det er fuldt ud under vores kontrol.

Hvorfor dette er vigtigt fremover

Herodesk har altid kørt på infrastruktur, som vi selv styrer. Vores servere står hos Hetzner i Tyskland (ikke hos AWS, Azure eller Google Cloud), og det er et bevidst valg, ikke en genvej. At flytte vores AI-stack over til samme model er blot en udvidelse af det samme princip til den del af produktet, der vokser hurtigst.

For dig betyder det en supportplatform, hvor dine kundedata forbliver i EU, dine omkostninger forbliver forudsigelige, og de AI-funktioner, du stoler på, bliver stadig bedre, uden at en tredjepart blander sig.