Offline AI als kans voor bedrijven van elke omvang

Een offline-AIbiedt vaak betere resultaten dan de beste AI-modellen, volledige controle over gegevens en is in veel gevallen aanzienlijk goedkoper dan oplossingen met ChatGPT of Microsoft Azure. Wat is een offline-AIen welke kansen biedt ze?

De toekomst van kunstmatige intelligentie

In dit artikel wordt een mogelijkheid beschreven voor bedrijven om met hun eigen AI-systeem goede resultaten te behalen en bovendien de volledige controle over hun eigen gegevens te hebben. Zelfs bij intensieve gebruik van deze ondernemings-AIblijven de kosten laag.

Deze vorm van AI wordt hier Offline-AI genoemd.

Voordelen van offline-gebaseerde kunstmatige intelligentie

Prestatievermogen

Een Offline-AI onderscheidt zich door haar prestaties. Ze kan grote hoeveelheden gegevens verwerken en analyseren, om daarmee waardevolle inzichten te behalen. Hierdoor kunnen bedrijven betere beslissingen nemen en processen optimaliseren. Door de Kombinatie met conventionele methodes kan de AI ook komplexe taken oplossen en prognoses doen. Vooral complexe problemstellingen kunnen door toevoeging van procedures van het Machine Learning worden opgelost.

Voorbeeld:

Een bedrijf neemt deel aan Tenders en heeft een reeks gegevens verzameld uit eerdere Tenders. Voor de volgende tender wil het bedrijf nu weten, welke offer price met een goede kans zal leiden tot toekenning van de opdracht.

Dit soort problemen kunnen beter worden opgelost met offline-AIdan met algemene intelligentie zoals ChatGPT. De redenen hiervoor zijn vooral:

• Specifieke opdracht, die niet universeel kan worden opgelost (en als dat ooit wel gebeurt, dan zijn de mensen niet meer de intelligentste vorm van leven op deze aarde).
• Vorm van teksten en begrippen die specifiek zijn voor uw bedrijf en branche.
• Een grote hoeveelheid data die naar de AI moet stromen. Hierdoor rijst bij cloud-diensten als Microsoft Azure of de ChatGPT-API de vraag naar de kosten.
• Misschien: behoefte aan geheimhouding van uw gegevens of vertrouwelijkheid van uw gegevens.

Rule of thumb: De hoge prestatie van Offline-AI doet het vooral goed bij toepassingsgevallen die niet zo triviaal lijken als het invoeren van een tekst of minder teksten in een chatbox.

Gegevenscontrole

Een offline-AIbeschermt de gegevens die u toebehoren. Dat kunnen patentindieningen of bedrijfsgeheimen zijn. Vaak is ook vertrouwelijkheid voor bepaalde gegevens contractueel vastgelegd. Deze gegevens zouden beter niet bij Amerikaanse bedrijven terecht moeten komen (Cloud Act, EO 12333, FISA 702). Sommige klanten willen niet dat hun gegevens die aan u worden verstrekt, bij derden als Google, Microsoft, Meta of OpenAI belanden. Alle deze bedrijven gebruiken gebruikersgegevens voor het trainen van hun eigen AI.

Een Offline-AI houdt de data bij u. Da komt ook de naam van deze AI: ze is in principe zonder internetverbinding draaiende. Dat betekent dat alle datastromen volledig controleerbaar zijn. U beslist welke data waarheen stromen. Logischerwijs heeft het AI-systeem toegang tot het internet, als nodig. Bijvoorbeeld wanneer video's voor de AI automatisch gedownload moeten worden of wanneer de AI internetzoekingen moet uitvoeren.

Veel juridische vragen worden opgelost. Overeenkomsten voor de verwerking van opdrachten met Amerikaanse bedrijven hoeven niet meer afgesloten en niet meer juridisch beoordeeld te worden. Opt-outs wegens het gebruik van invoerdata door de AI-leverancier vervallen.

Weil een offline-AIniet afhankelijk is van inhoud die eerder is ingelezen, kunnen problemen met auteursrecht of DSGVO worden voorkomen. Een generatieve AI zoals ChatGPT, die niet "gated" is, is bijna een garantie voor auteursrechtschendingen.

Gunstige kosten

Een bedrijfseigene offline-AIis niet alleen prestatievermogen en veilig, maar ook kostenefficiënt. Eénmaal ingesteld, maakt het uit of uw AI-systeem slechts 3 uur per week of 24 uur per dag en elk dag van het jaar met volle last draait.

Wie je ooit de kosten voor cloud-platforms zoals Azure hebt bekeken, vindt je misschien dit kostenaspect heel aantrekkelijk.

Try Offline-AI now

Optimizable and with full data control. Economical even in continuous operation.
Fully-controlled data center, no third-parties.

Try now

Al snel rijzen vragen over de kosten op wanneer je gebruik maakt van de ChatGPT-API, hoewel deze als goedkope optie wordt beschreven. Omdat een AI iets onzeker is, is het niet duidelijk hoe vaak en met welke gegevens de AI moet worden aangeroepen om een gewenst resultaat te bereiken. Daardoor speelt het geen rol of 100 aanroepingen 1 euro of 10 euro kosten. Alleen al de onzekerheid over de kosten is een belemmering.

Als een systeem veel gegevens moet verwerken, zoals de documenten van uw bedrijf of alle hessische wetten, wordt ook het frequente gebruik van een zeer gunstige API snel duur en onvoorspelbaar.

Uit het kostenaspect volgt ook de volgende voordelen van een offline-AIvoor bedrijven.

Innovatiekracht

Innovatie is een proces. Een goed proces loopt zo mogelijk voortdurend en altijd, wanneer nodig.

Een 24/7 bedrijf is de perfecte voorwaarde voor innovatie. 24/7 betekent dat het bedrijfs- AI altijd en in volle omvang beschikbaar is en het beste permanent werkt.

Technisch kunnen alle cloud-diensten permanent worden gebruikt. De kosten hiervoor zijn echter vaak onredelijk hoog en vaak onvoorspelbaar. Naast uw geld leveren u ook uw gegevens af bij de cloud-aanbieder, die zich daar zelfs niet voor bedankt.

Een offline-ki kost altijd even weinig, hoe vaak ze ook wordt gebruikt. De kosten liggen voornamelijk op:

• Beschaffing hardware: Ofwel huur of koop (eigen datacenter of co-locatie, dus eigen servers in een extern datacenter inzetten). Een professionele AI-server is al voor 5000 euro beschikbaar. Bij de huur ontstaan kosten van minder dan 1000 euro per maand. Voor enkele AI-toepassingsgevallen zijn de kosten voor de servershuur zelfs verwaarloosbaar.
• Instellingen systeem: Deze eenmalige kosten zijn afhankelijk van uw specifieke situatie. Ze zijn beperkt. Als u een volledig geïntegreerde AI-server huurt, zijn de kosten nog lager.
• Programmeren AI: Afhankelijk van uw toepassingsgeval. Oftewel zeer efficiënt mogelijk. Zie het volgende voorbeeld: De auteur van dit artikel werd voor een 3sat-documentaire geïnterviewd. Voor de documentaire werd door de auteur binnen enkele uren een AI-systeem geprogrammeerd, dat inbrekers in beveiligingscamera's kan herkennen en markeren. Zie 3sat-documentarie vanaf minuut 33:16.

Enkele voorbeelden van innovatieve plannen die met een offline-AImogelijk zijn:

• Documenten zoeken: Documenten kunnen ook supporttickets of e-mails van klanten zijn. Zoek de beste passende documenten voor uw zoekopdracht. De zoekopdracht kan ook in de vorm van een natuurlijk gesproken vraag worden gesteld.
• Wereldwijde kennis vinden en evalueren: Via een achtergrondproces wordt het internet na uw zoekopdracht doorzocht. Het doel is om meer treffers te krijgen dan relevant zouden zijn. In de volgende stap worden deze vaak 1000 treffers gegeven aan een Offline-AI. In een meervoudig proces, dat gemakkelijk programmeerbaar is, worden eerst de duidelijk irrelevanten treffers uitgesorteerd. Vervolgens wordt het crawlen van de overige treffers uitgevoerd. Er worden dus de volledige resultaten gelezen en weer gegeven aan de Offline-AI. Deze analyseert vervolgens de wereldwissen-teksten conform uw opdracht. Voorbeelden:
  • SEO-analyse
  • Adressen uitvoeren
  • Concurrentie analyseren
  • Huidige innovaties identificeren
  • Trends herkennen
  • Projecten vinden
• Vertaling in andere talen: Bovenaanstaande krijgt u een krachtige vertaler. Voor perfectie zouden we DEEPL o.a. aanbevelen. Als echter goede (!) resultaten voldoende zijn, dan krijgt u deze gratis en in onbeperkte hoeveelheid met een offline-AIcadeau. Denk aan handmatig of AI-gegenereerde werkresultaten die een collega in Spanje, Frankrijk of uit Oekraïne moet zien te begrijpen.
• Audiotranskription: Vertaalt taal uit video's of podcasts in tekst om. Werkt beter dan elke beschikbare AI-oplossing. De offline-AIgebruikt een eigen woordenboek. Ze kan automatisch onbeperkt veel video's of podcast-afleveringen downloaden en transkriberen. Prompt-tuning is niet nodig.
• Bilder genereren: In tegenstelling tot diensten als Midjourney of DALL-E kan uw offline-AIduizenden beelden genereren. Eigen stijlen en de automatische optimalisatie van uw afbeeldingsprompt zijn mogelijk. Zaken als auteursrechtencontrole zijn ook goed te integreren.
• Objecten herkennen: Ofwel wilt u op video's of op afbeeldingen bepaalde objecten herkennen. Het is ook mogelijk productiefouten in de productiefase te vinden. Hiervoor is eenmalig opleiden van uw offline-AImet de afbeeldingen van uw productiematerialen belangrijk. Hieruit zien u reeds dat dit met een cloud-oplossing moeilijk zal worden. Bovendien lijkt een specifieke optimalisatie zinvol en aanzienlijke kosten kan besparen.

De misschien belangrijkste aspect die boven alle concrete problemen ligt, is echter een ander.

Zelfverbetering door zelfkritiek van de AI

Met een offline-AIis zelfs een zelfverbetering van uw AI-systeem mogelijk.

Om dat te begrijpen moet je weten dat AI-systeem bijna even onbetrouwbaar zijn als de mens. Ook hoog intelligentie mensen zijn in veel kennisgebieden of levensgebieden dom. Neem Albert Einstein. Als hij nog zou leven en u dat dan zouden vragen, hoe men hout voor het buitenwerk het beste behandelt, zoudt u misschien geen goede antwoord krijgen.

Men moet er ook van uitgaan dat de antwoord van een AI-taalmodel bijvoorbeeld niet goed genoeg is. Het is voldoende als het antwoord van de AI halverwege goed is, mogelijk zelfs nog fout.

Neem bijvoorbeeld de Extraktion van kennis uit willekeurige teksten. Dergelijke teksten kunnen afkomstig zijn uit documenten uit uw bedrijf of organisatie, of op het internet te vinden zijn.

Bijzonder charmant is de kennisuiting uit het internet. Het databestand is oneindig. Alleen een interface naar een zoekmachine is nodig, en die bestaat er in eveneens kostenefficiënte vorm als de offline-AIzelf biedt.

Dit kan theoretisch permanent het internet afstruinen op interessante inhoud. Permanent kunnen deze inhouden dan met een offline-AIgeanalyseerd worden. De offline-AIcorrigeert hierbij permanent zelf uw eigen antwoorden, als nodig. Permanent kunnen de resultaten dan in andere talen vertaald worden.

Om dit te illustreren, hier een voorbeeld waaruit uit een document de Kernuitspraken moeten worden gehaald. De AI levert bijvoorbeeld een lijst met 5 kernuitspraken over een document (van het internet of van uw bedrijf). Een door de AI gehaald kernuitspraak over de Dr. DSGVO-blogartikel Cookies zijn geen tekstbestanden luidt:

"In het document wordt beschreven waarom cookies geen tekstbestanden zijn en dat cookies in feite datasets zijn.

Een versie van een kernuitgave die met een offline-ki uit het genoemde document is gehaald.

Deze antwoord is wel juist, maar kan niet zelfstandig gebruikt worden, omdat de antwoord verwijst naar het gelezen document. Wat we hier willen zijn zelfstandige kernuitspraken.

Dus zou de vraag aan de AI zijn: "Controleer of het volgende antwoord op zichzelf begrijpelijk is. Als het antwoord op zichzelf begrijpelijk is, antwoord met 'OK'. Als het antwoord niet op zichzelf begrijpelijk is, formuleer het antwoord zo dat het op zichzelf begrijpelijk is."

De offline-ki reageert dan met een omgevormde antwoord:

"Cookies zijn geen tekstbestanden. Cookies zijn gegevenssets."

1. Een versie van een kernuitgave die met een offline-ki uit het genoemde document is gehaald.

Deze kernuiting is correct afgehaald en zelfstandig begrijpbaar. Op dezelfde manier zou men antwoorden van een AI van dezelfde AI kunnen extraheren

• Op spellingfouten controleren en deze door de AI zelf corrigeren laten
• In een andere taal laten vertalen, (daar werkelijke resultaten, snel met dezelfde AI gegenereerd):
  • Cookies zijn geen tekstbestanden. Cookies zijn sets van gegevens._
  • Ukraïnsch: _Kuki zijn geen tekstbestanden. Kuki zijn datasets.
  • Ciasteczka zijn geen tekstbestanden. Ciasteczka zijn datasets._
  • Azerbeidjaans: Kukilər mətn faylları deyil. Kukilər məlumat dəstləridir. (DEEPL kent deze taal niet! Quer-Check vond met een ander AI-taalmodel plaats)
• In een eenvoudigere taal laten uitgeven
• Samenvatting laten maken
• In de stijl en lengte van een social media bericht
• …

Meerderlei blogartikelen kunnen gelezen en vervolgens een artikel gemaakt worden, alles tegen een kosten van 0 euro.

Veel antwoorden zou je met ChatGPT direct krijgen, voor welke de Offline-AI twee prompts nodig heeft. Het verschil is dat de Offline-AI zonder extra kosten nog 100 extra prompts per document toestaat, terwijl gebruiksvriendelijke platforms als die van OpenAI of Microsoft meer aanvragen in rekening brengen. Het tweede verschil is de gegevensbeveiliging. De Offline-AI werkt op uw server en geeft geen gegevens door aan derden, die daar blij mee zouden zijn en steeds machtiger worden.

Samenvatting van wat zelfverbetering betekent:

• Zijn bedrijfs- AI geeft antwoorden in real-time.
• Zijn bedrijfs- AI controleert zichzelf ("zelfkritiek")
• Zijn bedrijfs- AI verbetert zichzelf als nodig is ("zelfverbetering")

Op het hoogste niveau kan dit proces worden opgevoerd door Selbstverbetering van de AI zelf (dus niet alleen individuele antwoorden). Dit is nu al mogelijk, en dat zelfs op een AI-Laptop. Hiervoor wordt het resultaat, dat de AI heeft gegenereerd en verbeterd, als trainingsgegevens in dezelfde AI ingevoerd. De trainingsgegevens worden vervolgens gebruikt om een nieuwe versie van de AI te creëren. Dit wordt Finetuning genoemd. De nieuwe, verbeterde versie van de AI verbetert zich nu zelf weer verder. Het proces stopt wanneer er op basis van de beschikbare gegevens en de gestelde taak niets meer te verbeteren valt of het AI-model zijn grenzen heeft bereikt. De eerste situatie, de beschikbaarheid van de gegevens of de taakstelling, is de waarschijnlijkste reden voor het einde van de zelfverbeterbaarheid. Na "pefekt" komt "?".

Een andere enorme voordelen van Offline-AI: je kunt hele procesketens ermogelijken. Probeer eens om ChatGPT op te dragen, een hele website met 500 onderpagina's te lezen en vervolgens uit de gelezen inhoud alle relevante keywords, thema's en kernpunten te extraheren. Dit mislukt aldaar omdat OpenAI niet bereid is om voor uw bedrijf $20 per maand "het hele internet" in te scannen. Zelfs het gebruik van de ChatGPT-API voor 500 uitgebreider documenten (naarmate u ze zelf gelezen hebt) doet weinig plezier, omdat de kosten afhankelijk zijn van de intensiteit van het gebruik.

Conclusie

Een offline-AIbiedt oneindige mogelijkheden en kansen voor Duitse bedrijven. AI-spraakmodellen zijn inmiddels ook uitstekend beschikbaar voor de Duitse taal, met name kleine spraakmodellen die deze voordelen hebben.

Dit kunnen bedrijven in zeer kostenefficiënte en datavriendelijke manier eigen AI-systemen exploiteren. Deze AI-systemen zijn rendabel wanneer het niet alleen gaat om af en toe een prompt in een chatbox te typen. De prestaties van een eigen AI zijn vaak veel beter dan die van de beste algemene AI-systemen ter wereld.

Offline-AI is dan interessant als het om veel gegevens of documenten gaat, als het om intensieve gebruik gaat, als het om volledige controle over de gegevens gaat, als het om het inlezen van kennis uit het internet gaat of (!) wanneer uw specifieke toepassingsgeval zo goed mogelijk met AI kan worden opgelost

Reeds gerealiseerde showcases voor offline-AI(uitzondering):

• Wetsteksten samenvatting en vereenvoudigen
• Afbeeldingen maken (op AI-laptop)
• Communicatie intelligenter maken
• Vraag-antwoord-systeem met betrouwbare antwoorden

Kortom, is een Offline-AI voor uw bedrijf interessant als u een duidelijke problemstelling hebt. Vraag gerust naar meer informatie over de haalbaarheid voor uw specifieke probleemstelling.