Probleemoplossers in noodtoestand: Hoe offline- AI hun uitdagingen krachtig maakt

De voordelen van een geoptimaliseerde kunstmatige intelligentie voor bedrijven en de overheid kunnen zelfs op een laptop offline worden getoond. Deze Offline-AI presteert voor veel toepassingsgevallen beter dan elke universele intelligentie zoals ChatGPT. Ze biedt volledige controle over gegevens en loopt ook in continu gebruik zeer kostenefficiënt.

Inleiding

Dit artikel is een praktisch bewijs voor de mogelijkheden van Offline-AI. Maar eerst even een korte inleiding in Offline-AI. Het what al een jaar mogelijk, maar pas sinds kort zo krachtig dat het ook voor de Duitse taal werkt.

Offline-AI is een lokaal op eigen computer of server draaiende AI. Offline betekent dat het AI-systeem volledig zonder internetverbinding uitkomt. Hieruit volgt dat geen enkele gegevens naar derden worden gestuurd. De volgende voordelen biedt een offline-AIin het bijzonder:

• Ondernemingen en instanties krijgen een Probleemoplosser voor hun applicatiefallen.
• Elke keer kunnen nieuwe AI-taalmodellen, Stable Diffusion-beeldmodellen, audiomodellen, videomodellen geïnstalleerd en gebruikt worden.
• Zelfs de duurzame exploitatie is kostenefficiënt mogelijk. Goodbye Microsoft Azure. Goodbye beveiligingslekken.
• Een zelfverbeterende AI, die zichzelf kan bekritiseren, is praktisch mogelijk.
• Rechtelijk eenvoudig: Opdrachtafhandelsovereenkomsten worden onnodig; het twijfelachtige Opt-Out in plaats van een toestemmingsvraag die ChatGPT biedt, heeft geen juridische gevolgen meer. Niemand hoeft nog te schrikken als weer een toezichthouder ChatGPT verbiedt.

Voor de volledigheid moet er genoemd worden dat de programmeertaalinterface (API) van ChatGPT soms zijn zin heeft gehad. Deze situatie treedt echter steeds vaker niet meer op dankzij de open-source taalmappen die elke week krachtiger worden. Vooraf: Met een API kan heel veel gedaan worden. Om dit te illustreren: Uit uw Richtlijn-prompt vormt een LLM een Beschrijving van het programma van een beeldcompositie, die vervolgens door een Model voor beeldgeneratie wordt omgezet in een afbeelding. Hier een voorbeelduitvoer:

Voor Duits als taal zijn er vaak betere spraakmodellen dan ChatGPT. Het zijn modellen die kwalitatief beter of goedkoper zijn. Interessenten zouden Claude, Command R+ en Mistral moeten bekijken. Offline-AI is echter leuker en geschikt voor concrete problemen.

Wanneer offline-Intelligentie en wanneer een algemene chatbot?

Wie hoog de derde hoogste berg ter wereld is, kan je gewoon met ChatGPT zoeken. Ook het gelegenheden en samenvatten van openbare teksten voor semi-professionele doeleinden is een goed toepassingsgeval voor algemene chatbots. Deze chatbots zijn ook beschikbaar voor een onbedreigende praat.

Een chatbot gebruiken als zoekmachine, is een aanpak die kennelijk veel mensen goedkeurt. Wie een bijzonder krachtige zoekmachine wil hebben, doet er beter aan offline-AIte gebruiken. OpenAI zal zeker niet voor u een bepaalde website met 5000 onderpagina's lezen en evalueren.

Een hooge betrouwbaarheid van resultaten is niet alleen wenselijk, maar in het professionele domein altijd belangrijk. Wie deze betrouwbaarheid nodig heeft, moet een offline-AIhebben met mechanismen voor kwaliteitsborging.

Verstandige gegevens, bedrijfsgeheimen of persoonlijke informatie zou niemand in een derde systeem van Amerikaanse aanbieders moeten invoeren. Eerstelijk staan Amerikaanse wetten als de Cloud Act, FISA 702 of de Executive Order 12333 Amerikaanse autoriteiten en geheime diensten toe om toegang te krijgen tot deze gegevens. Tweedens komen bijna regelmatig beveiligingslekken in populaire chatbots en systemen van Microsoft (meerderheidsparticipatie aan ChatGPT!) naar boven. Derdewijze moeten juridische beoordelingen en regelingen worden getroffen, wat alleen op papier plaatsvindt en veel moeite kost.

Met intelligente AI-oplossingen kunnen bedrijven en overheden uitdagingen overwinnen.

Sneller, beter en lichter dan ooit.

Een offline-ki kan permanent draaien. Waarom, vragen zich sommigen af. Waarom studeren mensen 5 jaar lang? Om beter te worden. Precies dat kan een offline-ki. Alleen duurt deze zelfverbetering niet jaren, maar vaak seconden of enkele uren.

Wat is mogelijk met Offline-AI?

Offline-AI kan heel veel. Soms zelfs meer dan ChatGPT. Het komt erop aan welk gebruik je ervan maakt. Jouw data, jouw gebruik. Zelfs als je geen eigen data hebt, is Offline-AI meestal beter.

In de vorige paragraaf is al een voorbeeld gegeven: het ophalen van informatie uit het internet. Ook het zoeken naar informatie op het internet met daarnaast een evaluatie is een zeer goede toepassing voor een Offline-AI. Bijvoorbeeld, kunnen dagelijks de actuele nieuwsberichten worden opgeroepen en automatisch worden geëvalueerd met de eigen AI van het bedrijf.

Or hoe zou het zijn met een marktanalyse of concurrentiebeobachtung? Gaat heel slecht vanuit huis uit met algemene chatbots, omdat de gegevens eerst moeten worden verkregen. Deze gegevensverkrijging is gemakkelijk automatiserbaar. Wie deze kleine stap zet, is eruit van het innovatievijandelijke comfort. Als beloning zijn er maximale onafhankelijkheid, volledige controle en vooral betere resultaten!

Forbeelden van de toepassing van kunstmatige intelligentie in de bestuurlijke sector:

Burgers (of klanten) willen iets aanvragen. De zoektocht naar het juiste formulier of informatiemerk kan met AI optimaal worden ondersteund. AI wordt hier voor de semantische zoektocht gebruikt. Medewerkers van de overheid worden zo ontlast en kunnen productiever werken.

Als een flyer te complex is, kan AI het in eenvoudiger taal samenstellen.

Als een formulier of aanvraag alleen in het Duits of Engels beschikbaar is en de burger alleen Oekraïens spreekt, kan het document met AI vertaald worden.

Soortgelijke aanvragen en formulieren die bij een gevonden aanvraag of formulier zijn gekomen, kunnen met AI worden gevonden. Ook wetten, interne voorschriften en uitspraken over een procedure kunnen op deze manier worden gevonden. Medewerkers van de afdeling worden zo goed mogelijk ondersteund.

Analoog mogelijk voor het verwerken van schadeverklaringen, klantvragen of supporttickets.

In de vorige bijdrage zijn nog eens goede scenario's voor offline-KI genoemd.

Bewijzen voor offline- AI

Op het Mainzer Digitalkongres MADKON24 konden deelnemers aan mijn workshop live meemaken hoe Offline-AI-resultaten werden geproduceerd. Dit vond plaats op mijn laptop op locatie en zonder internetverbinding.

Het beeld laat indrukken van het MADKON24 zien. Een verslag over lezingen en workshops, waaronder het mijne, heeft Peter Winninger in zijn blog KOBLENZ DIGITAL gepubliceerd.

Op het laptop werd vooral getoond:

• Afbeeldingengenerator: Tekst-ingang (prompt) geeft afbeeldingsuitvoer
• image generator 2: Het invoerbeeld fungeert als voorbeeld voor de beeldstructuur. Uit deze voorbeeld en een prompt ontstaat een nieuw beeld.
• Promptoptimalisatie: De prompt voor het genereren van beelden werd automatisch met offline-AIgeoptimaliseerd. Vervolgens werd de geoptimaliseerde prompt in de beeldgenerator ingevoerd. Het nieuwe beeld what aantrekkelijker.
• Promptvarianten: Bij het prompt is automatisch een offline-AIvariant gemaakt:
  • Algemene varianten, die vergelijkbaar zijn met het oorspronkelijke exemplaar
  • Varianten, die heel erg lijken op het oorspronkelijke exemplaar
• De automatisch geoptimaliseerde prompt en de automatisch gegenereerde varianten werden
  • Vertaald naar
    • Engels
    • Spaans
    • Oekraïens
• Uitgebreid uitgedrukt, en wel
  • In juridische taal,
  • In piratenjargon,
  • In de taal waar een vijfjarige begrijpt
• Om een grapje te maken werd nog een sprookje uit het geoptimaliseerde prompt gemaakt, en dat in twee varianten

Het hele proces liep tijdens het workshopje zo'n twaalf keer door, iedere keer met een andere ingang en iedere keer met veel nieuwe en goede resultaten.

Zur bovenvermelde promptoptimalisatie: Deze Zelfverbetering van de AI is mogelijk door de AI haar eigen uitgaven weer als invoer te geven. Wat ook heel goed werkt, is de kunstmatige generatie van trainingsgegevens door de AI, waarmee dezelfde AI dan wordt geschoold. Dat is zo, alsof een mens zichzelf zijn opleidingsmateriaal opschrijft en daardoor beter wordt.

Een voorbeeld van de uitvoer van de hier bedoelde afbeeldingengenerator:

Een vergroting van dit al niet zo kleine beeld is met AI-rekenkundige berekeningen mogelijk. Hiermee kan de vier keer grotere grootte worden gemaakt, zonder spoorbare kwaliteitsverlies.

De bovenstaande afbeeldingsgenerator 2 kreeg nu deze afbeelding als invoer en moest hieruit een rare wetenschapper maken; met behoud van de afbeeldingsstructuur. Hier is het resultaat uit Mainz:

Varianten met een aardmannetje, tijger, vaak onpopulaire politici uit de VS, Commander Data, een prominent dame en nog veel meer werden berekend. Alles op het laptop in korte tijd. In totaal werden in een kort gedeelte van de tijd van het tweeuur durende workshop ongeveer 100 afbeeldingen gegenereerd. Als voorbeeld werd een BIldgenerator getoond, die een bepaalde stijl what aangeleerd. Zo kunnen bijvoorbeeld voor elk tekstprompt afbeeldingen in de stijl van IKEA-instructies gegenereerd worden.

Als men de Aantal van de met Offline-AI in het workshop gegenereerde tekstuitgaven zou tellen, zou men op een aantal duizend teksten komen. Dit waren geoptimaliseerde tekst-prompts, vertalingen, taalvereenvoudigingen en nog veel meer. Bijvoorbeeld werden uit nieuwsberichten de keywords gehaald. Eveneens werden treffers uit zoekmachines met Offline-AI geklasseerd. Zo konden artikelen over kennis van reclameboodschappen onderscheiden worden. Ook het ophalen van treffers uit een populaire zoekmachine (anders dan Google) kan geautomatiseerd plaatsvinden.

De bijna ondenkbare mogelijkheden van een Offline-AI:

Een invoer, dan een AI-loop. De AI generieert zelf nog meer invoer en produceert zo steeds meer en betere resultaten. Worden er te veel resultaten, kunnen deze met dezelfde AI beoordeeld en gefilterd worden.

Nu mogelijk, zelfs op een laptop. Geen wens, maar realiteit.

Aanwezig was ook Michael Westphal van TV1. Hij heeft mijn workshop (zonder mijn medeweten) als audio opgenomen. Daarna leverde hij me het transkript, met offline-KI. Hoewel hij alleen een goed mobiel-microfoon gebruikte, waren er veel mensen in de ruimte, de ruimte was groot en meerdere mensen spraken, was het resultaat zeer goed. Een na de workshop opgenomen interview van hem en mij zal spoedig worden gepubliceerd. Ook in het video komt KI in gebruik voor de transkriptie en ondertiteling.

Het audiotranskript (voor taal in een lengte van twee uur) heb ik met de Offline-AI achtervolgd om het samenvatten te laten doen. Daarna werd de samenvatting taalsgewijs vereenvoudigd en kernpunten uitgehaald.

De Kernopstellingen van mijn AI-workshop op het Digitalkongres in Mainz zijn:

• De AI werkt zo als het menselijke brein: De intelligente functie van de mens is ontcijferd.
• Nvidia is de momenteel enige praktisch beschikbare leverancier van AI-geografische kaarten.
• Open-source AI-modellen zijn scherp.
• Toepassingen die vroeger helemaal niet of pas na maanden of jaren konden worden geprogrammeerd, kunnen nu in een kort tijdsbestek ontwikkeld worden dankzij AI.
• AI stelt gelijkmatig verschillende problemen oplosbaar. Dat verkort de complexiteit en de inspanning aanzienlijk.
• AI kan gelijkmatig worden toegepast op verschillende soorten gegevens. Gegeentypen zijn tekst, afbeeldingen, audio-signalen, sensorwaarden, video's e.d.
• AI-toepassingen hebben data nodig om waardevolle resultaten te leveren.
• De oorsprong van deze gegevens kan zijn:
  • Historische gegevens, zoals aanbestedingsdata uit afgesloten oproepen voor zaken
  • Gegevens uit het internet (via geautomatiseerde zoekopdracht)
  • Gevulde gegevens (offline- AI gebruiken)
  • Door de mens zelf gegenereerde gegevens.
• Betrouwbare antwoorden kan alleen een AI geven die wordt geleid. Dit leiden kan worden geautomatiseerd.
• Algemene AI-systeem zoals ChatGPT zijn kwalitatief slechter (en in de middellange termijn meestal veel duurder) dan specifieke systemen.
• Enkel de combinatie van kunstmatige intelligentie en klassieke programmeertaal biedt het beste resultaat.
• Innovatie ontstaat door het verlaten van comfort en het loslaten van afhankelijkheden.

De beste oplossing is vandaag de dag nog maar een kleine stap verwijderd.

Offline-Intelligentie wordt aan beelden verklaard

Het bijdragsbeeld helemaal bovenaan is gegenereerd met een offline-ki. Het is in de volgende collectie van drie beelden helemaal links te zien:

Het eerste (linker) beeld werd door een offline-ki gegenereerd op basis van een handmatige instructie. Het tweede beeld werd gegenereerd door een offline-ki die de taak had om het licht aan te passen en meer details toe te voegen aan het beeld. Het derde (rechter) beeld werd gegenereerd door een offline-ki beeldgenerator. De instructie what hier:

• Invoerbeeld (voorheen AI-gegenereerd, maar elk ander beeld is ook mogelijk)
• Vergoe: Füge een paar heel kleine robots toe, die om de gloeilamp dansen.

Het is ook mogelijk om de AI zelf te vragen welke andere prompts goed zouden zijn. Je moet natuurlijk wel een bepaalde voorwaarde stellen. Bijvoorbeeld: Ik wil dat het beeld meer details bevat/interessanter uitziet/aan kuchen doet denken..

Afhankelijk van de offline-bildgenerator die je gebruikt, kun je zelfs met de generator chatten. Eerst laat je een beeld genereren. Vervolgens zeg je: Ersetze den Mann durch eine Frau. Ook deze proces zou je kunnen automatiseren door middel van een AI-kritiker. Uiteindelijk ontstaan er x beelden. Deze kun je zelf sitten of laat ze filteren door een AI. De AI kan leren welke beelden jou bevallen. Hiervoor markeer je simpelweg per beeld of het jou goed of niet zo goed bevalt. De AI leert dan aan de hand van minder voorbeelden wat jij wilt hebben.

De prompt die tot het bijdragebeeld leidde, werd door een AI op de volgende manier geoptimaliseerd:

• Original: problem solver system, intelligent, connections, bright colors
• AI-Version: Vibrant problem-solving AI, illuminating connections with radiant hues.

Naar aanleiding hiervan werd met de AI-versie van het prompt een beeld gegenereerd:

Nu werd de lokale offline-ki geïnstrueerd om een futuristische dinosauriër toe te voegen:

Zoals te zien is, zijn er 3 varianten gegenereerd. We hadden ook 1.000 of 100.000 varianten kunnen genereren. Het kostte niets. Dank een offline beeld-kritiek-AIkunnen dan de beste 10 beelden worden gefilterd. De mens kan ze zich dan aan zien en snel het beste beeld vinden.

Conclusie

De voordelen van AI bieden zich voor bedrijven en overheden vooral met een offline-AI.

De kwaliteit is voor veel problemen simpelweg beter. Dit wordt bereikt door conventionele aanvullende programmering, die maar weinig moeite kost. Plastisch klein voorbeeld: Hoeveel letters een woord heeft, kan zo het beste worden bepaald, terwijl ChatGPT faalt.

De Volledige gegevenscontrole is nog een belangrijk aspect. Laat de advocaat van uw keuze andere dingen doen dan mooi praten over wat niet mooi is: ChatGPT is onzeker, Microsoft is onzeker (bewijzen in dit blog en verder).

Strategische betekenis van Offline-AI is het meest belangrijk. Het kan zichzelf verbeteren en zelf kritiseren. Alles wat praktisch alleen mogelijk is, omdat geen gebruikgebonden tarieven aanvallen. Zelf organisaties met een groot budget willen graag eerst weten hoeveel „het“ zal kosten. Dat weet echter niemand vooraf, als een hersenen (AI) wordt bevraagd. Klaar is dat de zeer veel voorkomende oproep van een kostenverplichte AI-schakelaar, het beste nog met omvangrijke documenten, snel duur zal worden.

Innovatie ontstaat door obstakels te verwijderen. Precies dat is met Offline-AI mogelijk. Aangezien de ontwikkeling razend gaat, is het een enorme voordeling dat nieuwe LLMs gewoon zo kunnen worden uitgewisseld. Open-source taalmodellen bijvoorbeeld zijn zó goed dat commerciële aanbieders zich heel warm moeten aankleden om niet te bevriezen.

Welke toepassingsgebieden hebben jullie in het bedrijf of de overheid of bestuur? Met plezier ontvangen ze een eerste beoordeling van de haalbaarheid.