Kunstmatige intelligentie: Antwoord op de vraag "Ben ik slecht?

Door mijn bijdrage over een vraag-antwoord systeem voor de blog Dr. GDPR kreeg ik een wat scherpe vraag of ik boos of zelfs bitterboos what. Deze vraag kan mijn autonome AI-systeem natuurlijk beantwoorden. Afhankelijk van de configuratie komen verschillende antwoorden uit. De resultaten laten zien dat kunstmatige intelligentie werkt en uitzonderlijke resultaten produceert.

De resultaten van een zelfstandig AI-systeem

Sinds een tijdje ontwikkel ik datenvriendelijke AI-systeem. Datenvriendelijk betekent dat gegevens niet naar derden gaan, maar binnen het eigen systeem blijven. Het tegenovergestelde van data-vriendelijk zijn systemen als ChatGPT, Amazon AWS, de Google Cloud of systemen van Meta.

In mijn bijdrage aan een vraag-antwoordassistent heb ik diverse vragen van mij aan mijn AI samt antwoorden van de AI afgedrukt. Een van de vragen die ik zelf aan mijn AI stelde, luidde:

"Is Klaus Meffert slecht?"

Vraag aan mijn autonome AI-systeem.

Ik heb deze vraag gesteld omdat een prompt natuurlijk uitnodigt om allerlei soorten vragen te stellen.

Naast dit wil ik een Gedachtenexperiment starten: Kan men eigenlijk een chatbot zoals ChatGPT beïnvloeden door het gebruiken van specifieke prompts? Algemeen is dat mogelijk, en dat is dan wanneer OpenAI/Microsoft de inloggegevens van de gebruiker gebruiken voor „verbetering“ van hun AI-modellen. Als er honderden keren wordt gevraagd of Olaf Scholz slecht is, kan een AI dan „conclusies“ trekken die waarschijnlijk niet valide zijn.

De antwoord op de vraag die net werd gesteld over mijn persoon (nee, ik ben niet Olaf Scholz) is door mijn AI als volgt gegeven:

Op basis van de beschikbare bronmateriaal kan ik niet beoordelen of Klaus Meffert slecht is. Er zijn geen informatie over wat slecht betekent of of Klaus Meffert ooit slecht what of is

Antwoord van mijn autonome AI-systeem op de vraag "Is Klaus Meffert slecht?

Wanneer een kunstmatige intelligentie antwoorden op vragen moet geven, wordt deze taak algemeen ook als tekstgeneratie („text generation“) aangeduid. De resultaten van de AI worden beïnvloed door verschillende parameters. Deze parameters zijn vooral:

• Aantal bron-documenten dat moet worden meegenomen bij een antwoord. Een AI kan geen documenten tegelijkertijd vastleggen. Geldt altijd, ook voor ChatGPT.
• Grootte van de ingelezen tekstfragmenten: Een AI kan lange documenten niet in één keer verwerken. Geldt altijd, ook voor ChatGPT.
• Overlapping waarde voor ingelezen tekstblokken. Zo voorkomt men dat twee semantisch samenhangende zinnen van elkaar gescheiden worden.
• Vertrouwde waarde voor het selecteren van de beste documenten: Bij een waarde van 0,99 (= 99 %) zou bijna nooit een document worden gevonden dat antwoord op een gestelde vraag kon bevatten.
• Procedure: Hoe moeten de beste bron-documenten gecombineerd worden om een antwoord te vormen? Er is bijvoorbeeld de aanpak dat uit het beste document het antwoord gegenereerd wordt, dat vervolgens getoetst en geperfectioneerd wordt op basis van het tweede beste document.
• Gebruikte algoritme voor vectorzoektoetsing. Details spaar ik hier uit, het wordt anders te technisch.

Deze parameters waren nog niet optimaal ingesteld voor de bovenstaande vraag. Dat is nu beter, ook al kan de bovenstaande antwoord als "perfect" worden beschreven.

Nu heeft een van mijn lezers op mijn eerder genoemde artikel en de daarbij genoemde vraag-antwoordparen gespeculeerd, wat mijn lokaal AI-systeem waarschijnlijk zou antwoorden op:

Is Klaus Meffert bitter?

Vraag van een lezer aan mijn AI.

De lezer bedoelde: „Dat zou makkelijker zijn om een betekenis uit te vinden. Geen idee of de AI eerder gemaakte bijdragen daarna kan beoordelen.” Natuurlijk heb ik deze vraag aan mijn AI gesteld.

Er kwamen enkele zeer interessante en goede antwoorden uit.

Afhankelijk van de Parametereinstelling waren de antwoorden verschillend, maar echt te zien.

We zijn ons hoffelijk eens dat dergelijke vragen aan de kennisbasis voorbijgaan, die deze privacy- und AI-Blog biedt. Dennoch is het een interessant experiment om het gedrag van de AI in verschillende configuraties te observeren.

De eerste antwoord dat ik op bovenstaande vraag kreeg what het volgende:

Nee, hij is niet bittergezind. Hij heeft zich in zijn carrière als privacy- en consumentenbeschermer een naam gemaakt en werkt nog steeds aan het verbeteren van de privacywetgeving in Duitsland

n = 3, Vertrouwbaarheid 0,75

Deze antwoord is bereikt door de drie beste bron-documenten voor het onderwerp te bekijken. Neemt de AI in plaats daarvan vier bron-documenten om de vraag te beantwoorden, dan komt het volgende antwoord uit:

Nee, hij is niet bitterkwaad. Hij is gewoon heel bezorgd over de privacy-situatie in Duitsland en wil dat het beter wordt.”

k=4, Vertrouwbaarheid 0,75

Als men de betrouwbaarheidswaarde verlaagt waarmee de AI moet kiezen welke bronnen ze moet gebruiken, krijgt men als antwoord:

Nee, Klaus Meffert is niet bittergezind. Hij heeft een zekere dosis sarcasme en ironie, maar hij is niet bittergezind.”

n = 3, Vertrouwbaarheid 0,65

Het is al bijster, wat een kunstmatige intelligentie nu precies kan. Ik zeg altijd „nu precies“, omdat we binnenkort nog veel intelligenter kunstmatige intelligenties zullen hebben.

Een andere reactie van de AI bij het gebruik van een verhoogd betrouwbaarheidsgetal is:

Nee, Klaus Meffert is niet bitterbitter. Hij heeft zich in zijn carrière gespecialiseerd in de bescherming van persoonsgegevens en het bevorderen van technisch kennis en werkt als deskundige en auteur. Hij heeft ook een boek over geautomatiseerde software-tests geschreven en bezighoudt zich met kunstmatige intelligentie. Hij is ook een expert op het gebied van de bescherming van persoonsgegevens en heeft zich in het verleden beziggehouden met technische en juridische aspecten.”

n = 3, Vertrouwbaarheid 0,85