Microsoft presenteert Copilot als professionele oplossing, die bij alle mogelijke taken extra goed moet ondersteunen. Een test met een standaardopdracht laat zien dat dit zelfs bij een welwillende blik volledig onjuist is te noemen. Naast deze functionele tekortkomingen doet zich de vraag voor naar de gegevensveiligheid.
Wat is Microsoft Copilot?
Copilot is iets met kunstmatige intelligentie. Wat precies Copilot is, kon in de test niet worden ontdekt. De testresultaten moedigden niet aan om verder te testen.
De reactie op de vraag wat Copilot moet zijn, wordt door Microsoft per e-mail geleverd nadat je je hebt geregistreerd voor de gratis proefversie. Volgens Microsoft is Copilot een krachtig AI-systeem:
Ganz gleich, of je wilt leren programmeren, de perfecte vakantie wilt plannen of gewoon wat hulp nodig hebt bij het schrijven van een lastige e-mail, uw AI-begeleider in het dagelijks leven helpt u alles als een professional af te handelen
Bron: Microsoft's welkomstmail "Welkom bij Microsoft Copilot, uw AI-gezel in het dagelijks leven".
Deze uitspraak klinkt alsof je met Copilot heel veel dingen heel goed kunt afhandelen. Je wordt met Copilot in staat gesteld "alles als een professional te doen", zegt Microsoft.
De mail bevat zelfs een concreet voorbeeld dat prominent wordt genoemd in de mail:
Genoemd wordt dus het samenvatten van antwoorden. Wat precies daarmee bedoeld is, is de schrijver van dit artikel niet duidelijk. Ook de doorverwante Microsoft-pagina ("Nu testen") blinkt uit met algemene uitspraken: "Inspiratie omzetten" en "Eenvoudig meer afhandelen – altijd en overal".
De copilottest
Dit test is zeker niet representatief voor alle mogelijkheden die Copilot moet bieden. Hij controleert echter de geschiktheid van Copilot voor een zeer veel voorkomende taak: Het Zusammenfassen van Texten.
Microsoft schrijft in elk geval over samengevatte antwoorden als eerste toepassing (zie hierboven). Is het misschien (ook of juist) het samenstellen van teksten met dat bedoeld?
De opdracht is dus niet overweldigend moeilijk en ook niet wereldvreemd. Bijna iedereen zou haar wel als een toepassing van AI-systemen in de zin hebben.
Copilot werd gedwongen twee tests te doen. In de eerste test kreeg Copilot een URL naar een blogartikel en moest het artikel samenvatten. Het resultaat what zo slecht dat de tweede test eerlijk leek. Hier kreeg Microsofts zogenaamde Copilot de test manueel voorgeschreven, zodat Copilot niet overbelast werd met het ophalen van een artikel uit het internet.
Test: Artikel uit blog samenvatting maken over URL
De vraagstelling (prompt) aan Copilot what eenvoudig:
Samenvatting van de blogartikel: "Is de mens ook een tokenpapegaai?
Precieze vraagstelling waaraan Copilot antwoord zou moeten geven.
De reactie van Copilot what als volgt:
De bronnen zijn in het screenshot onherkenbaar gemaakt. Van de vijf genoemde bronnen verwijzen vier naar een website en de vijfde naar een andere website. Beide websites worden niet vermeld noch gelinkt in het tekst dat samengevat zou moeten worden.
De gegeven tekst, waarop Copilot zou moeten samenvatten, bevat geen informatie over "ADM-systemen". De auteur van de tekst heeft helemaal geen idee wat een "ADM-systeem" is. Als informaticus heeft hij er nog nooit van gehoord. Ofwel had hij 30+ jaar ervaring nodig om dit te weten, ofwel heeft Copilot gefabuleerd of met ongerelateerde antifakten (gebaseerd op de opdracht) gespeeld.
Copilot antwoordt een standaardopgave volledig onjuist. De reactie van Copilot straalt door haar onbruikbaarheid.
Zie bijdrage voor details.
Copilot schrijft iets over "transparantie, zelfcontrole en toezicht". Deze begrippen komen in het tekst niet voor. Onder de tekst staat in een contactblok slechts het woord "volledige gegevenscontrole", dat verwijst naar een offline-AIdie Copilot voor veel opdrachten onnodig maakt en Copilot kennelijk vaak overtreft kan. Ook what er in de oorspronkelijke tekst geen sprake van "discriminatie", die Copilot in zijn antwoord heeft ingevoegd.
In het artikel waar Copilot over zou moeten schrijven, gaat het vooral niet om de GDPR, maar om kunstmatige intelligentie. De begrippen "gegevensbescherming" en "DSGVO" worden in de kern van het artikel niet genoemd (en als ze wel zijn, dan heel sporadisch en in de vorm van "…in het Dr. DSGVO Blog" e.d.).
Conclusie: Copilot heeft volledig gefaald en de opdracht niet opgelost.
Niets wees erop dat de antwoord fout kon zijn, dat men het het beste zou moeten controleren of dergelijks.
Op 05.07.2024 gaf Copilot op dezelfde vraag (met een licht andere formulering) de volgende antwoord:
Het beeld spreekt voor zichzelf.
Test: Artikeltekst uit blog samenvatting maken
Kom nu naar test nummer twee. We willen uitsluiten dat het aan het ophalen van een URL uit het internet lag. Het kan zijn dat Copilot daarover werd overweldigd.
Voor deze test zou het voor Copilot gemakkelijker moeten worden, na dat Copilot bij de vorige test flink had gefaald. Nu werd de tekst uit de blogartikel handmatig en per copy & paste in Copilot ingevoerd. Dit zag er zo uit:
Viele Artikel in PDF-Form · Kompakte Kernaussagen für Beiträge · Offline-KI · Freikontingent+ für Website-Checks
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
