gekennzeichnet.
Microsoft preist Copilot als professionelle Lösung an, die bei allen möglichen Tätigkeiten besonders gut unterstützen soll. Ein Test mit einer Standardaufgabe zeigt, dass dies selbst bei wohlwollender Betrachtung als völlig unzutreffend zu bezeichnen ist. Neben diesen funktionalen Schwächen stellt sich die Frage nach der Datensicherheit.
Vorab: Copilot ist unsicher
Das ergab eine Datenschutz-Folgenabschätzung (= DPIA = Data Protection Impact Assessment) der niederländischen "Privacy Company" für die Organisation SURF). Hier das vollständige Ergebnis der Untersuchung:
Education organisations are advised not to use Microsoft 365 Copilot as long Microsoft has not
implemented adequate measures to mitigate the identified 4 high data protection risks. If the
education organisations and Microsoft implement all recommended measures, there are no more
known risks for the data processing.
As long as the mitigating measures for the 4 high risks have not been implemented by Microsoft and
the education organisations, the advice from SURF is not to use Copilot M365.Quelle: DPIA für SURF vom 17.12.2024, Fettdruck hier eingefügt
Kurzfassung: Copilot bietet keine ausreichende Sicherheit, weil Microsoft die nötigen Maßnahmen nicht anbietet oder weil die nötigen Maßnahmen einem Betrieb von Copilot im Wege stehen.
Vorab: Microsoft ist unsicher
Das gab Microsoft am 10. Juni 2025 selbst zu (unter Eid, vor dem französischen Senat): Auch wenn Daten von EU-Unternehmen und EU-Personen vollständig in der EU gespeichert werden, können amerikanische Behörden und Geheimdienste still und heimlich darauf zugreifen.
Was ist Microsoft Copilot?
Copilot ist irgendwas mit Künstlicher Intelligenz. Was genau Copilot ist, konnte im Test nicht herausgefunden werden. Die Testergebnisse ermutigten nicht dazu, weiter zu testen.
Jedenfalls kann man einfach an die Daten anderer Personen kommen, wenn das Open-Source Tool Powerpwn (Copilot Whoami) erfolgreich genutzt wird. Beim Schreiben dieser Zeilen hat das Tool gerade seine letzte Aktualisierung erfahren, das war am 10.08.2024.
Die Antwort zur Frage, was Copilot sein soll, liefert Microsoft per Mail, nachdem man sich die kostenfreie Testversion registriert hat. Laut Microsoft ist Copilot ein leistungsfähiges KI-System:
„Ganz gleich, ob Sie programmieren lernen wollen, den perfekten Urlaub planen möchten oder einfach nur ein wenig Hilfe beim Schreiben einer schwierigen E-Mail benötigen, Ihr KI-Begleiter im Alltag hilft Ihnen, alles wie ein Profi zu erledigen.“
Quelle: Microsoft's Willkommens-Mail „Willkommen bei Microsoft Copilot, Ihrem KI-Begleiter im Alltag“.
Diese Aussage klingt so, als könnte man mit Copilot sehr viele Dinge sehr gut erledigen. Sie werden mit Copilot in die Lage versetzt, „alles wie ein Profi zu erledigen“, sagt Microsoft.
Die Mail enthält sogar ein konkretes Beispiel, welches prominent in der Mail genannt wird:
Genannt ist also das Zusammenfassen von Antworten. Was genau damit gemeint ist, ist jedenfalls dem Autor dieses Beitrags nicht klar. Auch die verlinkte Microsoft-Seite („Jetzt testen“) glänzt mit Allgemeinplätzen: „Inspirationen umsetzen“ und „Einfach mehr erledigen – jederzeit und überall“.
Der Copilot-Test
Dieser Test ist sicher nicht repräsentativ für alle Möglichkeiten, die Copilot liefern soll. Er prüft aber die Eignung von Copilot für eine sehr häufige Aufgabe: Das Zusammenfassen von Texten.
Microsoft schreibt ja zumindest als ersten Anwendungsfall (siehe oben) etwas über zusammengefasste Antworten. Ist vielleicht (auch oder gerade) das Zusammenfassen von Texten damit gemeint?
Die Aufgabe ist also nicht umwerfend schwierig und auch nicht weltfremd. Nahezu jedem käme sie wohl als Anwendungsfall für KI-Systeme in den Sinn.
Copilot zwang dazu, zwei Tests durchzuführen. Im ersten Test bekam Copilot eine URL auf einen Blog-Artikel und sollte den Artikel zusammenfassen. Das Ergebnis war dermaßen schlecht, dass ein zweiter Test fair erschien. Hier bekam Microsofts sogenannter Kopilot den Test manuell vorgegeben, damit Copilot nicht mit dem Abrufen eines Artikels aus dem Internet überfordert wird.
Test: Blog-Artikel zusammenfassen über URL
Die Fragestellung (Prompt) an Copilot war simpel:
Fasse den folgenden Blog-Artikel zusammen: https://dr-dsgvo.de/ki-und-intelligenz-ist-der-mensch-nicht-auch-ein-token-papagei/
Exakte Fragestellung, die Copilot beantworten sollte.
Die Antwort von Copilot war folgende:
Die Quellen wurden im Screenshot unkenntlich gemacht. Von den fünf genannten Quellen verwiesen vier auf eine Webseite und die fünfte auf eine andere Webseite . Beide Webseiten sind im Text, der zusammengefasst werden sollte, nicht erwähnt und nicht verlinkt.
Der vorgegebene Text, den Copilot zusammenfassen sollte, enthält keine Angaben zu „ADM-Systemen“. Dem Autor des Textes ist gänzlich unbekannt, was ein „ADM-System“ sein soll. Als Informatiker hat er noch nie davon gehört. Entweder waren 30+ Jahre IT-Erfahrung für die Katz' oder Copilot hat fabuliert oder mit irrelevanten Antifakten (bezogen auf die Aufgabenstellung) um sich geschmissen.
Copilot beantwortet eine Standardaufgabe völlig unzutreffend.
Siehe Beitrag für Details.
Die Antwort von Copilot glänzt durch ihre Unbrauchbarkeit.
Copilot schreibt etwas von „Transparenz, Selbstkontrolle und Aufsicht“. Diese Begriffe kommen im Text nicht vor. Unter dem Text steht in einem Kontaktkasten lediglich das Stichwort „Volle Datenkontrolle“, welches sich auf eine Offline-KI bezieht, die Copilot für viele Aufgabenstellungen unnötig macht und Copilot dem Anschein nach oft übertrumpfen kann. Auch war im Ausgangstext nicht die Rede von „Diskriminierung“, die Copilot in seine Antwort hereindichtete.
Im Artikel, den Copilot zusammenfassen sollte, geht es auch nicht in erster Linie um die DSGVO, sondern um KI. Die Begriffe „Datenschutz“ und „DGSVO“ sind im Kerntext nicht erwähnt (und wenn doch, dann sehr selten und in Form von „… im Dr. DSGVO Blog“ o.ä.).
Fazit: Copilot hat komplett versagt und die Aufgabenstellung nicht gelöst.
Nirgendwo war zu sehen, dass die Antwort falsch sein könnte, dass man sie am besten überprüfen soll oder ähnliches.
Am 05.07.2024 gab Copilot auf die gleiche Frage (mit leicht anderer Formulierung) folgende Antwort:
Das Bild spricht für sich.
Test: Blog-Artikeltext zusammenfassen
Kommen wir zu Test Nummer zwei. Wir wollen ausschließen, dass es am Abruf einer URL aus dem Internet lag. Es könnte ja sein, dass Copilot damit überfordert war.
Für diesen Test sollte es Copilot leichter gemacht werden, nachdem Copilot beim vorigen Test ausgesprochen versagte. Nun wurde der Text aus dem Blog-Artikel manuell und per Copy & Paste in Copilot reingegeben. Dies sah so aus:
Leider war es nicht möglich, den ganzen Artikel in Copilot's Chatbox reinzukopieren. Dies wurde natürlich berücksichtigt. Allerdings ist dies nicht der Grund für das folgende Testergebnis. Die Antwort, die Copilot lieferte, war:
Die Antwort hat nichts mit der Ausgangsfrage zu tun. Einige Belege für die mangelhafte Qualität der Antwort, die unterhalb der eines Kleinkindes ist. Das Kleinkind hätte mit gar nichts sagen weniger falsch gemacht:
- GPT-3 wurde im Text, den Copilot zusammenfassen sollte, nicht erwähnt (1., 2. und 3. Absatz der Copilot-Antwort).
- Die von Copilot erwähnten Forscher und deren Studie wurden im Text nicht erwähnt (1. + 2. Absatz).
- Die im 3. Absatz genannten Aspekte „Fähigkeit, Analogien zu bilden“ sowie „Analogieprobleme“ wurden im Text nicht erwähnt. Dort wurde nur von analogen Signalen (versus digitale Signale) gesprochen und das Wort „analog“ in einem weiteren Satz verwendet, aber völlig untergeordnet („…dann reden wir analog über Roboter mit einem eingebauten Computer“).
- Die von Copilot erwähnten „großen Sprachmodelle“ wurden im Text nicht erwähnt. Dort wurde nur von „Sprachmodellen“ gesprochen. Die Worte „groß“ oder gar „LLM“ (wie „Large Language Model“) kamen nicht vor.
- Die von Copilot erwähnten Quellen wurden im Text nicht erwähnt (1., 2. und 3. Absatz sowie Quellenangaben von Copilot).
Entfernt man aus der Copilot-Antwort alle Aussagen, die mit dem Ausgangstext, der zusammengefasst werden sollte, nichts zu tun haben, bleibt sehr wenig übrig. In der Schule würde der Lehrer für die Copilot-Antwort wohl die Note 6 für „ungenügend“ geben.
Das von Copilot gelieferte Ergebnis ist eine Unverschämtheit. Es glänzt durch beliebige Aussagen und kann als komplett falsch bezeichnet werden. Die Aufgabenstellung war, einen gegebenen Text zusammenzufassen. Diese Aufgabe wurde nicht einmal im Ansatz erfüllt. Stattdessen liest sich die Antwort wie ein beliebiges Suchergebnis, welches durch ein Sprachmodell zusammengefasst wurde. Hinzu kommt, dass so getan wird, als wäre die Antwort die (perfekte) Antwort.
Nirgendwo auf der Bedienoberfläche (Web-UI) findet sich ein Hinweis darauf, dass die Copilot-Antworten falsch oder unzutreffend sein könnten. Jedenfalls nicht, wenn man überall auf den Bildschirm schaut. Vielleicht erwartet Microsoft ja, dass der Nutzer so lange Microsoft Wissensartikel sucht und liest, bis er oder sie irgendwo findet „Copilot kann auch völligen Unsinn erzählen. Aber das kommt hoffentlich nicht so oft vor, weil wir ja Microsoft sind und so tun, als könnte Copilot wirklich toll bei allen mögliche Aufgaben helfen, wie zum Beispiel dem Zusammenfassen von Antworten“.
Ergebnis mit eigener KI
Der Test könnte möglicherweise unfair gewesen sein (was eher ironisch anmutet, wenn man sich die Aufgabenstellung ansieht). Das Zusammenfassen eines Textes war vielleicht zu schwierig und übertrifft selbst die Fähigkeiten des intelligentesten Menschen (das war jetzt auf jeden Fall ironisch). Um das auszuschließen, wurde die gleiche Aufgabe an eine eigene Offline-KI gestellt. Ganz ohne Microsoft, Copilot, Azure oder ChatGPT.
Die Aufgabe an die Offline-KI war:
Fasse die folgende Webseite zusammen: https://dr-dsgvo.de/ki-und-intelligenz-ist-der-mensch-nicht-auch-ein-token-papagei
Identische Aufgabenstellung an die Offline-KI, die für Copilot zu schwierig war.
Die unbearbeitete Antwort der Offline-KI lautete:
"Der Autor behauptet, dass KI (Künstliche Intelligenz) und der Mensch ähnlich wie Token-Papageien funktionieren, indem sie wahrscheinlichkeitsbasierte Entscheidungen treffen. Er betont, dass es nicht auf den Mechanismus an sich ankommt, sondern auf das Ergebnis. Der Autor kritisiert, dass viele Menschen eine falsche Vorstellung von Intelligenz haben und keine Definition davon finden.
Ergebnis der genannten Aufgabe mit einer KI, die die Arbeit erledigt, also nicht Copilot.
Er argumentiert, dass KI-Systeme wie neuronale Netze "simple" Mechanismen sind, die komplexe Probleme lösen können. Er behauptet auch, dass der Mensch ein Token-Papagei ist, indem er wahrscheinlichkeitsbasierte Entscheidungen trifft.
Der Autor präsentiert eine Beta-Version einer Offline-KI und betont, dass diese Lösung besser als ChatGPT ist und keine Daten an Dritte sendet. Er bietet kostenlose Beratung für Unternehmen und Behörden an, die eine KI-Lösung benötigen.
Insgesamt argumentiert der Autor, dass KI-Systeme wie Token-Papageien funktionieren und dass es nicht auf den Mechanismus an sich ankommt, sondern auf das Ergebnis."
Das Ergebnis kann jeder selbst beurteilen. Ein Vergleich mit Copilot sollte jedem zeigen, wo die Qualitätsunterschiede liegen.
Aber es muss doch sehr kompliziert sein, so etwas zu machen, was selbst für Copilot kaum lösbar erscheint?
Ja, das ist schon sehr kompliziert (Ironie). Es hat fast mehr Zeit gekostet, das Programm zu schreiben als auf die Antwort zu warten (die schnell da war). Die Basis für diese Offline-KI war schon vorhanden. Jedes Unternehmen kann eine solche eigene KI haben. Ähnlich schnell können Prototypen gebaut werden, mit denen die grundsätzliche Eignung einer KI für bestimmte Anwendungsfälle geprüft werden kann.
Die Offline-KI, die obiges Ergebnis lieferte, tat automatisch folgendes:
- Abruf der im Prompt genannten URL
- Extraktion des Kerninhalts (=Blog-Artikel)
- Zusammenfassen des Blog-Artikels
- Ausgabe der Antwort
Offline-KI bedeutet, dass die KI völlig autark laufen kann und bei Bedarf mit dem Internet oder anderen IT-Systemen kommunizieren kann. Genau das passierte, als der Blog-Artikel aus dem Internet abgerufen wurde.
ChatGPT: Kurzer Ausflug
Für den hereinkopierten Textauszug lieferte ChatGPT dieses Artikels (ca. 4700 Zeichen) folgende sehr kurze Zusammenfassung:
"Der Blog-Artikel kritisiert Microsoft Copilot stark. Trotz Microsofts Werbung als vielseitiges KI-Tool versagte Copilot im Test, indem es eine einfache Aufgabe, das Zusammenfassen eines Blog-Artikels, nicht bewältigte. Die Ergebnisse waren ungenau und irrelevant. Die Tester fanden keine klaren Informationen über die Funktionalität von Copilot und hinterfragten zudem die Datensicherheit. Insgesamt wird Copilot als unzuverlässig und ineffektiv beschrieben."
In Microsoft Copilot sind Daten nicht sicher.
Eine ausführliche Untersuchung deckt die Datenprobleme bei Nutzung von Microsoft Copilot auf.
Wie zu sehen, kann die Zusammenfassung als semantisch brauchbar bezeichnet werden. Deren Länge allerdings ist eher unbrauchbar. Mit Prompt-Tuning kommt man weiter. Dann fehlen aber einige Kernaussagen. Ach hier hilft weiteres Prompt-Tuning. Wer gerne öfters mal Texte zusammenfassen lassen möchte und nicht den Beruf des Tuners ergreifen möchte, ist mit einem eigenen KI-System besser bedient.
Fazit
Copilot ist anscheinend ein Marketing-Instrument von Microsoft und keine ernstzunehmende KI. Jedenfalls gilt das für den genannten Test. Übrigens können auch Programmieraufgaben ohne Copilot erledigt werden. Dafür verwendet man fei verfügbare KI-Modelle, die einen sehr guten Job machen.
Wer seine eigenen Daten in die Microsoft Cloud laden will, sollte noch einmal darüber nachdenken. Vorausgesetzt, Sie sind nicht bereits durch die fragwürdigen Fähigkeiten von Copilot abgeschreckt.
Was stört, ist das maximale Selbstbewusstsein von Microsoft, das rein gar nicht zu den Unzulänglichkeiten von Copilot passt. Es wird an jeder Stelle so getan (Mail, Webseite), als wär Copilot der Heilsbringer.
Wollen Sie nicht lieber eine bessere Lösung nutzen? Voraussetzung ist, dass konkrete Anwendungsfälle betrachtet werden anstatt Marketing-Aussagen anzusehen. Konkrete Anwendungfälle zu betrachten ist vor allem im KI-Umfeld immer ein sinnvolles Vorgehen.
Unabhängig von Copilot ist es ein Problem, dass faule oder mäßige Entwickler mit Hilfe von KI-Assistenten wie Copilot oder ChatGPT Programmcode erstellen, der unsicherer ist als wenn er manuell erstellt worden wäre. Das legt eine Untersuchung der Stanford Universität nahe. A fool with a tool is still a fool.
Kernaussagen dieses Beitrags
Microsofts Copilot funktioniert bei der Zusammenfassung von Texten miserabel, selbst nach freundlicher Betrachtung.
Die von Copilot gelieferte Zusammenfassung des Textes ist falsch und unzureichend. Es enthält keine wesentlichen Punkte des Originaltextes und wäre mit einer Note "ungenügend" zu bewerten.
Kurz gesagt: Ein eigenes KI-System ist besser als Copilot von Microsoft, das eher ein Marketing-Gag zu sein scheint.
Man sollte vorsichtig sein, wenn man seine Daten in die Cloud von Microsoft lädt.
KI-Beratung, KI-Lösungen
Leistungsangebot:
- Erstberatung inkl. Machbarkeitsaussagen
- Schulungen und Workshops für Führungskräfte, Berufsgeheimnisträger, Angestellte, Entwickler
- KI-Lösungen mit und ohne ChatGPT/Azure. Cloud oder eigener KI-Server
Mein Name ist Klaus Meffert. Ich bin promovierter Informatiker und beschäftige mich seit über 30 Jahren professionell und praxisbezogen mit Informationstechnologie. In IT & Datenschutz bin ich auch als Sachverständiger tätig. Ich stehe für pragmatische Lösungen mit Mehrwert. Meine Firma, die 
Interessante Betrachtungen, In Sachen ADM gehe ich allerdings davon aus, dass Copilot das Zitat aus der KI-Verordnung der EU interpretiert:
"(KI-System) ein maschinengestütztes System, das so konzipiert ist, dass es … Empfehlungen oder Entscheidungen hervorbringen kann". Also ADM-Systeme = „automated decision-making systems“.
Siehe dazu auch
https://algorithmwatch.org/de/adm-offentlichersektor-empfehlungen/
Vielen Dank für Ihre Rückmeldung. ADM ist interessant zu wissen. Wenigstens scheint es diesen Begriff zu geben, wenn auch nicht in dem Text, der zusammengefasst werden sollte. Es stellt sich zudem, die Frage, was eine (sowieso schon falsche) Zusammenfassung Wert ist, die es durch Einführung neuer unerklärter Begriffe noch komplizierter macht…
Wenn man nach "ADM KI" sucht, kommt als 1. Treffer in meiner verwendeten Suchmaschine "Automatisierte ENtscheidungssysteme (ADMS, KI"). Bei Suche von "ADM" kommt irgendwas mit Tieren und deren Ernährung. Die Abkürzung ist also nach meiner Wahrnehmung, auch als Informatiker, nicht etabliert.
Die Antwort von Copilot basiert hier gar nicht auf dem Inhalt der Website, auf diese hatte Copilot nie Zugriff. Copilot hat die URL einfach als plain text gelesen und mithilfe anderer Quellen eine Antwort generiert. Die geblurrten Quellen verweisen auf eine Webseite die einen sehr ähnlichen Namen wie "dr-dsgvo.de" trägt (ihr werdet sie alle kennen), dort sind mehrere Artikel zu finden, welche die Bezeichnung "ADM" verwenden. Die robots.txt von dr-dsgvo (oder andere Limitierungen, das kann nur Klaus beantworten) hat Copilot den Zugriff verwehrt. Im Sinne des Daten- und Urheberrechtsschutzes eine begrüßenswerte Funktion. Warum hält sich deine eigene Offline-KI nicht daran @Klaus?
Im Gegensatz zu ChatGPT scheint Copilot fehlende Zugriffe zu ignorieren, statt den Nutzer darüber zu informieren, hier sollte Microsoft dringend nachbessern.
Letztlich hat sich Klaus also einfach seine eigene Anfrage blockiert.
Das ist nicht zutreffend:
1) Copilot wurde in einem Test direkt mit dem zusammenzufassenden Rohtext gefüttert. Wie soll hier etwas blockiert werden?
2) Wie auch geschrieben: Copilot hat keinerlei Hinweise darauf gegeben, wie die Antwort zustande kam oder dass angeblich etwas blockiert wurde. Es gibt keine technische Sperre, sondern höchstens eine textuelle (robots.txt). Diese kann Copilot feststellen und selbst zurückmelden. Hat es aber nicht.
3) Offline-KI hält sich an alles, was der Betreiber der Offline-KI möchte. Auch hier: Eigene Texte darf und will ich mit meiner KI zusammenfassen. Wo ist das Problem? Zudem geht es im Beispiel nur um den Abruf eines Inhalts, um diesen ungespeichert zusammenzufassen, ohne weitere Datenverarbeitung durch die Offline KI! Copilot selbst selbst anscheinend im Gegensatz den Abruf einer URL mit der Speicherung oder Weitergabe oder Eigennutzung gleich. Daher kommt wohl eines der vielen Probleme mit Copilot.
Das Zeichenlimit von 2000 kann einfach umgangen werden, indem man das Notizbuch auswählt, dort lassen sich 18000 eingeben, also der gesamte Blogartikel.
Zum Zusammenfassen von Webseiten weißt Microsoft darauf hin, den Edge Browser zum korrekten Einlesen zu verwenden. Dafür geht man dort in die Sidebar und löst den Befehl "Seitenzusammenfassung generieren" aus.
Für beide Vorgehensweisen ist keine Anmeldung und keine Lizenz nötig. Im Test mit dem genannten Blogartikel haben beide Szenarien ein gutes Ergebnis geliefert. Über prompts ließ sich die Länge der Antwort sowie das Niveau beliebig variieren. Repräsentative Aussagen über die Performance von CoPilot, bzw GPT-4, bei vergleichbaren Aufgaben lassen sich vielfach online finden.
Schade, dass teils durchaus valide Kritikpunkte die du hier anführst überdeckt werden von Unkenntnis über die Bedienung einer gängigen Anwendung.
Den Edge Browser verwende ich nicht und will ihn auch nicht verwenden. Einige Gründe: siehe etwa https://dr-dsgvo.de/microsoft/ microsoft com
Auf die Copilot Webseite mit der Testmöglichkeit bin ich über eine gewöhnliche Suche gekommen.
Eben nopch mal probiert. In meiner Suchmaschine eingegeben "copilot".
1. Treffer war copilot
Wenn das nicht die (offenbar) richtige Webseite ist, welche dann?
Um das Zeichenlimit ging es hier gar nicht. Es sollte damit nur verdeutlicht werden, dass der Text keinesfalls zu lange war.
Welchen Sinn hat es denn dann, den Copilot mit einem Anwendungs-Case (URL Auslesen) zu testen, wenn man das für diesen Case benötigte Produkt nicht verwendet? Natürlich ist das Ergebnis dann fehlerhaft.
Das Notizbuch ist oben links über dem Chatfenster auf der regulären Copilot Website auswählbar.
Ich habe Copilot auch mit dem hier verwendeten verkürzten Blogauschnitt und prompt befragt, das Ergebnis war ebenfalls korrekt. Die hier gezeigte fehlerhafte Antwort ließ sich mit mehreren Durchläufen nicht nachstellen, sowohl in einem neuen Dialog, als auch in einem fortlaufenden Dialog, in dem ich zuvor das fehlerhafte Auslesen der URL reproduziert habe. Lediglich bei einem längeren Dialog, der nichts mit dem Blogartikel zu tun hatte, ließ sich eine unterschiedbare Antwort provozieren. In der hat Copilot das Sprachniveau aufgrund der zuvor von mir gestellten Anfragen minimal angepasst, das Ergebnis war aber weiterhin inhaltlich korrekt.
Eine Anpassung der Funktionsweise von Copilot innerhalb weniger Tage zwischen deinem Test und der Nachstellung, welche bei identischen Anfragen völlig andere Ergebnisse produziert, halte ich für sehr unwahrscheinlich.
Ich möchte keine mutwillige Verfälschung der Ergebnisse unterstellen, aber neben der fehlerhaften Antwort des ersten Cases, welche ganz einfach auf einer nicht vorgesehenen Verwendung von Copilot beruht, scheint die hier gezeigte Antwort des zweiten Cases nicht dem hier beschriebenen Dialog zu entsprechen.
Doch, der "Case" ist so wie abgebildet. Copilot entwickelt sich eben (wenn auch nicht positiv). Zudem nutzt Copilot Likes von Nutzern, um eigene Antworten zu "verbessern". Deswegen gibt es diese Like-Buttons am Ende der Copilot-Ausgaben.
Zudem gibt es den sogenannten Temperaturwert, der einem Zufallswert entspricht.
Viele LLMs werden mit diesem Zufallswert angesteuert. Oft, um kreativere Antworten zu geben. Aber auch, um eigentliche exakte Aufgaben wie das Zusammenfassen von Texten besser zu gestalten (was mal funktioniert, mal nicht).
Ähnliche Erfahrungen habe ich mit der Zusammenfassung eines eigenen Dokuments in meinem OneDrive mit der kostenpflichtigen Version von Copilot gemacht. Nur habe ich nach der Ausgabe des Blablas nachgefragt: "Bist du sicher, dass du das angefragte Dokument zusammengefasst hast?" Die Antwort war entlarvend: "Das ist ein Missverständnis. Ich kann nicht auf das Dokument zugreifen. Kann ich sonst noch ein Dokument zusammenfassen?" Also, Copilot weiß, dass er nicht zugreifen kann, schreibt aber irgendeinen Unsinn als Antwort und bietet die Produktion von noch mehr Unsinn an.
Die auf OpenAI-Technik basierende Zusammenfassungsfunktion in Confluence funktioniert übrigens genauso schlecht. Die pickt immerhin irgendwelche Sachen aus dem Dokument heraus und formuliert sie um. Dass mein selbst geschriebenes Dokument strukturiert ist und auch bereits eine Zusammenfassung enthält, die es kopieren könnte, kratzt sie nicht.
Genauso schlecht funktioniert übrigens die "Auto Rewrite"-Funktion in Word zur Veränderung der Ausdrucksweise (analog in Confluence): In etwa 80% der Fälle werden Informationen weggelassen oder sinnentstellend zusammengefasst.
Die Frage ist, seit wann ist es etabliert, Teile von Begriffen zu suchen statt die genaue Schreibweise zu verwenden. Der Artikel ist wirklich sehr gut, aber Copilot schreibt ADM-Systeme immer mit Bindestrich und nie allein. Genauso gesucht findet man die dazu passenden Suchresultate.
Also Klaus, gib auch mal zu, wenn Du eine falsche Denk- / Vorgehensweise hattest. Das ist nicht schlimm, das macht Dich nach meiner Wahrnehmung sympathischer. 😉
LG Frank
Mein Beitrag handelte von Copilot, nicht von ADM-Systemen. Es ging um die objektiv falsche Zusammenfassung eines Textes, indem Informationen hinzuerfunden wurden, die nicht Teil des Beitrags waren.
Suche ich nach "ADM-Systeme", finde ich als 1. Treffer "Algorithmische Entscheidungssysteme". Darum ging es in meinem Beitrag nicht. KI wird von niemandem, den ich kenne oder lese, als ADM-System bezeichnet. ADM-System kam mir als Begriff in den letzten 30 Jahren nicht unter (oder wenn doch, dann muss es sehr lange her sein).
Ich bin Informatiker und teste zur Zeit mehrere KI-Systeme, CoPilot funktioniert mal so garnicht.
Schon beim verstehen der Fragen ist Copilot so dermaßen schlecht, dass man unter umständen garnicht zum Ergebnis kommt.
Ich muss aber sagen, dass das in vorherigen Versionen noch wesentlich besser funktioniert hat und dann auch sinnvolle Antworten kamen. Aber mittlerweile ist das Ding komplett unbrauchbar, selbst für einfache Aufgaben.