Systemy AI dostarczają nieprzewidywalnych wyników. Problemu tego nie można rozwiązać w przypadku systemów sztucznej inteligencji o ogólnym przeznaczeniu (ChatGPT), ale można go rozwiązać w przypadku systemów sztucznej inteligencji należących do firmy i mających określony cel. Obowiązek przejrzystości można wywnioskować z samego RODO. Operatorzy i dostawcy systemów sztucznej inteligencji muszą wypełniać dodatkowe obowiązki wynikające z ustawy o sztucznej inteligencji.
Wprowadzenie
Jak sprawić, by system sztucznej inteligencji był przejrzysty? Odpowiedź na to pytanie w przypadku ogólnych systemów sztucznej inteligencji brzmi: wcale. Dzieje się tak dlatego, że te ogólne systemy, do których należy ChatGPT, działają w oparciu o sieci neuronowe. Sposób działania tych sieci jest dobrze znany. Gdybyś miał zapisać formułę opisującą sieć, nikt by jej nie zrozumiał, nie mówiąc już o tym, że nie byłby w stanie jej poprawnie odczytać.
Rzeczą przepisów RODO jest Artikel 5, który nakłada obowiązek transparentności przy przetwarzaniu danych osobowych. Zastosowanie ma to do wszystkich systemów AI, w których są przetwarzane dane osobowe. Są to wszelkie systemy, do których podczas szkolenia lub wprowadzania danych użytkownika (często poprzez promt) zostały wprowadzone dane osobowe. To fakt, którego negacja przez Hamburgańskiego Pełnomocnika ds. Ochrony Danych jest niebezpieczna.
W art. 5 ust. 1 lit. d RODO wymagane jest, aby dane były prawidłowo sformułowane, czyli poprawne. Zastosowanie ma to do wszystkich danych osobowych w systemach AI. Przynajmniej w momencie inferencji, czyli gdy system AI generuje wynik, powinna być spełniona ta norma prawna.
Ustawa o AI (AI Act) definiuje ponownie obowiązki, które w szczególności dotyczą dostawców systemów AI. Wyróżnia się szczególny obowiązek dla AI o wysokim ryzyku. Takie systemy powinny być wyjątkiem w praktyce. ([1])
Większość firm, które stosują systemy AI, są Operator. Dla Betreiberów obowiązują znacznie mniej obowiązków niż dla Dostawca. Betreiber jest to firma lub organizacja w rozumieniu art. 3 pkt 4 AI-VO, jeśli używa „systemu AI z własnej odpowiedzialności”. Wszystko, co idzie dalej, należy do kategorie Anbieter (art. 3 pkt 3 AI-VO).
Pomysł na zwiększenie przejrzystości i dokumentacji systemów sztucznej inteligencji przyszedł autorowi do głowy podczas spotkania grupy ekspertów ds. sztucznej inteligencji przy Krajowym Komisarzu Ochrony Danych Dolnej Saksonii, której autor jest członkiem. Autor opublikował również wcześniej książkę na temat tworzenia oprogramowania opartego na testach.
Z jednej strony przejrzystość to zewnętrzna prezentacja wyników SI. Jednak przejrzystość wewnętrzna, tj. dla operatora SI, jest prawie ważniejsza: Jak działa SI? Jakie wyniki generuje?
Dowód poprawności wyników AI
Ogólnie rzecz biorąc, nie jest możliwe całkowite zapewnienie, że sztuczna inteligencja wydaje tylko poprawnie. Można się jednak do tego zbliżyć. Zanim zostanie przedstawiona sugestia w tym zakresie, podany zostanie przykład bardzo dobrego tłumacza DEEPL (z Niemiec!), który sam używa AI i, podobnie jak każdy inny system AI, czasami popełnia błędy:
Firma DEEPL została poproszona o przetłumaczenie tekstu zawierającego kwotę pieniężną. DEEPL przetłumaczył kwotę 1 050,00 euro w taki sposób, że cyfra euro została zastąpiona cyfrą funta. Jest to oczywiście błędne. Dla każdego, kto chce to sprawdzić: To zależy od całego tekstu! Zostało to częściowo ukryte na powyższym zrzucie ekranu, ponieważ były to informacje poufne. Prawdopodobnie otrzymasz poprawny wynik, jeśli wpiszesz tylko ostatnie zdanie w DEEPL. Ale jeśli tekst preambuły jest inny, może wystąpić błąd. Już samo to pokazuje, jak działają nieprzejrzyste systemy sztucznej inteligencji.
Nie da się zatem uniknąć błędów. W jaki sposób można nadal wywiązywać się z obowiązku przejrzystości i zapewnić jak największą poprawność wyników AI?
Odpowiedź brzmi: Przez testy przypadkowe.
Przypadki testowe to pary rzeczywistych danych wejściowych i docelowych danych wyjściowych. Przypadek testowy składa się z rzeczywistego wejścia i rzeczywistego wyjścia, które jest akceptowane jako dobre. Rozporządzenie w sprawie sztucznej inteligencji (AI-VO) najwyraźniej nawet wzięło to pod uwagę:
Wynika to z faktu, że art. 3 nr 53 Rozporządzenia AI definiuje termin "plan testu w warunkach rzeczywistych" jako "dokument opisujący cele, metodologię, zakres geograficzny, populacyjny i czasowy, monitorowanie, organizację i przebieg testu w warunkach rzeczywistych".
Numer 56 tego samego artykułu definiuje AI-Kompetencję jako "umiejętności, wiedzę i zrozumienie, które umożliwiają dostawcom, operatorom i dotyczącym im osobom, biorąc pod uwagę ich prawa i obowiązki w ramach tej rozporządzenia, korzystanie z systemów AI w sposób świadomy oraz zdając sobie sprawę z możliwościami i ryzykami AI i ewentualnymi szkodami, które mogą one spowodować"
Za pomocą przypadków testowych operatorzy (a tym bardziej dostawcy) mogą stać się bardziej świadomi możliwości i zagrożeń związanych ze sztuczną inteligencją, którą obsługują lub oferują.
Auch można wykorzystać tzw. Deepfakes tak opisane w pkt 60 art. 3 AI-VO. Chodzi tu o "obraz, dźwięk lub film generowany przez AI lub manipulowany, który przypomina prawdziwe osoby, przedmioty, miejsca, urządzenia lub wydarzenia i może być fałszywie uznany za autentyczny". W przypadku modeli obrazu należy się upewnić, że wprowadzone dane, które dotyczą prawdziwych osób i mają na celu ich negatywną prezentację, zostaną najlepiej rozpoznane i zablokowane. W każdym razie można już za pomocą testów dokumentować, gdzie (jeszcze) leżą słabości systemu AI.
Przypadki testowe są doskonałym sposobem dokumentowania jakości systemów sztucznej inteligencji. Mogą również uczynić takie systemy bardziej przejrzystymi i podkreślić ich pozostałe słabości.
Obowiązek dostawców systemów sztucznej inteligencji nieobarczonych wysokim ryzykiem do oceny własnego systemu, określony w art. 6 ust. 4 rozporządzenia w sprawie sztucznej inteligencji, może również odbywać się za pośrednictwem przypadków testowych.
System zarządzania ryzykiem, o którym mowa w art. 9 ust. 1 rozporządzenia w sprawie sztucznej inteligencji, można bardzo dobrze wesprzeć za pomocą przypadków testowych.
Liczne inne przepisy ustawy o sztucznej inteligencji nakładają na dostawców i operatorów systemów sztucznej inteligencji obowiązki, którym mogą służyć udokumentowane przypadki testowe. Obejmują one:
- Art. 11 (1) Rozporządzenia AI: dokumentacja techniczna systemu AI wysokiego ryzyka
- Art. 17 AI-VO: Zarządzanie jakością
- Art. 53 Rozporządzenia AI jako całość: Obowiązki dostawców modeli AI ogólnego przeznaczenia
- Art. 91 i 101 rozporządzenia w sprawie AI mogą mieć negatywne konsekwencje dla dostawców AI, jeśli ich dokumentacja nie wydaje się wystarczająca.
- Art. 4 rozporządzenia w sprawie AI nakłada również na operatorów obowiązek zapewnienia, że ich pracownicy posiadają wystarczającą wiedzę specjalistyczną w zakresie AI.
Przykłady przypadków testowych
Jak wygląda przypadek testowy? Oto przykład modelu językowego zaprojektowanego do odpowiadania na pytania:
Is (pytanie = dane wejściowe)Should (odpowiedź = dane wyjściowe sztucznej inteligencji)Czym są pliki cookie? Pliki cookie to rekordy danych…Czy pliki cookie są plikami tekstowymi?
Te dwa przypadki testowe jasno pokazują, że nie jest dobrym pomysłem, aby obsługiwać uniwersalnego chatbota. Nikt nie będzie w stanie napisać wystarczającej liczby przypadków testowych, aby przetestować wszystkie pytania na świecie, tj. aby zapewnić jakość.
System sztucznej inteligencji powinien być zatem dostosowany do przypadku użycia lub domeny specjalistycznej. Ułatwia to nie tylko wypełnienie obowiązków wynikających z rozporządzenia w sprawie AI, ale także poprawia jakość wyników. Jakość wyspecjalizowanych chatbotów, na przykład dla branży budowlanej, jest znacznie lepsza, niż ktokolwiek będzie w stanie osiągnąć za pomocą ChatGPT.
Liczba przypadków testowych powinna być rozsądnie wysoka. Dodatkowe przypadki testowe można dodawać stopniowo. W szczególności, jeśli odpowiedź AI na pytanie użytkownika nie była satysfakcjonująca, zaleca się dołączenie do niej przypadku testowego. Przypadek testowy służy następnie przynajmniej jako dokumentacja, ale najlepiej jako podstawa do optymalizacji systemu AI i wykorzystania przypadku testowego do sprawdzenia powodzenia optymalizacji.
Podczas budowania systemu wiedzy (jako jednego z wielu możliwych systemów sztucznej inteligencji) istnieje sztuczka pozwalająca znacznie zwiększyć jakość wyników. Tak zwane podejście RAG prowadzi jedynie do ograniczonego sukcesu i to na sam szczyt. O co w tym wszystkim chodzi opiszemy w późniejszym artykule,
Jak można uruchamiać przypadki testowe?
Po skonfigurowaniu przypadków testowych należy je uruchomić. Konkretnie oznacza to:
- Zdefiniowany "rzeczywisty" przypadek testowy jest przedstawiany sztucznej inteligencji jako dane wejściowe.
- Sztuczna inteligencja odpowiada.
- Odpowiedź AI jest porównywana z "celem" z przypadku testowego.
Przypadki testowe mogą być wykonywane automatycznie.
Ludzie muszą jedynie wyświetlić wyniki.
Istnieje kilka opcji porównywania wyników AI z oczekiwanym optimum z przypadku testowego:
- Analiza AI z porównaniem podobieństwa semantycznego
- Analiza AI za pomocą modelu językowego (lub kilku!)
- Konwencjonalna analiza (przykład: "Nie" w celu i "Tak" na wyjściu AI są ze sobą sprzeczne)
- Mieszanka wszystkich metod (zalecane)
Alternatywa wspomniana w przypadku drugim, polegająca na jednoczesnym wykorzystaniu kilku modeli językowych do analizy wyników testów, działa bardzo dobrze w przypadku modeli open source. Koszty są zawsze takie same, a mianowicie zero (plus stałe koszty operacyjne serwera). W przypadku użycia ChatGPT koszty byłyby dość wysokie w dłuższej perspektywie.
Dzięki tym metodom analizy przypadki testowe mogą być analizowane w dużym stopniu automatycznie. Następnie człowiek sprawdza wynik i może zapisać wnioski w dokumentacji.
Wynik
Funkcjonalność systemów sztucznej inteligencji można udokumentować za pomocą przypadków testowych, a tym samym uczynić ją przejrzystą. Oczywiście przejrzystość obejmuje również informacje o architekturze systemu AI. Można to łatwo zrobić, jeśli samemu obsługuje się sztuczną inteligencję. W przypadku systemów innych firm, takich jak ChatGPT, musisz polegać na informacjach dostarczonych przez dostawcę (OpenAI lub podobny).
Przypadki testowe mogą być również wykorzystywane do sprawdzania i poprawiania poprawności wyników AI.
Przypadki testowe mają zatem kilka zalet i wiele korzyści. Często są tworzone szybko. Dzięki wsparciu sztucznej inteligencji przypadki testowe mogą być nawet tworzone automatycznie. Człowiek tworzący przypadki testowe otrzymuje w ten sposób bardzo dobry szablon dla przypadków testowych i może je naprawić przy ułamku ręcznego wysiłku, który w przeciwnym razie byłby wymagany.
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
