Halucynacje SI to fałszywe stwierdzenia SI oparte na prawidłowych informacjach. Rezultatem jest wiarygodne stwierdzenie, które mogłoby być poprawne, ale nie jest. Wyjaśnienie halucynacji jest możliwe, jeśli przyjrzymy się na przykład temu, jak modele językowe SI kodują informacje i ich znaczenie.
Wprowadzenie
Prawdopodobnie każdy słyszał o halucynacjach w kontekście sztucznej inteligencji.
Halucynacje są więc tak fascynujące, ponieważ chodzi o fałszywe deklaracje, które mają potencjał brzmiących plausibel. Coś co brzmi jako prawdopodobne, często jest uznawane za prawdziwe lub poprawne. To właśnie w tym tkwi niebezpieczeństwo halucynacji.
Halucynacje to fałszywe oświadczenia, które opierają się na poprawnym tle wiedzy. Fałszywe oświadczenia, wynikające z błędnego wiedza lub z mylnych przesłanek spowodowanych przez niejasnie sformułowaną pytanie, nie są halucynacjami.
Podstawą halucynacji są semantyczne wektory. Co to jest, przyjrzyjemy się bliżej.
Jak rozwijają się halucynacje
Wektor semantyczny jest nośnikiem znaczenia. Czym jest znaczenie? Znaczenie jest subiektywnie zdefiniowanym stwierdzeniem. Można również powiedzieć, że każdy definiuje swoją własną prawdę.
Tworzę świat dla siebie,
Szeroko, tak jak lubię.
Pippi Pończoszanka
Prawda jest (zawsze?) czymś subiektywnym. Nawet teorie fizyczne, takie jak teoria względności i mechanika kwantowa, które są prawdopodobnie jednymi z naszych najlepszych teorii, są interpretowane czysto subiektywnie.
Ludzie znajdują znaczenie przedmiotów i sytuacji dzięki kulturowemu ukształtowaniu, wychowaniu i własnej obserwacji. Komputer („inteligencja artficyalna“) szuka znaczenia na podstawie danych treningowych, co w sobie nie jest niczym innym.
Znaczenie jest znalezione przez optymalizację matematycznej funkcji. Tak też będzie robił człowiek, tylko że optymalizacja u ludzi może zawierać celowo obiektywne elementy kontraprodukcyjne.
Poniższy obrazek przedstawia uproszczoną reprezentację tego, jak znaczenie zdania "Pies biega po parku" jest zakodowane w modelu sztucznej inteligencji.
Wspomniane zdanie ma wiele aspektów znaczeniowych. Na przykład mówi coś o żywej istocie ("pies"), tematyzuje czynność ("bieganie"), zawiera tonację (tutaj: neutralną emocję) i opisuje miejsce ("park"). Przy okazji: termin "park" może mieć kilka znaczeń. Tutaj odnosi się do terenów zielonych w mieście. Innym znaczeniem, które nie zostało tutaj użyte, ale byłoby możliwe, jest imperatyw "parken".
Zdjęcie przedstawia tylko dwie wymiary (2D). W rzeczywistości modele AI pracują z kilkoma setkami wymiarów, np. 512. Tak duża liczba wymiarów służy do uwzględnienia różnych aspektów znaczenia zdania, czyli jego reprezentacji.
Stwierdzenie "Pies biega po parku" jest prawdziwe. W jaki sposób może to skutkować fałszywym stwierdzeniem?
Wiele systemów sztucznej inteligencji generuje wyniki, reprezentując znaczenie danych wejściowych jako wektor (lub wektory) i robi to samo dla przechowywanej wiedzy w tle. Teraz można obliczać za pomocą wektorów – wie o tym każdy, kto jest uzdolniony matematycznie lub pamięta lepsze czasy.
Poniższy rysunek schematycznie przedstawia dodawanie dwóch wektorów semantycznych.
Możesz zobaczyć dwa stwierdzenia, które są prawdziwe:
- Albert Einstein otrzymał Nagrodę Nobla w dziedzinie fizyki -> Stwierdzenie prawdziwe
- Albert Einstein opracował teorię względności -> Stwierdzenie prawdziwe
Jeśli teraz dodasz wektory tych dwóch stwierdzeń, zostanie utworzony wektor pokazany na czerwono na obrazku, który reprezentuje fałszywe stwierdzenie. Dodanie dwóch strzałek, zielonej i niebieskiej, jest zilustrowane w prawym górnym rogu rysunku w formie miniatury. Przerywane linie wskazują również, w jaki sposób czerwona strzałka jest tworzona z zielonej i niebieskiej strzałki.
W modelu AI powstaje przez szukanie podobieństwa z wektorem wynikowym następnie deklaracja, która najlepiej opisuje wektor wynikowy. Z tego wynika fałszywa deklaracja: „Einstein otrzymał Nagrodę Nobla za teorię względności”.
Trudno uwierzyć, że jeden z najwybitniejszych geniuszy w historii ludzkości NIE otrzymał Nagrody Nobla za jedną z najwybitniejszych teorii w historii ludzkości. Mogłoby to być postrzegane jako impertynencja lub oznaka globalnej głupoty ludzkości. W końcu poniższe osiągnięcia opierają się na teorii względności Einsteina:
- GPS i systemy nawigacyjne: Bez uwzględnienia efektów relatywistycznych satelity GPS byłyby już po kilku godzinach nieprawidłowością o kilka kilometrów. Zegary na satelitach biegną szybciej z powodu mniejszej grawitacji niż na Ziemi.
- Akceleratorzy cząstek, tak jak Large Hadron Collider w CERN, działają tylko dlatego, że efekty relatywistyczne przy przyspieszaniu cząstek do prędkości bliskiej prędkości światła są uwzględniane. Te urządzenia doprowadziły do odkrycia bozonu Higgsa i wielu innych cząsteczek elementarnych.
- Medycyna obrazowa wykorzystuje teorię względności w tomografii emisji pozytonów (PET). W tym celu używa się cząstek antimaterii, których zachowanie przewidział Einstein.
- Astronomia i kosmologia zostały rewolucjonizowane. Teoria umożliwiła przewidywanie i późniejsze obserwacje czarnych dziur, fal grawitacyjnych oraz pomogła w zrozumieniu ekspansji Wszechświata.
- Kwantowy komputeryzacja korzysta z koncepcji względności, szczególnie przy rozwoju precyzyjnych zegarów atomowych i czujników kwantowych.
- Synchronizacja komputerowych sieci i systemów handlu finansowego uwzględnia obecnie zjawiska relatywistyczne, mające wpływ na dokładne pomiar czasu w odległych miejscach.
W najlepszym wypadku jurorzy Nobla byli wówczas intelektualnie przytłoczeni i nie odważyli się dać błogosławieństwa teorii, która w ich oczach mogła być błędna.
Wracając do halucynacji:
Fałszywe stwierdzenie wspomniane powyżej powstało zatem poprzez połączenie dwóch poprawnych stwierdzeń. Jest to kolejny powód, dla którego brzmi ono tak wiarygodnie i może odwracać uwagę od rzeczywistości (tak jak ją zdefiniowaliśmy).
Ponadto odpowiedzi modeli językowych AI są często tak atrakcyjne i ustrukturyzowane, że wydają się profesjonalne. Wzmacnia to wrażenie, że fałszywe stwierdzenie (halucynacja) jest poprawne.
Wektory można zresztą ponownie przekształcić w tekst (lub inne typy danych, które nazywane są również modalnościami) za pomocą tzw. przyporządkowań. Są to matematycznie obliczone reprezentacje wektorowe twierdzeń.
Przyczyny halucynacji
Istnieje wiele możliwych przyczyn halucynacji. Oto fragment niektórych możliwości składania fałszywych zeznań.
Interpolacja statystyczna zamiast faktycznej wiedzy
Modele językowe nie przechowują informacji jako dyskretnych faktów, ale jako wagi statystyczne między różnymi pojęciami. Gdy system odpowiada na zapytanie, łączy te wagi, aby wygenerować najbardziej prawdopodobną odpowiedź. W ten sposób model może tworzyć połączenia między pojęciami, które nie były wyraźnie obecne w danych szkoleniowych.
Należy zauważyć, że ludzka egzystencja opiera się wyłącznie na statystykach. Niektórzy ludzie są oburzeni tym stwierdzeniem. Powinni przyjrzeć się fizyce kwantowej (na poziomie ogólnym).
Te: Statystyka jest podstawą inteligencji, nie przyczyną braku inteligencji.
Niekompletne lub sprzeczne dane treningowe
Jakość danych treningowych znacząco wpływa na tendencję do halucynacji. Jeśli model jest trenowany na danych, które zawierają nieścisłości, sprzeczności lub luki w wiedzy, problemy te mogą występować częściej w późniejszym zastosowaniu. Ponadto różne źródła mogą dostarczać sprzecznych informacji na ten sam temat.
Nie inaczej jest z ludźmi.
Pewność siebie bez zrozumienia
Systemy AI nie mają świadomości własnych ograniczeń wiedzy. Nie potrafią odróżnić pewnej wiedzy od założeń i nie wyrażają wyraźnie niepewności. Zamiast tego generują odpowiedzi z pozorną pewnością, która nie odpowiada rzeczywistej wiarygodności informacji.
Roboty wkrótce zamkną te granice wiedzy. Podobnie jak ludzie, będą badać środowisko i gromadzić własne doświadczenia środowiskowe.
Obszary szczególnego ryzyka
Niektóre obszary tematyczne są szczególnie podatne na halucynacje. Obejmują one bieżące wydarzenia, które miały miejsce po dacie szkolenia, wysoce wyspecjalizowane obszary tematyczne z ograniczonymi publicznie dostępnymi informacjami oraz obszary, w których precyzja ma kluczowe znaczenie, takie jak tematy medyczne lub prawne.
Jeśli chodzi o prawo, prawie nikt "normalny" nie rozumie tego, co jest napisane w specjalistycznych artykułach prawnych, wyrokach lub w niektórych ustawach i przepisach. Nawiasem mówiąc, jest to celowe: prawnicy chcą zachować dla siebie w niektórych obszarach i dlatego używają "języka władzy". Informacje te nie pochodzą od autora tego artykułu, ale od prawnika.
Wynik
Halucynacje powstają w wyniku połączenia prawdziwej wiedzy. Omijają one prawdę. Halucynacje można zrozumieć, rozważając wektory semantyczne jako nośniki znaczenia.
Ale takie halucynacje mogą również mieć miejsce w analogiczny sposób w sieciach neuronowych, będących podstawą wielu obecnych modeli sztucznej inteligencji. W końcu sieć neuronowa może reprezentować wektor, ponieważ jest tak plastyczna, że może przenosić i reprezentować dowolny rodzaj informacji.
Jeśli chodzi o ustawę o sztucznej inteligencji, lepiej jest starać się zminimalizować ryzyko halucynacji. Jeszcze lepiej jest unikać halucynacji.
Więcej o halucynacjach można przeczytać w niedługo wydawanym Sammelbandzie „Risikoanalyse-AI”, który jest redagowany przez Prof. Wanderwitz. Ten wpis opiera się częściowo i znacznie skrócony na artykuł, który ma zostać opublikowany w tomie.
Hallucynacje można uniknąć, jeśli się trochę wysili. Z ChatGPT nie udało się, ale z optymalizowaną AI dla firm i innych organizacji tak. W projekcie klienta udało nam się stworzyć wiarygodnego chatbota w skomplikowanym dziedzinie wiedzy. Chatbot odpowiedział prawidłowo w bardzo wielu przypadkach. Wiadomo było również, kiedy odpowiedzieć prawidłowo. W nielicznych przypadkach wątpliwości otrzymał człowiek przed ekranem informację, że odpowiedź należy sprawdzić. W każdym przypadku podano źródła odpowiedzi. Przy odpowiedziach znanych jako prawidłowe chatbot wydał znak "gwarancji" ("stoją za tą odpowiedzią").
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
