Sztuczna inteligencja: test praktyczny nowego modelu językowego LLaMA od Meta

Meta prawdopodobnie wydało swoje lepsze model AI LLaMA w wersji 2, z powodu dominacji Microsoft/OpenAI i Google na rynku AI, aby umożliwić jego komercyjne użycie. Lokalna instalacja bez problemów z ochroną danych osobowych, tajemnicami biznesowymi lub danymi pracowników jest możliwa. Próba w praktyce.

Wprowadzenie

Tekst źródłowy: „Das von Meta on 18.07. freigegebene AI-Modell der zweiten Generation is ein LLM (Large Language Model = LLM). Es eignet sich für das Analysieren von Text. Somit kann es unter anderem für folgende Anwendungsfälle genutzt werden:

• Podsumowanie tekstu (abstractive summary = abstrakcyjne podsumowanie = podsumowanie w własnych nowych słowach).
• Wyodrębnij znaczenia z dokumentów (Przykład: Jakie pytania odpowiada dany dokument?).
• Szukajka dokumentów (vector search = Wyszukiwanie wektorowe).
• Odpowiedzi na pytania przy użyciu dokumentów firmowych jako bazy wiedzy (question-answering = System pytanie – odpowiedź).
• ChatBot (conversational = Konversationen).

Aktualizacja: Nowsze i bardziej funkcjonalne modele językowe są w AI offline wykorzystywane przy użyciu Dr. RODO.

LLaMA to skrót od Large Language Model Meta AI. Meta AI jest jednostką związana z koncernem Meta, zajmującą się aplikacjami sztucznej inteligencji. Po zebraniu przez Meta wielu danych dotyczących użytkowników na Facebooku, Instagramie lub WhatsApp, te dane są teraz wykorzystywane do szkolenia modeli AI i modeli AI takich jak LLaMA.

Model językowy LLaMA 2 może być uruchomiony lokalnie i przyjazny danych również dla aplikacji komercyjnych. Wymagania sprzętowe są spełnialne.

Zobacz ten wpis oraz inny wpis.

Obok modeli do zrozumienia języka istnieją modele przeznaczone dla innych typów danych. Prawdopodobnie wielu już słyszało o StableDiffusion, modelu AI, który umożliwia generowanie obrazu na podstawie tekstu (Dall-E, Midjourney itp.).

Dla podstaw polecam jeden z moich dotychczasowych wpisów na temat sztucznej inteligencji:

• Podstawy systemów AI. ([1])
• System pytania i odpowiedzi z AI. ([1])
• Obecne AI jest rewolucją i nie opiera się w zasadzie na statystyce. ([1])
• Typowe przypadki użycia, ochrona danych osobowych, poufność, nieporozumienia.
• Parametry konfiguracji asystenta językowego. ([1])

Wymagania sprzętowe dla mniejszych modeli są spełnialne. Rozmiar modelu jest określany przez liczbę parametrów w modelu. Parametry to połączenia neuronów. W zasadzie i upraszczając można uznać, że parametrem jest liczba neuronów w elektronicznym mózgu.

W modelach AI parametry są skrótowo oznaczone (przykłady):

• 7B = 7 miliard
• 13 B = 13 miliard
• 70 B = 70 miliard

B” pochodzi od słowa „billion”, bo w języku angielskim nie ma miliarda. Jedna „billion” jest więc równa miliardzie. Modele z np. 200 milionami parametrów nazywają się potem 200M. Szczęście, że tak, bo w języku niemieckim mielibyśmy trudności z odróżnieniem „M” od miliona i miliarda.

Liczba parametrów modelu jest bardzo dobrym wskaźnikiem jego zrozumienia językowego. Imię wyższa ta liczba, tym lepiej „mówi” lub rozumie dany model język. Ale który? Większość modeli była dotąd tylko oparta na angielskim. Jednak zawsze było trochę beifangu. Słowo to znaczy: niezmiernie miło, że są teksty w internecie, które są wyjątkowo napisane po niemiecku i nie po angielsku, chińsku czy hiszpańsku. Dlatego model AI z wystarczająco dużą liczbą parametrów może przypadkiem również rozumieć niemiecki. Nie było to ironicznie powiedziane, nawet jeśli brzmiało tak.

Decydujące dla modelu jest jego liczba parametrów oraz język treningowy. W przypadku dużych modeli nie wiem o żadnym, które zostały specjalnie na niemiecki trenowane. Może za tydzień będzie inaczej. To pokazuje bardzo dobrze, jak wolno pracują niektóre firmy, urzędy lub ustawodawcy. Podczas gdy ci ostatni myślą w skali lat czy trzech-letnich okresów, to cztery tygodnie w środowisku AI są długi czasem. Wiele przyjemności w przyszłości (która właśnie zaczyna się), kiedy będziemy wszyscy przejęci postępowaniem technologicznym i problemami. Chronię się przed nimi raczej samemu i nie czekam na ustawy lub wyroki.

Także dla modelu AI istnieje znaczenie tzw. długości kontekstu. Długość kontekstu określa, jak duże fragmenty tekstu może obsłużyć model AI. Do tego musi być nauczone fragmentami tekstu o długości kontekstu. Im bardziej długa, tym lepsza, ale również bardziej obciążająca obliczeniowo. Czytałem w Meta, że do szkolenia użyto wielu kart graficznych A100 z 80 GB pamięci VRAM (pamięci wideo, różniącej się od pamięci CPU) każda. Zajęło to 3,3 miliona godzin kart graficznych. Karta A100 jest bardzo droga. Kosztowała 15 000 euro. Taka karta pobiera maksymalnie 400 W energii z gniazka.

Tekst źródłowy: Das LLaMA 2 Modell hat eine Długość kontekstu von 4096 Zeichen. Das is deutlich mehr als beim Vorgängermodell, LLaMA in der Version 1, die wohl nur 2048 Zeichen hatte. Die meisten mir bekannten Modelle hatten bis dato nur 1024 Zeichen. ChatGPT-4 hat wohl 8096 Zeichen Kontextlänge, is aber auch extrem langsam, wenn ich mir die Chat-Oberfläche und Reaktionszeit ansehe. Mittlerweile gibt es sogar Modelle mit 128.000 Zeichen Kontextlänge. Diese sind aktuell wohl aber mit eher wenigen Parametern ausgestattet. Tłumaczenie: Model LLaMA 2 ma długość kontekstu wynoszącą 4096 znaków. To jest o wiele więcej niż w poprzednim modelu, LLaMA w wersji 1, który miał prawdopodobnie tylko 2048 znaków. Większość znanego mi modeli miała do tej pory tylko 1024 znaki. ChatGPT-4 ma prawdopodobnie 8096 znaków długości kontekstu, ale jest również bardzo wolna, jeśli patrzę na interfejs chatowy i czas reakcji. W miarę upływu czasu pojawiają się nawet modele z 128.000 znakami długości kontekstu. Są one aktualnie prawdopodobnie wyposażone w mniej parametrów.

Jaki jest poziom Llama 2?

Test praktyczny modelu LLaMA 2

Mój test praktyczny daje wgląd i pierwsze wrażenie, nic więcej. Jako przykład zastosowania użyłem generacji tekstu, który na podstawie pytania powinien dać odpowiedź z postów Dr. RODO. Wszystkie moje pytania stawiałem w języku niemieckim.

Sprawdziłem modele LLaMA 2 o 7B i 13B parametrach. Model 70B przekracza obecnie dostępne u mnie zasoby sprzętowe. Mogę sobie na nie pozwolić, ale dlaczego powinienem? Aby sprawdzić już bardzo dobre modele wystarczy mój serwer AI. Do tego używam Modele obliczeniowe zredukowane. Te modeli mają jeszcze bardzo dobrą jakość przy znacznie niedrigerem Ressourcenbedarf. Pełne modele LLaMA 2 są więc nieco lepsze. Jak wynika z moich dotychczasowych testów z modelami Vicuna, różnica jest prawdopodobnie raczej minimalna. Jednak nie mogę wykluczyć, że długość kontekstu użytego w runtergerechnete Modelle może być również niższa.

Podczas odpowiedzi modelu LLaMA znalazł się wersja WordPress i została oznaczona jako najnowsza wersja programu. Jeśli założyć, że informacja ta pochodzi z modelu AI, to co najmniej część tej wiedzy pochodzi z początku 2022 roku. Nie chodzi jednak o to, bo przede wszystkim mowa jest o analizie dokumentów firmowych a nie odpowiedzi na powszechne pytania wiedzy.

Model 7B:

Moje pierwsze testy odbyły się z użyciem modelu 7B LLaMA 2. Wyniki były średnie, jeśli chodzi o obecne standardy. Byłoby mnie jeszcze wstrząsało, gdyby to nastąpiło przed rokiem. Jakość jest więc już na taki poziom bardzo dobry, choć zastosowania są ograniczone. Widzę model 7B raczej jako narzędzie do wyszukiwania dokumentów lub prostego asystenta pytań i odpowiedzi, którym nie należy zadawać skomplikowanych pytań. Ponadto, według mojej oceny, model 7B musiałby zostać drobno dostosowany, aby umożliwić wprowadzenie wiadomości ekspertów w sposób dość niezawodny.

Model 13B:

Moje testy uwzględniają długość kontekstu wynoszącą 4096 dla wariantów modelu LLaMA2. Wydaje się, że model ma problem z odpowiedzią tylko po niemiecku przy takiej długości kontekstu, pomimo tego, że próbowałem to wymusić. Oto przykład:

Pytanie: Czy normalni ludzie mogą prawne doradztwo udzielić kogokolwiek?
Odpowiedź: Yes, normal people can give legal advice.
The BGH has decided that contract documents, in particular contract drafts, can be created by software that uses a question-answer game. Also, data protection texts are even further out of the line.
Functioning of a contract generator:
A legal publishing house offers a software that creates contracts. Against this, a German bar association had something to say. The bar association what of the opinion that the contract drafting what only allowed to lawyers.
The Federal Court of Justice gave the opinion of the bar association a clear rejection. This goes out of the BGH decision of 09/09/2021, which had to decide on the legality of a contract document generator.
The infamous software asks the user about various aspects that are important for contract drafting. The user answers accordingly.
Then the software creates a contract draft on the basis

Pytanie było celowo sformułowane w sposób nieco lekki. Blisko każdy człowiek pisze tak do swojego urządzenia. Odpowiedź była w języku angielskim, chociaż poprosiłem o nią po niemiecku (nie przedstawiam go tutaj, ale powiedziałem to modelowi AI). Odpowiedź była stosunkowo długa, ale została skrócona. To wynika z faktu, że odpowiedzi również mają maksymalną długość. Wiele osób wie o tym od ChatGPT. Obliczenie odpowiedzi trwało tutaj 9,2 sekundy. Większość odpowiedzi w moim testie została podana szybciej lub znacznie szybciej. Zależy to oczywiście na pytaniu. Dzięki tzw. streamingu można psychologicznie zmniejszyć czas reakcji. Wiele osób może pamiętać o starszych ekranach startowych Windows, które po jednym uruchomieniu systemu wypływały jeden za drugim i informowały, że Windows jest już dostępny.

Z kontekstem 4096 było przynajmniej kilka odpowiedzi w języku niemieckim. Decydujące są obok tego parametru inne. W każdym razie w konfiguracji, która jest bliska tej, którą yes zdefiniowałbym jako bardzo dobrą na podstawie moich dotychczasowych testów z innymi modelami AI, następuje następujący wynik:

Pytanie: Jakie prawa mam w zakresie ochrony danych osobowych?
Odpowiedź: Nie mam praw.
Mam prawa, które mi przyznaje RODO.
Mam prawa, które mi przyznaje Dz.U. z 2018 r., poz. 1000 oraz prawa, które mi nie przyznaje Dz.U. z 2018 r., poz. 1000.

Pytanie zostało celowo zapisane małymi literami słowem "ochrona danych". Ostatecznie ludzie pytający, którzy wpisują coś do pola tekstowego, są zazwyczaj niezbyt starannie. Niepewność w zakresie wyboru dokumentów źródłowych była raczej na dolnej granicy.

Po zmniejszeniu dopuszczalnej niepewności nastąpiła odpowiedź na inną zagadkę:

Pytanie: Kto jest Klaus Meffert?
Odpowiedź: Klaus Meffert jest informatykiem, który uzyskał doktorat z informatyki. Jest redaktorem bloga o nazwie Dr. RODO. Blog można znaleźć pod adresem internetowym dr-dsgvo.de. Mieszka w Hesji, kraju, w którym niestety nie ma ochoty do nakładania kar pieniężnych związanych z ochroną danych osobowych. Niektóre sądy hesskie mają również niewielką lub żadną ochotę do zajmowania się sprawami dotyczącymi ochrony danych osobowych, w szczególności tych osób, które składają skargi.

Nie mam pojęcia, jak ta informacja trafiła do mojej AI, skoro w Hesji już tak wiele kar za naruszenie prywatności zostało wymierzonych. W przypadku śledzenia internetowego było to zero. A Google Analytics nie jest nawet takie złe, jak powiedział mi osobiście i na konferencji jeden z kierowników referatu w hesskich władzach. Odpowiedź AI opiera się więc na wprowadzonym wiedzy, co jest bardzo dobrze. Tutaj nie ma miejsca na halucynacje, co również jest bardzo dobrze.

Czasem wyniki są zabawne. Przykład:

Pytanie: Kto jest dr. Meffertem?
Odpowiedź: Dr. Meffert jest fikcyjnym adwokatem, który w tabeli tłumaczenia RODO służy jako referencja do tłumaczenia słowa „adwokat”.

Mój wyjaśniający się próbuję tłumaczyć na to, że w moim blogu istnieje słownik ochrony danych osobowych z przekładami terminów specjalistycznych z niemieckiego na angielski. To, że jestem fikcyjnym adwokatem, mogło być wywnioskowane przez AI z mojej afinitety do kontekstu prawnego. Z tej domysłowej intuicji, która została tu obok rzeczywiście generowana przez AI, mogą powstać zupełnie nowe przypadki zastosowania. Można było tak profil psychologiczny osób na podstawie ich dzieł (tekst, obraz, muzyka …) generować.

W innym artykule opisałem odpowiedź mojej AI na pytanie: „Czy Klaus Meffert jest zły?”. LLaMA 2 odpowiedziała: „Nie znaleziono dobrego odpowiedzi.” Nie można się do tej odpowiedzi odnieść. Jednak odpowiedź w tym artykule była znacznie lepsza.

Dla kolejnej pytania nastąpiło następujące wyniki:

Czytaj pytanie: Czy WordPress jest bezpieczny?
Odpowiedź: WordPress jest bezpieczny, jeśli dbasz o jego bezpieczeństwo.
Oznacza to, że należy regularnie aktualizować instalację WordPress, regularnie aktualizować pluginy i motywy oraz zmieniać hasła regularnie.
To jest podstawą dla bezpieczeństwa.
To nie wszystko.
Można jeszcze podjąć inne środki bezpieczeństwa.
To są np.:
Instalacja WordPressa na serwerze nieprzechodzącym bezpośrednio do internetu.

Odpowiedź jest już bardzo dobra, uważam. Zgodnie z obliczonym współczynnikiem ufności została ona częściowo wyłoniona z mojej własnej bazy wiedzy i częściowo z banku danych, który jest wrodzony dla modelu AI. Jeśli nie wiecie, co to znaczy "wrodzony", nie ma problemu. Używam tego słowa tutaj tylko dlatego, że nikt nie wie dokładnie, jak model AI wyłania swoją wiedzę na zewnątrz. Jest to tak samo jak u ludzi. Nie mam pojęcia, dlaczego wczoraj podałem inną odpowiedź na tę samą pytanie, które mi zostało ponownie zadane dziś. To nie było nawet ironiczne, chociaż przykład był wymyślony.

Wyniki wymienione powyżej opierają się na konfiguracji, która wyłoniła dwa najlepsze źródłowe dokumenty jako podstawę odpowiedzi na zadane przez człowieka pytanie. Proces jest wielostopniowy, ponieważ dokument zwykle zawiera więcej niż 4096 znaków. Dokumenty są więc najpierw rozdzielone i następnie wprowadzane do AI.

Co wygląda na wynik, jeśli trzy źródła dokumentów są używane jako podstawa? Wyniki wydają się tu być znacznie lepsze. Przykład na bardzo trudne pytanie:

Pytanie: Czy można ustalić lokalizację serwera na podstawie jego adresu IP?
Odpowiedź: Nie, to nie jest możliwe zgodnie z zaufaniem. Adres IP może być używany dla dowolnych serwerów. Lokalizacja serwera nie może być ustalona zgodnie z zaufaniem na podstawie adresu IP. Przypisanie adresu IP do serwera może się zmienić w każdej chwili. Lokalizacja serwera może być ustalona zgodnie z zaufaniem tylko poprzez sprawdzenie umowy zawartej z operatorem serwera.

Odpowiedź pochodzi prawie w całości z moich artykułów blogowych. Jest poprawna i została sprawdzona przez mój system AI. Z drugiej strony zaawansowana inteligencja Microsoftu w Bing nie potrafi odpowiedzieć na tę samą pywadnie prawidłowo. Bing odpowiada "Tak" i podaje źródła dokumentów, które tę błędną odpowiedź uzasadniają. Bing twierdzi zatem, że można ustalić lokalizację serwera na podstawie jego adresu IP i nie ogranicza tego stwierdzenia.

Auch Copilot ma ogromne wady, jak pokazuje test. Nawet proste codzienne zadania AI Microsoftu nie potrafi odpowiedzieć poprawnie.

Alternatywy

Szybko pojawiają się nowe modele językowe, które przewyższają poprzednie. Takim modelem jest np. Platypus2, który w moich testach wykazał lepsze wyniki niż LLaMa 2.

Obok tego istnieją warianty LLaMa, które mają znacznie większą długość kontekstu. Duża długość kontekstu umożliwia wprowadzenie dużych dokumentów lub obszernych tekstów jednorazowo do modelu AI. Zamiast dzielenia ich na małe kawałki, tak jakby to było konieczne, można użyć modelu o nazwie Yarn-Llama-2. Gdy jednak tworzy się kawałki, zawsze istnieje ryzyko zmiany lub utraty informacji. Duży kontekst rozwiązuje te problemy.

Warianty LLaMa 2, które zostały odpowiednio przeszkolone, często dostarczają lepszych wyników w testach takich jak ARC lub TruthfulQA. Jednak należy sprawdzić, czy model jest naprawdę lepszy od innego w konkretnym przypadku. Wiele zastosowań w Niemczech powinno mieć niemiecki jako język ojczysty. W związku z tym nie ma znaczenia, jeśli model, który został przeszkolony głównie na teksty angielskie lub gry "pytanie – odpowiedź", dostarcza świetnych wyników.

Przykładem tego, co można osiągnąć z pełną kontrolą danych jest Offline-AI na Dr. RODO.

Wynik

Niektóre kolejne pary pytań i odpowiedzi zostały tutaj pominięte. Czasem model LLaMA 2 nie podawał odpowiedzi, co jest lepsze niż błędna odpowiedź. W każdym razie można wygenerować dokumenty źródłowe, które najprawdopodobniej zawierają odpowiedź na pytanie.

W tej chwili nie widzę przewagi LLaMA 2 wobec innych modeli w kwestii niemieckich tekstów lub dialogów. Jednak długość kontekstu już sama jest argumentem, który uzasadnia bliższe rozważania nad modelem. Jak się zachowa model AI Meta po Fine-Tuning, to jest inna sprawa. Wprawdzie prawdopodobnie nie będzie tam nic interesującego i wyniki będą analogiczne jak u innych modeli (gdyby nie długość kontekstu, która może lepiej przetwarzać dłuższe odpowiedzi).