Кібернетична інтелект: Практичний тест нового мовного моделю LLaMA від Meta

Мета, ймовірно, випустила своє ефективне КІ-розділ LLaMA у версії 2 через поточну перевагу Microsoft/OpenAI та Google в області КІ, і навіть для комерційного використання. Місцевий обіг без проблем із захистом даних, бізнес-секретами або інформацією співробітників можливий. Практичний тест.

Вступ

Вихідний від Meta 18 липня модель штучного інтелекту другого покоління є мовним моделлю (Large Language Model = LLM). Вона підходить для аналізу тексту. Тому вона може бути використана, зокрема, для наступних випадків застосування:

• Оголошення тексту (abstractive summary = абстрактивна підсумкова оцінка = підсумок у власних нових словах).
• Вивчити значення з документів (Наприклад: Що саме відповідає даному документу?).
• Система пошуку документів (vector search = Векторна пошук).
• Відповідь на запитання за допомогою документів компанії як бази знань (question-answering = Система питання та відповіді).
• ChatBot (conversational = Konversationen).

Оновлення: Нові та більш функціональні мовні моделі використовуються в Offline-AI під час роботи з Dr. GDPR.

LLaMA — це скорочення від Large Language Model Meta AI. Meta AI — підрозділ компанії Meta, який займається розробкою застосунків з штучного інтелекту. Після того, як Meta зібрала велику кількість даних про користувачів у Facebook, Instagram або WhatsApp, ці дані тепер використовуються для навчання та створення моделей штучного інтелекту, таких як LLaMA.

ЛаамаДж-2 мовний модель можна використовувати локально та економічно ефективно навіть для комерційних цілей. Технічні вимоги виконуються.

Перегляньте цей матеріал та інші статті .

Покрім моделей для розпізнавання мови існують інші моделі, які підходять для інших типів даних. Безумовно, багато вже чули про StableDiffusion — це модель AI, з якої можна створити зображення на основі текстового запиту (Dall-E, Midjourney тощо).

Для основ, я рекомендую один зі своїх попередніх матеріалів щодо штучної інтелекту:

• Основи для систем штучної інтелегенції. ([1])
• Система запитань та відповідей з використанням штучного інтелекту. ([1])
• Актуальні комп'ютерні технології – це революціяі не ґрунтуються в основному на статистиці.
• Характерні випадки застосування, захист даних, конфіденційність, помилкові уявлення. ([1])
• Конфігураційні параметри мовного асистента. ([1])

Технічні вимоги до менших моделей виконуються. Розмір моделі визначається кількістю параметрів у моделі. Параметри — це зв'язки нейронів. Гrosso і спрощуючи, можна вважати параметрами кількість нейронів у електронному мозку.

У моделях КІ параметри скорочуються наступним чином (приклади):

• 7Б = 7 мільярдів
• 13Б = 13 мільярди
• 70Б = 70 мільярдів

Б" походить від "білліон", бо в англійській мові мільярда не існує. Білліон — це мільярд. Моделі з наприклад 200 мільйонів параметрів називаються тоді 200M. Щастя, що так, бо у німецькій мові ми потрапляємо з "М" для мільйона та таке ж "М" для мільярда трохи в хаос.

Parameteranzahl моделю є дуже добрим індикатором його розуміння мови. І чим вища ця кількість, тим краще «мовить» або розуміє цей модель мову. Але яка мова? Більшість моделей були до недавнього часу лише англійською мовою. Однак завжди було щось Beifang. Слово це означає: щасливо деякі інтернет-сторінки написані українською та не англійською, китайською чи іспанською мовами. Отже, КІ-модель із досить великою кількістю параметрів випадково може вивчити українську мову.

Вирішальне для моделювання є кількість його параметрів та також мовлення впливу. При великих моделях поки що немає відомого мені, яке спеціально навчалося на німецькій мові. Це може змінитися вже наступною тижнем. У цьому можна побачити дуже добре, як повільно працюють деякі компанії, органи влади чи законодавці. Під час роботи протягом декілька років або трьох років вони думають, тоді як у світі КІ чотири тижні є досить довгим періодом часу. Вітаю вас в майбутньому (яке вже починається), коли всі ми будуть захоплені технологічними досягненнями та проблемами. Я краще захистив собі і не чекав на законодавчі акти чи рішення суду.

Також дуже важливо для моделювання КІ – це так звана Контекстна довжина. Контекстна довжина вказує, скільки текстових блоків може обробляти модель КІ. Для цього моделі КІ повинні бути навчені на текстових блоках з тією ж контекстною довжиною. чим більша, тим краще, але також і тим інтенсивніше обчислювальна робота. Я читав у Meta, що для навчання використовувалися численні карти A100 зі 80 ГБ відеопам'яті (відео-РАМ, не так звичайний як процесорський РАМ). Час виконання обчислень становив 3,3 мільйони графічних годин. Картка A100 дуже дорогі. Один екземпляр коштував раніше 15 тисяч євро. Така карта споживає максимально 400 Ват енергії із розетки.

Даний LLaMA 2 модель має Контекстну довжину у 4096 символів. Це значно більше, ніж у попереднього моделю, LLaMA в версії 1, який мав лише 2048 символів. Більшість відомих мені моделей мали тільки 1024 символи. ChatGPT-4 має 8096 символів контекстної довжини, але також дуже повільно працює, якщо дивитися на інтерфейс чату та час реакції. Тепер навіть існують моделі з 128000 символами контекстної довжини. Вони зараз мають досить мало параметрів.

Як добре працює LLaMA 2?

Практичний тест моделю "Ллама 2

Мій практичний тест дає уявлення та перший враження, нічого більше. Як приклад використання я використовував генерацію тексту, який на відповідь на питання повинен давати відповідь із статей Dr. GDPR. Я поставив усі запитання на німецькій мові.

Переведений текст: Я вже перевірив моделі LLaMA 2 з 7B та 13B параметрів. Модель із 70B перевищує мої наявні технічні можливості. Я міг собі дозволити цю модель, але чому б мені це потрібно? Для експериментів зі дуже добрими моделями досить моїх комп'ютерних ресурсів. Для цього я використовую Рахункові моделі. Ці моделі мають дуже добру якість при значно нижчому споживанні ресурсів. Повні моделі LLaMA 2 ще трохи краще працюють. За моїми попередніми експериментами зі Vicuna-моделями, різниця між ними досить мінімальна. Але я не можу виключити можливість того, що корисна довжина контексту при використанні runtergerechnete моделей також нижча.

При відповіді моделю LLaMA була наявна версія WordPress та позначена як остання версія WordPress. Якщо вважати це основоположним, знання від моделю AI походять принаймні частково з початку 2022 року. Але саме про це йде мова не тут, адже щодо застосування передбачається аналіз документів підприємств, а не відповідь на загальні запитання щодо знань.

7Б-модель:

Мої перші випробування відбулися з моделлю 7B від LLaMA 2. Результати були середніми за сучасними стандартами. У минулому рік я ще був би здивований. Якість вже досить добре для такого моделю, хоча застосування обмежені. Я бачу модель 7B більше як пошуковий інструмент або простий запит-відповідь асистент, якому не потрібно ставити складні питання. Крім того, за моїм оцінюванням, модель 7B слід підточувати, щоб можна було надійно імпортувати фахівецьке знання.

13Б-модель:

Мої тести розраховують велику довжину контексту 4096 для варіантів моделі LLaMA2. Здається, цьому моделю важко відповісти лише німецькою мовою при такій довжині контексту, хоча я спробував примусити його до цього. Наприклад:

Вопрос: Чи можуть звичайні люди юридично порадувати когось?
Answer: Yes, normal people can give legal advice.
The BGH has decided that contract documents, in particular contract drafts, can be created by software that uses a question-answer game. Also, data protection texts are even further out of the line.
Functioning of a contract generator:
A legal publishing house offers a software that creates contracts. Against this, a German bar association had something to say. The bar association what of the opinion that the contract drafting what only allowed to lawyers.
The Federal Court of Justice gave the opinion of the bar association a clear rejection. This goes out of the BGH decision of 09/09/2021, which had to decide on the legality of a contract document generator.
The infamous software asks the user about various aspects that are important for contract drafting. The user answers accordingly.
Then the software creates a contract draft on the basis

Питання було навмисно трохи примітивним. almost кожен людина пише щось подібне в своє або її кінцеве пристрій. Відповідь була англійською, хоча я вимагав німецької (це не показано, але повідомлено моделю AI). Відповідь була досить довгою, але обрізана. Це відбувається тому, що навіть відповіді мають обмежену довжину. Багато хто знає це з ChatGPT. Обрахування відповіді зайняло тут 9,2 секунди. Більшість відповідей були надані мені під час тесту швидше або дуже швидко. Врешті-решт все залежить від питання. За допомогою так званого стрімінгу можна зменшити психологічний час реакції. Багато хто може пам'ятати ще з давніх часів Windows-стартові екрани, які при одному запуску Windows показувалися мінімум трьома варіантами поспіль і повідомляли про те, що Windows вже починається працювати та обов'язково буде доступним.

З контекстною довжиною 4096 було декілька відповідей німецькою мовою. Важливіше за цей параметр є інші фактори. У будь-якому разі, в одному з варіантів налаштувань, який дуже близь до того, що я називаю дуже добрим за результатами моїх попередніх тестів із іншими моделями штучного інтелекту, було таке наслідування:

Питання: Які права я маю щодо захисту даних?
Ответ: Я не маю жодних прав.
Я маю права, які мені надає ДЗПВ.
Я маю права, які мені надає ДЗП, та права, які мені не надає ДЗП.

Питання було навмисно поставлене з малими літерами в слові «Дані захисту». Зрештою, навіть люди, які щось набирають у полі для введення, рідко дуже уважні. Для вибору документів джерел була дозволена певна нечіткість на нижньому краї.

Після зменшення дозволеної неточності на іншу питання була така відповідь:

Спитайте: Хто такий Клаус Меферт?
Відповідь: Клаус Меферт — інформатик, який здобув науковий ступінь у галузі інформатики. Він є видавцем блогу під назвою Dr. GDPR. Блог доступний за адресою dr-dsgvo.de. Він мешкає в Гессені, землі, де місцеві органи захисту даних не дуже охочі видаляти штрафи. Наприклад, деякі місцеві суди майже не мають бажання займатися скаргами щодо захисту даних у інтересах осіб, яких це стосується.

Нічого не знаю, як ця інформація потрапила до моїй КІ, де вже було так багато штрафів у Хесені за порушення конфіденційності. У веб-трекінгу було навіть нічого. І Google Analytics не дуже погано, як сказав мені особисто керівник відділу однієї із хесенських органів влади під час конференції. Відповідь КІ ґрунтується на попередньо введених даних, що дуже добре. Тут немає ніяких галюцинацій, теж дуже добре.

Часом винятково комічні результати відбуваються. Наприклад:

Вопрос: Хто такий Доктор Меферт?
Відповідь: Доктор Меферт — вигаданий адвокат, який в таблиці перекладу GDPR використовується як посилання для перекладу слова «адвокат».

Мій пояснювальний спробу щодо цієї відповіді КІ полягає в тому, що у моїй блог існують словник захисту даних із перекладами спеціалізованих термінів з німецької мови на англійську. Що я є вигаданим юристом, міг бути виведений КІ зі мого захоплення правовим контекстом. З цієї здогадки, яка була створена КІ поряд із цим, можуть виникнути зовсім нові застосування. Так можна було б наприклад психологічні профілі людей за їх творами (текст, зображення, музика …) створювати.

У іншому статті я описував відповідь своєї КІ на питання: „Клаус Меферт злий?“ . LLaMA 2 відповіла «Немає доброї відповіді». На цю відповідь ніщо не можна скаргувати. Але в попередньому статті була краще відповідь. ([1])

Для ще однієї запитання відбулося таке результат:

Питання: Чи є WordPress безпековим?
Відповідь: Віртуальний хостинг WordPress є безпечним, якщо людина займається його захистом безпеки.
Це означає, що необхідно регулярно оновлювати встановлення WordPress, регулярно оновлювати плагіни та теми і змінювати паролі регулярно.
Це основа безпеки.
Це тільки не все.
Є ще інші заходи безпеки, які можна здійснити.
Це, наприклад:
Інсталяція Вордпресу на сервері, який не має прямого доступу до Інтернету.

Різне відповідь дуже добре, мені здається. За розрахованим рівень віри вона була частково дана зі свого власного запасу знань і частково із бази даних знань, яка є внутрішнім для моделювання КІ. Якщо ви не знаєте, що таке внутрішнє, то це не проблема. Я використовую цей термін тільки тому, що ніхто точно не знає, як модель КІ виводить свої знання назовні. Це те саме, що і у людини. Ніколи не розумію чому я вчора дав іншу відповідь на ту ж саму запитання, яке мені сьогодні знову поставили. Ця відповідь навіть не була саркастичною, хоча це був вигаданий приклад.

Вище згадані результати ґрунтувалися на конфігурації, яка визначила два найкращі джерельні документи як основу для відповіді на запитання людини. Процес багатоступовий тому, що документ звичайно містить більше 4096 символів. Тому документи спочатку розбиваються на частини та потім передані у КІ.

Як виглядає результат, коли використовуються три джерельні документи як базовий матеріал? Результати тут здаються явно краще. Наприклад, на дуже складній запитанні:

Питання: Чи можна за допомогою адреси IP визначити розташування сервера?
Отповідь: Ні, це не дуже надійне можливе. Адреса IP може бути використана для будь-якого серверу. Розташування сервера за допомогою адреси IP не можна довірити. Побудова адреси IP до сервера може змінюватися в будь-який час. Розташування сервера можна перевірити тільки шляхом перевірки умов договору з власником сервера.

Відповідь майже повністю взята зі моїх блогових статей. Вона правильна і перевірена на моєму системі штучного інтелекту. З іншого боку, розвинута штучна інтелект Microsoft у Bing може лише неправильно відповісти на цю запитання. Bing відповідає «Так» та вказує джерела документів із викладом, який підтверджує цю помилкову відповідь. Bing стверджує, що за допомогою IP-адреси можна визначити розташування сервера і навіть не обмежує це.

Але Copilot має дуже серйозні недоліки, як показує тест. навіть досить прості завдання в повсякденному житті КІ Microsoft не може відповідати належно.

Альтернативи

Швидко кожен тиждень виходять нові мовні моделі, які перевершують попередні. Так, наприклад, Плазмодер2 є моделлю, яка за моїми тестами може досягти краще результату ніж LLaMa 2.

Також існують варіанти LLaMa з набагато більшим контекстом. Великий контекст дозволяє розміщувати великі документи чи об'ємні тексти одночасно в КІ, без необхідності їх розбивати на маленькі шматки. Як приклад можна назвати Yarn-Llama-2. Коли створюються шматки, завжди існує ризик того, що інформація буде змінена або втрачена. Великий контекст розв'язує цю проблему.

Варіанти LLaMa 2, які добре підготовлені, часто дають краще результати в тестових завданнях, таких як ARC або TruthfulQA. Однак слід перевірити для конкретного випадку, чи модель справді краще ніж інша. Більшість випадків використання в Німеччині повинні мати Німці як рідну мову. Тому мало того, якщо модель, яка переважно навчена на англійських текстах або запитаннях-відповідях, дає чудові результати.

Демонстрація того, чого можна досягти з повною керуванням даними, показує Offline-ІКІ на сайті Dr. GDPR.

Результат

Найбільше ще декілька запитань-відповідей я залишив поза увагою. Зазвичай моделю LLaMA 2 не давав відповіді, що краще, ніж помилкова відповідь. У будь-якому разі можна видати джерельні документи, які найімовірніше дають відповідь на запитання.

Сьогодні я не бачу переваг LLaMA 2 щодо інших моделей стосовно німецьких текстів або діалогів. Однак довжина контексту вже є аргументом, який виправдовує більш детальний аналіз цього моделю. Як буде працювати вільно видане КІ-місце від Meta після Fine-Tuning, це ще питання. Але тут, ймовірно, нічого особливого не станеться або будуть отримані аналогічні результати, як і у інших моделях (якщо б не довжина контексту, яка краще обробляє довгі відповіді).