Дigitизація документів працює добре із офлайн-кі. Офлайн-кі – це локально виконувана інтелектуальна система, яка часто краще за ChatGPT, зручна для даних та економна. До цього входять розпізнавання текстів і зображень, а також семантична пошукова робота із цих виділених даних. Виставка демонструє конкретні деталі.
Що таке Офлайн-КІ?
Чи розуміють деякі люди краще термін «Offline-GPT». Але ніякого стосунку до цього немає з OpenAI та іншими третіми гравцями на ринку.
Офілайн КІ працює на власному комп'ютері. Це може бути either куплена техніка або орендована техніка. Офілайн означає, що КІ не відправляє даних третім особам. Офілайн КІ може при необхідності звернутися до Інтернету або спілкуватися з іншими інформаційними технологіями.
Офлайн-КІ може забезпечити багато застосунків, наприклад, цифровізація документів, значно краще результати ніж з ChatGPT та іншими хмара послугами. У підприємствах часто йде мова про тисячі документів. Кошти при послугах у хмарі часто не передбачені і ще більш дорогими стають при багатьох запитаннях. Офлайн-КІ пропонує вигідну цінову фіксовану ставку. Повна контроль даних є для багатьох також однією з причин відмови від використання ChatGPT або Microsoft Azure.
Офлайн-КІ може часто виконувати більше, ніж ChatGPT, є більш економною та забезпечує повний контроль над даними та можливість доступу онлайн.
Що означає цифровізація документів?
Дigitизація означає перетворення аналогових у цифрові дані. Часто це стосується перетворення документів на папері в цифрові зображення (файли). Для цього документ на папері сканують або фотографують. Після чого відбувається обробка отриманого зображення (а навіть при скані теж виникає зображення!).
На прикладі документа Європейського комісаріату з захисту даних (ЄДКД) показано як офлайн-кі може допомогти у процесі цифрової трансформації документів.
Вище показані зображення представляють сторінки документа PDF. Ці зображення можуть виникнути шляхом сканування або перетворення документа PDF на окремі сторінки.
Після сканування (або фотографування) документа він обробляється з використанням офлайн-інтелектуальної системи. У цьому процесі визначається текст, який міститься у документі. Далі виконуються додаткові операції, які розпізнають також зображення та їх зміст.
З допомогою офлайн-ХІ навіть можна описувати зображення. Наприклад, нижче наведений скріншот презентації на тему офлайн-ХІ.
Офілайн-ХІ мала тепер завдання описати, що на картинці зображено. Тут результат:
a black and white drawing of a man with horns, ikea manual, as a d & d monster, a an ai generated image
Німецька перекладка також забезпечує офлайн-КІ за бажанням:
Чорно-біла зображення чоловіка із рогами, керівництво IKEA, як монстр у D&D, згенероване за допомогою AI
Версії української, турецької, іспанської, італійської або польської мови можна отримати за допомогою Офілайн-КІ:
- Чорно-біле малювання чоловіка з рогами, посібник IKEA, як монстр D&D, а також зображення, згенероване AI_
- Турецька: bir adamın kulakları olan siyah ve beyaz bir çizim, ikea kılavuzu, d&d canavarı olarak, bir ai oluşturulmuş görüntü
- Нарис чорно-білого чоловіка з рогами, посібник IKEA, як монстр із D&D, зображення створене за допомогою штучної інтелегенції_
- Італійською: disegno a matita nero e bianco di чоловіка з рогами, ручка Ikea, як монстр D&D, зображення створене AI
- Польська: rysunek czarno-biały mężczyzny z rogami, instrukcja IKEA, як монстр D&D, образ згенерований AI
Переклади були перевірені та залишені без змін за допомогою попереднього золотого стандарту, DeepL.
Наступний крок міг би бути визначенням розділів/блоків.
Вображення показані блоки були автоматично розпізнані та позначені. Вони служать попереднім етапом для ефективної ідентифікації текстової та візуальної інформації.
Як багато інформації в таких блоках міститься, показує наступна ілюстрація.
Виділені текстові фрагменти були розпізнані автоматично. Тепер користувачеві надаються декілька можливостей. Інформація може бути знайдена як у потоці тексту, так і шляхом жорсткої пошуків. Жорстка пошукова операція визначає тільки відповіді, які містять повністю вказаний запит. Замість запиту можна також поставити питання до документа. Користувач бачить наприкінці лише свій інтерфейс пошуку (поле введення) та результати. Вище показані зображення він бачить лише за бажанням.
Власні документи запитують: з офлайн-КІ не лише краще можливе ніж із ChatGPT, але й дешевше та зі повною керуючою інформацією.
Також можливо знайти сторінку документа, яка семантично подібна до заданої сторінки.
У цьому прикладі були знайдені сторінки, які подібні до попередньо вказаної сторінки (сторінка 1, розташована ліворуч зверху). Оптична подібність у цьому випадку відбувається тоді, коли на інших сторінках також присутній чорний обрамований квадрат. Це відбувається на сторінках з 3 по 8 (від лівого до правого боку, від верхнього до нижнього краю). Як протиставлення було показано сторінку 2 як текстову сторінку, яка не подібна.
Є можливість проведення семантичних пошуків за текстом. Пошук документів та їх сторінок може здійснюватися з такою ж ефективністю із використанням офлайн-інтелектуальної техніки. Наприклад, у вказаному вище цифровому PDF-документі було здійснено пошук за термінами «особові дані».
Нижче наведені деякі з них:
Самовідомо, що офлайн-КІ може показувати результати прямо у вигляді тексту. Лише для прикладу тут були представлені результати у вигляді знімків екранів сторінок.
Детальний результат пошуку показано тут:
Без додаткових зусиль були знайдені також влучання, які мають одне й те саме значення, але використовують іншу мову вираження. Нестачка чіткості між "особистими" та "відносно особистими" була автоматично виправлена КІ. Цей дуже простий приклад майже безмежно ефективний.
Надійне прикладом семантичної пошукові є запит-відповідь асистент для блогу Dr. DSGVO , описаний у.
Пошук подібних
Як би було, якщо можна було знайти подібні за змістом зображення до якогось іншого? Ведмідь завжди ведмідь, котка завжди котка. Залежно від розміру тварини (або об'єкта, якщо мова йде про інші зображення), чи вона знаходиться в лівій або верхній частині зображення, чи тільки її голова чи повна фотографія видно.
Для сторінок документів результат дуже схожий:
У правій частині зображення сторінка PDF-документу, для якої потрібно знайти подібні сторінки. У лівій частині зображення сторінки із подібними сторінками. Похибність полягає у потоці тексту, але головним чином у блоку, який помаранжевого кольору. Якщо б були зображення в початковому зображенні, вони також б уваги. Замість цього можна було знайти документи із подібним текстом, який видно на зображенні. Варіантів безмежно багато.
Завершуючи цю тему ще одним коротким прикладом, ми можемо побачити, що інформацію також можна розпізнати в складніших зображеннях.
Вхідне зображення таке саме. Воно було зроблене старим мобільним телефоном, у низькій якості та під поганими освітленням:
Незапрограмована офлайн-ІКВ визначила, позначила та витягнула наступні дані протягом однієї треть секунди на ноутбуці:
Корисні дані були розпізнані та повернуті їхнє розташування. Таким чином, серійний номер 49865 був розпізнаний правильно і майже правильно розпізнаний номер A055247 (уявлення «A» було розпізнано як «4», що навіть для людини майже не помітне).
Як бачимо, деякі дані не ідентифіковані. Для цього існує декілька рішень:
- Автоматично повернути зображення та здійснити розпізнавання знову
- Семантичний порівняльний аналіз літер і цифр із використанням офлайн-КІ та навченої раніше моделі КІ
- КИ-модель з прикладами фотографій шин навчалися
- Якщо недостатньо прикладів для навчання: Синтетично створіть будь-яку кількість прикладів за допомогою Offline-AI + звичайними методами (шум, обертання зображення, зниження якості тощо)
AI for your company
- Powerful and optimizable
- Full data control
- Fast proof of concept
- Inexpensive
Є можливість не лише цифрового сканування документів (які можуть містити зображення) за допомогою Офілайн КІ, але й автоматичної оцінки фотографій. Для страхових компаній це може бути дуже цікавим. Зібрані раніше, часто сотні тисяч прикладів із практики можна використовувати як конфіденційну навчальну базу даних для системи Офілайн КІ. Якщо немає достатньої кількості навчальних даних, існує можливість створити штучно такі дані навчання. Для цього також використовується Офілайн КІ і вже тепер вона чекає на те, щоб протягом декількох годин працювати на вашому сервері, тоді як ви зможете відпочивати або поважати вихідні.
Висновок
З допомогою офлайн-кі можна цифровізувати документи різного роду. Скановані або фотографовані документи аналізуються за допомогою кі. Інформація з тексту та зображень видобувається за допомогою кі. Наприклад, видобуті дані потім можуть бути семантично досліджені, зібрані, перекладені в простішій мові або інші мови перекладені.
Також можлива пошук подібності за допомогою зображень: до однієї картинки знаходяться найбільш подібні картинки. І саме зі семантичної точки зору, а не як раніше шляхом порівняння точок на картинках.
Єдина річ, якої тепер потрібна цифровізація, — це добрий сканер або смартфон із камерою, залежно від ситуації.
Офлайн-КІ зберігає дані там, де вони належать – саме в вашій компанії. Крім того, офлайн-КІ дозволяє отримувати дані з Інтернету або спілкуватися зі своїми іншими інформаційними системами.
Результати значно краще для багатьох випадків застосування, ніж що бисьо ChatGPT зможе зробити. Також багатомовність не є проблемою, навіть з власними словниками компанії. Професійні терміни із страхування, медицини чи юриспруденції можуть бути таким чином належним чином враховані.
My name is Klaus Meffert. I have a doctorate in computer science and have been working professionally and practically with information technology for over 30 years. I also work as an expert in IT & data protection. I achieve my results by looking at technology and law. This seems absolutely essential to me when it comes to digital data protection. My company, IT Logic GmbH, also offers consulting and development of optimized and secure AI solutions.
