Інтелектуальна обробка документів (Intelligent Document Processing) та оптичне розпізнавання символів (Optical Character Recognition): Чи коректно ви застосовуєте терміни?
Для кожної організації, яка має справу з великими обсягами різноманітних даних, їх обробка та подальше опроцесування є щоденною невідкладною потребою. Через постійне зростання кількості даних та урізноманітнення їх форматів особливо гостро постає сьогодні необхідність інтелектуальної автоматизованої обробки цих даних з метою підвищення операційної ефективності та звільнення людських ресурсів від рутинної механічної роботи.
Частково ці завдання може покривати технологія роботизації бізнес-процесів (Robotic Process Automation, RPA), яка уже прижилася на українському ринку й показала досить високі результати в обробці великих масивів структурованих даних.
Однак все ж досить значна частина даних надходить нині в організації у неструктурованому або напівструктурованому форматі. Наприклад, відмінні за формою рахунки від різних постачальників, багатосторінкові файли з різноформатними документами-вкладеннями, ідентифікаційні документи, сертифікати, банківські виписки, аплікаційні форми, анкети, акти, декларації тощо. Усі ці документи, власне, і потребують інтелектуальної автоматизованої обробки.
Інтелектуальна обробка документів (Intelligent Document Processing, IDP) – термін достатньо новий у світі інтелектуальної автоматизації. Мабуть, не в останню чергу саме через це подекуди ще побутує хибка думка про тотожність понять оптичного розпізнавання символів (Optical Character Recognition, OCR) та інтелектуальної обробки документів, а інколи навіть тенденція підміняти останню більш узвичаєним терміном OCR. Певно, зайве й говорити про небезпеку такої термінологічної плутанини і фактично підміни понять, що може спричинити хибні очікування від кожної із цих технологій. А відтак – розчарування та навіть провали проектів з інтелектуальної автоматизації.
Отже, спробуймо розібратися, у чому ж полягає сутність та можливості кожної із цих технологій.
Оптичне розпізнавання символів (OCR)
Технологія оптичного розпізнавання символів – технологія, котра дозволяє конвертувати зображення, отримане з відсканованих документів або знімків документів, у читабельний електронний формат. На сучасному етапі свого розвитку технологія OCR дозволяє з високою точністю розпізнавати друкований та (з трохи меншою долею точності) рукописний текст.
Це досить поширений сьогодні в різних галузях метод оцифрування друкованих текстів, який значно спрощує роботу з документами.
Існує помилкова думка, що за допомогою технології OCR можна вилучати з документів потрібні дані. Насправді це не так. Скажімо, для прикладу, нам потрібно вилучити із занесенням у внутрішні корпоративні системи дату й номер рахунку з 5-ої сторінки 150-сторінкового документа. Пропустивши документ через стандартний OCR, ми отримаємо більш чи менш (залежно від якості вихідного документа) якісно розпізнаний текст усього багатосторінкового документа. Однак потрібні нам дату й номер рахунку з 5-ої сторінки документа нам усе-таки доведеться вилучати й заносити в системи вручну. Технологія OCR (взята у чистому вигляді), отже, дозволяє розпізнавати, але не вилучати потрібні дані. Вилучення даних залишається тут прерогативою неефективної і трудомісткої ручної обробки. Тому, якщо вашою метою є цілісна автоматизована обробка неструктурованих та напівструктурованих даних, не варто покладати на технологію OCR марних надій.
Точніше кажучи, не варто покладатися лише на неї. Адже, поза сумнівом, якісно розпізнаний текст – це дуже вагомий базис для подальшої інтелектуальної обробки, і тут без OCR не обійтись. Однак для досягнення найвищих показників операційної ефективності можливості OCR мають бути посилені когнітивними технологіями, що дозволяли б коректно вилучати з різноманітних за формою документів цільові дані. Власне, це стає можливим завдяки технології інтелектуальної обробки документів.
Інтелектуальна обробка документів (IDP)
Поняття інтелектуальної обробки документів набагато ширше, ніж технологія OCR, хоч воно включає в себе останню (поряд з такими когнітивними компонентами, як ICR, OMR, Computer Vision тощо). Завдяки застосуванню когнітивних технологій IDP дозволяє збільшити кількість можливих даних для опроцесування, перетворюючі неструктуровані або напівструктуровані дані у структурований формат. А відтак – дозволяє забезпечити повний цикл цілісної автоматизованої обробки документів, задовольняючи бізнес-потреби в пошуку, захопленні та розпізнаванні саме необхідних / цільових (а не всіх, на відміну від чистого OCR) даних для подальшої їх обробки у внутрішніх корпоративних системах.
Інтелектуальна обробка документів (Intelligent Document Processing) передбачає наявність наступних функціональних когнітивних можливостей, таких як:
- Покращення якості зображення;
- Цільове розташування та зчитування даних;
- Перетворення даних у необхідний формат;
- Класифікація різнотипних та / або багатосторінкових документів;
- Зчитування даних з різнотипних та / або багатосторінкових документів;
- Пост-обробка зчитаних даних та їх автоматична валідація;
- Перевірка даних з низьким рівнем довіри, де це потрібно;
- Вбудований функціонал аналітики та звітності за завантаженістю черги розпізнавання;
- Гнучкі можливості налаштування документообігу (BPM) та управління документами;
- Архів документів та розумний пошук документів у ньому;
- Можливості гнучкого / гранульованого управління правами доступу до документів; та ін.
Тож інтелектуальна обробка документів – це сполучення всіх перелічених вище компонентів: когнітивних можливостей і технологій, з одного боку, та можливостей комплексної обробки документів, з іншого. Для забезпечення найкращого результату проектів з автоматизації вони мають бути інтегровані в єдине цілісне рішення / платформу з інтелектуальної обробки документів. Про це ми вже писали докладніше в нашому попередньому блозі – Інтелектуальна обробка документів (Intelligent Document Processing) за допомогою Tesseract, Google Vision API та elDoc
Технологія інтелектуальної обробки документів – поки що достатньо нова для українського ринку в сегменті інтелектуальної автоматизації. Однак, враховуючи її потужні можливості для швидкої та ефективної обробки великих масивів неструктурованих даних, а також високий попит на такі рішення у світі, перспективи її розвитку дуже й дуже обнадійливі.
Більше інформації про комплексну інтелектуальну обробку документів ви можете знайти, перейшовши за наступним посиланням – elDoc
Про «elDoc»
«elDoc» – інтегрована інтелектуальна платформа для автоматизації процесів документообігу та обробки документів, що включає elDoc IDP (Intelligent Document Processing) – високотехнологічний модуль з інтелектуальної обробки документів. elDoc IDP – потужне інтелектуальне рішення, побудоване із застосуванням когнітивних технологій, що здатне класифікувати, здійснювати «image clearance», розпізнавати та отримувати дані зі сканованих та цифрових документів; elDoc BPM (Business Process Management) – високотехнологічний модуль для управління бізнес-процесами, що дозволяє налаштовувати процеси документообігу та форми документів відповідно до різних сценаріїв без програмування.
Про «DMS Solutions»
Компанія «DMS Solutions» – технологічна продуктова компанія, розробник інтегрованої платформи для інтелектуальної автоматизації процесів обробки документів (IDP – Intelligent Document Processing & Document Workflow Automation) – «elDoc».
Ми – перший український провайдер рішень у сфері інтелектуальної обробки документів та роботизації бізнес-процесів (Robotic Process Automation, RPA), побудови систем когнітивної автоматизації процесів обробки документів. Компанія «DMS Solutions» представлена в Україні й Гонконгу, охоплює ринки Європи, Північної Америки та Азії. «DMS Solutions» є офіційним глобальним Advanced UiPath Technology Partner у сфері інтелектуальної обробки документів (Intelligent OCR).