Интеллектуальная обработка документов (Intelligent Document Processing) и оптическое распознавание символов (Optical Character Recognition): Корректно ли вы используете термины?

Для каждой организации, которая имеет дело с большими объёмами различных данных, их обработка и дальнейшее опроцессирование является ежедневной неотложной потребностью. Из-за постоянного увеличения количества данных и разнообразия их форматов особенно остро возникает сегодня необходимость интеллектуальной автоматизированной обработки этих данных с целью повышения операционной эффективности и высвобождения человеческих ресурсов от рутинной механической работы.

Частично эти задачи может покрывать технология роботизации бизнес-процессов (Robotic Process Automation, RPA), которая уже прижилась на украинском рынке и показала достаточно высокие результаты в обработке больших массивов структурированных данных.

Однако всё же довольно значительная часть данных поступает сейчас в организации в неструктурированном или полуструктурированном формате. Например, отличающиеся по форме счета от разных поставщиков, многостраничные файлы с разноформатными документами-вложениями, идентификационные документы, сертификаты, банковские выписки, аппликационные формы, анкеты, акты, декларации и под. Все эти документы, собственно, и нуждаются в интеллектуальной автоматизированной обработке.

Интеллектуальная обработка документов (Intelligent Document Processing, IDP) – термин достаточно новый в мире интеллектуальной автоматизации. Видимо, не в последнюю очередь именно поэтому кое-где ещё бытует ошибочное мнение о тождественности понятий оптического распознавания символов (Optical Character Recognition, OCR) и интеллектуальной обработки документов, а иногда даже тенденция подменять последнюю более знакомым термином OCR. Вероятно, излишне и говорить об опасности такой терминологической путаницы и фактически подмены понятий, что может привести к ложным ожиданиям от каждой из этих технологий. А следовательно – к разочарованию и даже провалам проектов по интеллектуальной автоматизации.

Итак, попробуем разобраться, в чём же заключается сущность и возможности каждой из этих технологий.

Оптическое распознавание символов (OCR)

Технология оптического распознавания символов – технология, которая позволяет конвертировать изображение, полученное с отсканированных документов или снимков документов, в читабельный электронный формат. На современном этапе своего развития технология OCR позволяет с высокой точностью распознавать печатный и (с немного меньшей долей точности) рукописный текст.

Это довольно распространённый сегодня в различных отраслях метод оцифровки печатных текстов, который значительно упрощает работу с документами.

Существует ошибочное мнение, что с помощью технологии OCR можно извлекать из документов нужные данные. На самом деле это не так. Скажем, например, нам нужно изъять с занесением во внутренние корпоративные системы дату и номер счёта с 5-ой страницы 150-страничного документа. Пропустив документ через стандартный OCR, мы получим более или менее (в зависимости от качества исходного документа) качественно распознанный текст всего многостраничного документа. Однако нужные нам дату и номер счёта с 5-ой страницы документа нам всё-таки придётся извлекать и заносить в системы вручную. Технология OCR (взятая в чистом виде), следовательно, позволяет распознавать, но не извлекать нужные данные. Извлечение данных остаётся здесь прерогативой неэффективной и трудоёмкой ручной обработки. Поэтому, если вашей целью является целостная автоматизированная обработка неструктурированных и полуструктурированных данных, не стоит возлагать на технологию OCR напрасных надежд.

Точнее говоря, не стоит полагаться только на неё. Ведь, несомненно, качественно распознанный текст – это очень весомый базис для дальнейшей интеллектуальной обработки, и здесь без OCR не обойтись. Однако для достижения высоких показателей операционной эффективности возможности OCR должны быть усилены когнитивными технологиями, которые позволяли бы корректно извлекать из разнообразных по форме документов целевые данные. Собственно, это становится возможным благодаря технологии интеллектуальной обработки документов.

Интеллектуальная обработка документов (IDP)

Понятие интеллектуальной обработки документов гораздо шире, чем технология OCR, хотя оно включает в себя последнюю (наряду с такими когнитивными компонентами, как ICR, OMR, Computer Vision и т. д.). Благодаря применению когнитивных технологий IDP позволяет увеличить количество возможных данных для опроцессирования, превращая неструктурированные или полуструктурированные данные в структурированный формат. А значит – позволяет обеспечить полный цикл целостной автоматизированной обработки документов, удовлетворяя бизнес-потребности в поиске, захвате и распознавании именно необходимых / целевых (а не всех, в отличие от чистого OCR) данных для последующей их обработки во внутренних корпоративных системах.

Интеллектуальная обработка документов (Intelligent Document Processing) предполагает наличие следующих функциональных когнитивных возможностей, таких как:

  • Улучшение качества изображения;
  • Целевое расположение и считывание данных;
  • Преобразование данных в требуемый формат;
  • Классификация разнотипных и / или многостраничных документов;
  • Считывание данных из разнотипных и / или многостраничных документов;
  • Пост-обработка считанных данных и их автоматическая валидация;
  • Проверка данных с низким уровнем доверия, где это нужно;
  • Встроенный функционал аналитики и отчётности по загруженности очереди распознавания;
  • Гибкие возможности настройки документооборота (BPM) и управления документами;
  • Архив документов и интеллектуальный поиск документов в нём;
  • Возможности гибкого / гранулированного управления правами доступа к документам; и др.

Поэтому интеллектуальная обработка документов – это сочетание всех вышеперечисленных компонентов: когнитивных возможностей и технологий, с одной стороны, и возможностей комплексной обработки документов, с другой. Для обеспечения наилучшего результата проектов по автоматизации они должны быть интегрированы в единое целостное решение / платформу по интеллектуальной обработке документов. Об этом мы уже писали подробнее в нашем предыдущем блоге – Интеллектуальная обработка документов (Intelligent Document Processing) с помощью Tesseract, Google Vision API и elDoc

Технология интеллектуальной обработки документов – пока что достаточно новая для украинского рынка в сегменте интеллектуальной автоматизации. Однако, учитывая её мощные возможности для быстрой и эффективной обработки больших массивов неструктурированных данных, а также высокий спрос на такие решения в мире, перспективы её развития очень и очень обнадёживающие.

Больше информации о комплексной интеллектуальной обработке документов вы можете найти, перейдя по следующей ссылке – elDoc

О «elDoc»
«elDoc» – интегрированная интеллектуальная платформа для автоматизации процессов документооборота и обработки документов, которая включает elDoc IDP (Intelligent Document Processing) – высокотехнологический модуль для интеллектуальной обработки документов. elDoc IDP – мощное интеллектуальное решение, построенное с применением когнитивных технологий, которое способно классифицировать, осуществлять «image clearance», распознавать и получать данные с отсканированных и цифровых документов; elDoc BPM (Business Process Management) – высокотехнологический модуль для управления бизнес-процессами, который позволяет настраивать процессы документооборота и формы документов в соответствии з различными сценариями без программирования.

О «DMS Solutions»
Компания «DMS Solutions» – технологическая продуктовая компания, разработчик интегрированной платформы для интеллектуальной автоматизации процессов обработки документов (IDP – Intelligent Document Processing & Document Workflow Automation) – «elDoc».
Мы – первый украинский провайдер решений в сфере интеллектуальной обработки документов и роботизации бизнес-процессов (Robotic Process Automation, RPA), построения систем когнитивной автоматизации процессов обработки документов. Компания «DMS Solutions» представлена в Украине и Гонконге, охватывает рынки Европы, Северной Америки и Азии. «DMS Solutions» является официальным глобальным Advanced UiPath Technology Partner в сфере интеллектуальной обработки документов (Intelligent OCR).