Определение достоверности результатов распознавания символа в системе Cognitive Forms В. В. Арлазаров, В. М. Кляцкин - davaiknam.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Название работы Кол-во страниц Размер
Установка системы распознавания документов Cognitive Scanifyapi 1 27.19kb.
Инструкция Эксплуатация Bi-Forms 1 48.61kb.
Адаптивное распознавание символов В. Л. Арлазаров 1 279.44kb.
Гистограммный и полигональный способ оценивания плотности вероятности 1 16.2kb.
Разработка алгоритмов построения оценок достоверности для систем... 1 207.88kb.
В. Г. Тоценко1, Е. А. Петрова2, Л. А. Чернявская2 1 192.25kb.
Информация о Всероссийском конкурсе идей талисманов Олимпийских игр... 1 25.89kb.
Положение о проверке достоверности и полноты 1 184.86kb.
Вопросы для подготовки Часть Принципы построения синтаксических анализаторов 1 12.23kb.
Шелестюк Е. В. Представленность символа в структуре понятия 1 213.45kb.
Тесты для определения наркотиков 1 40.9kb.
Самодержавная власть султана последовательный враг прогресса. 1 244.94kb.
Направления изучения представлений о справедливости 1 202.17kb.

Определение достоверности результатов распознавания символа в системе Cognitive Forms - страница №1/1

Определение достоверности результатов распознавания символа в системе Cognitive Forms

В. В. Арлазаров, В. М. Кляцкин.


В данной работе рассмотрен важный вопрос определения достоверности результата распознавания символа в рамках задачи распознавания форм структурированных документов. Проанализированы различные пути решения этой задачи и приведено решение, реализованное в системе Cognitive Forms.

Введение


В современном мире ежедневно вводится с бумаги несколько десятков миллионов различных форм документов – почтовых карточек, платежных поручений, таможенных или налоговых деклараций, банковских чеков, бюллетеней для голосования, разного рода бумажных анкет, отчетов и множество других документов. Сотни тысяч операторов выполняют однообразную последовательность действий – бросают взгляд на очередную страницу, находят и читают текст заполнения и быстро набирают его на клавиатуре. Как альтернатива ручному вводу существуют технологии автоматизированного ввода форм.

Такие технологии обладают рядом явных преимуществ: современные модели сканеров могут вводить до 200 страниц в минуту, программы оптического распознавания текста "читают" несколько сотен символов в секунду и могут делать это без перерыва на обед. Помимо выигрыша в стоимости и качестве ввода, технологии сканирования и распознавания документов имеют и другое существенное преимущество – корректно идентифицированный поток документов, включающий распознанную информацию и графические образы, может составлять основу электронного архива, представляющего функции быстрого поиска документа, извлечения, пересылки и печати графического образа документа (по качеству аналогичной ксерокопии или даже лучшего). Развитие глобальных компьютерных сетей и возможность организации удаленного доступа к таким архивам подчеркивают это технологическое преимущество, постепенно выдвигают его на первый план. Таким образом, разработка систем массового ввода стандартизованных форм документов представляется актуальной задачей. Эти технологии опираются на достижения в обработке изображений и распознавании – двух самостоятельных быстро развивающихся областях искусственного интеллекта.

Важная задача, определяющая, наряду с качеством распознавания, эффективность системы ввода – выявление необходимости ручного контроля результатов распознавания, грубо говоря, это означает автоматическое определение достоверности результатов распознавания – т.е. способ определения, правильно ли распознан тот или иной объект без помощи человека.

Основные понятия и обзор методов определения достоверности результатов распознавания


Введем основные понятия, необходимые для дальнейшего изложения.

Система распознавания (далее классификатор) – это функция, решающая проблему определения, к какому классу из классов (далее алфавит распознавания) принадлежит образ в виде



где - классифицирующая функция, а - вектор альтернатив. Каждая альтернатива представляет из себя пару , где - индекс класса, - оценка принадлежности к -му классу. Альтернативы в векторе отсортированы по убыванию оценки принадлежности , т.е. и . При этом оценка принадлежности тем больше, чем больше, по мнению , возможность принадлежности образа к классу. Необходимо отметить, что природа оценки может быть как вероятностной, тогда , так и иметь не вероятностную природу, например, расстояние между эталоном и образцом , пример таких классификаторов приведены в работах [Koh86], [Koh90], где - эталонная модель класса . Необходимо отметить, что в задаче распознавания документов, как и во многих других задачах классификации, пока не достижима 100% точность работы классифицирующих алгоритмов и схем. Исходя из этого, возникает необходимость каким-либо образом детектировать те случаи, когда классифицирующая функция дала неверный результат, т.е. классификатор выдал максимальную оценку для класса, к которому образ в реальности не принадлежит. В задачах же ввода документов ошибки распознавания могут приводить к серьезным последствиям (например, если неправильно распознать адресат платежа на платежном документе, деньги могут быть неверно переведены), и задача определения достоверности результатов распознавания весьма актуальна.

Определим множество - множество образов распознавания и введем функцию

разбивающую множество на подмножества - правильно распознанных образов и - множество неправильно распознанных образов. Далее определим некоторое решающее правило - - функция определения достоверности, которое определяет достоверность результата распознавания i-го образа множества на основании результатов распознавания и множества внешних параметров . Это решающее правило разобьет подмножество на - множество правильно распознанных и достоверных образов и - множество правильно распознанных и признанных недостоверными. Множество разбивается на - множество неправильно распознанных и недостоверных образов и - множество образов с ошибкой распознавания признанных достоверными. Объединение множеств и дает множество правильно обработанных системой распознавания образов.

Вначале дадим обзор методов определения достоверности результатов распознавания, когда оценки являются либо апостериорным вероятностями принадлежности, либо существует простое преобразование из шкалы оценок классификатора к апостериорным вероятностям. Заменим на и будем считать, что выполняется условие . В этом случае правило выбора альтернативы с максимальной оценкой является правилом Байеса, схемы и методы распознавания с таким правилом выбора будем называть Байесовыми. В работе [Cho70] Чу, модифицировал правило Байеса, дополнив его возможностью отказа от классификации в случае недостаточной достоверности результата, сформулировав следующее правило

,

где - цена ошибки распознавания признанной достоверной, - цена обработки отбракованного символа и - цена ввода правильного символа. Это правило минимизирует Байесов риск



.

Основная идея этого правила заключена в том, что если образ лежит вблизи границы двух классов, оценки принадлежности к ним будет достаточно близки и в этом случае, в зависимости от задачи, может быть лучше признать образ недостоверно распознанным или вообще отказаться от распознавания этого образа. Это правило прямо опирается на оценку первой альтернативы - поэтому мы будем в дальнейшем называть такие правила «первой» альтернативы. В дальнейшем это правило было уточнено и модифицировано в работах [DM93] и [Ha96] – улучшено поведение на границах классов и в областях неразличимости классов, другой подход можно увидеть в работах [FRG00], [CSS95].

В работах [FST+99], [CFS+98] авторами был предложен и исследован более сложный подход к построению правила определения достоверности. Этот подход заключается в использовании двух «первых» альтернатив для Байесовых схем распознавания. Авторы ввели две дополнительные функции и , где - максимальная оценка принадлежности (), а - следующая за ней. Видно, что малые значения сигнализирует о низкой апостериорной вероятности принадлежности, а низкие значения сигнализируют о малой разнице в оценках принадлежности к двум разным классам. Далее авторы предлагают несколько правил отбраковки, различным способом комбинирующие и :

, ,

,

,

в результате получается 4 вида функций отбраковки









,

и задача сводится к нахождению выбору функции и нахождению порога , обеспечивающего решение поставленной задачи. В статье приведены практические результаты использования и показана эффективность применения вышеперечисленных критериев в системах, использующих для распознавания схему, выдающую оценки альтернатив в виде апостериорных вероятностей принадлежности образа к классу. Еще несколько различных подходов к решению этой проблемы приведено в работах [FR01],[Aki96], [SMT94].

В работе [Gor97] предложен более комплексный и системный подход к решению задачи построения правил определения достоверности результатов распознавания для случая распознавания рукописных полей документов. Для построения решающего правила автор ставит проблему определения достоверности как обычную задачу распознавания с двумя возможными классами: «достоверные», «не достоверные» в рамках парадигмы выбора Байеса, т.е.:


  1. Необходимо определить пространство признаков каждого вектора альтернатив;

  2. Вычислить в этом пространстве апостериорную вероятность принадлежности к классам «достоверно» и «не достоверно»;

  3. Применить решающие правило Байеса с различными ценами ошибки и отбраковки.

После серии экспериментов автор формирует пространство признаков разделив его на три категории:

  1. «Абсолютные» - не зависящие от применения системы параметры, такие как число альтернатив с ненулевой оценкой, логарифм от абсолютного значения оценки и т.д.

  2. «Относительные» - не зависящие от применения системы параметры, т.е. параметры, значения которых вычисляются с помощью некоторых функций от вектора альтернатив.

  3. Параметры, зависящие от области применения, например цена ошибки или отбраковки и т.д.

Далее автор использует нейронную сеть для получения апостериорных вероятностей и приводит результаты для задачи распознавания банковских чеков, которые показывают правильность такого системного подхода к задаче определения достоверности результатов распознавания.

Проблема вышеперечисленных критериев заключена в том, что они опираются на вероятностную природу оценки, переход к которой для схем распознавания выдающих оценку распознавания в не вероятностном виде может быть достаточно затруднительным.


Комплексный подход к правилам определения достоверности

Для построения комплексных правил определения достоверности необходимо сначала, определить пространство параметров, в которых будут оперировать такие правила. Для этого разобьем все параметры на три группы:



  1. Априорные параметры системы распознавания – параметры, неизменные во времени, характеризующие саму систему и объекты распознавания, такие как матрица межклассовой близости и матрица межклассовых отношений.

  2. Параметры вектора альтернатив – параметры, характеризующие вектор альтернатив – оценки, число альтернатив, индексы классов альтернатив, , , , и другие.

  3. Параметры применения – множество параметров, которое задается извне и зависит от применения системы распознавания, примерами таких параметров являются - цена ошибки распознавания второго рода, - цена отбраковки и - цена правильного распознавания в правиле Чу.

Все эти параметры образуют параметрическое пространство , в котором каждому вектору альтернатив соответствует точка в этом пространстве с координатами , где - размерность пространства. Таким образом, задача определения достоверности заключается в построении решающего правила , что эквивалентно решению обычной задачи распознавания с двумя возможными классами, и решать эту задачу можно методами, которые уже применяются для распознавания других объектов.

Для решения этой задачи можно использовать нейронную сеть, которая на выходе будет выдавать вычисленные оценки апостериорных вероятностей классов, что очень важно для построения правила выбора оптимального решения. Примером таких сетей могут служить сети, описанные в работах [PKPD95, LR91]. После того как сеть обучена на размеченном обучающем множестве, на выходе она выдает апостериорные вероятности - вероятность достоверного ответа распознающей схемы и - вероятность ошибки. А так как у нас имеется только два класса (), вероятность вычислима через : , таким образом, для принятия решения имеется только один независимый параметр.

Теоретически, для проблемы распознавания двух классов, Байесов принцип выбора можно записать следующим образом: объект принадлежит к классу , если выполняется условие

,

в противном случае к классу . Коэффициенты - означают цену ошибок первого и второго рода. Прияв во внимание, что , правило выбора можно преобразовать к виду [DH73]:



.

Теперь видно, что решение зависит от одного параметра – отношения цен ошибок первого и второго рода, что хорошо согласуется со сделанными выше выводами о зависимости эффективности от того же соотношения. Каждое значение этого порога определяет конкретное соотношение числа ошибок первого и второго рода – точку на ER кривой. Изменяя этот параметр, мы меняем число правильно обработанных объектов и регулируем порог допустимого числа ошибок второго рода.

На практике нейронная сеть выдает - оценку вероятности . Определим порог , все образцы с вероятностью достоверности будем считать достоверными, а все образцы с вероятностью будем считать недостоверными и забракуем. Число ошибок первого и второго родов будет задаваться соотношениями:



Кроме нейронных сетей, возможно применение и других методов, используемых в распознавании образов, для решения поставленной задачи.

К преимуществам вышеописанного подхода можно отнести:


  • подход сводит задачу к стандартной задаче распознавания с двумя классами,

  • подход учитывает как большинство внутренних свойств системы, так и область ее применения,

  • подход позволяет использовать теоретические и практически хорошо проработанные методы теории распознавания.

К недостаткам этого подхода следует отнести высокую зависимость от применения, за счет параметров области, и, соответственно, некоторую неустойчивость к изменению внешней среды – изменение числа или природы внешних параметров ведут как минимум к переобучению, а могут приводить и к серьезному изменению всего метода. Кроме того, для обучения таких методов необходимо сформировать довольно специфическое обучающее множество, содержащие как достоверные результаты, так и большое число недостоверных результатов распознавания, причем недостоверные результаты должны максимально покрывать множество внешних параметров. Построение таких множеств достаточно трудоемкая и сложная задача – современные системы распознавания работают с достаточно высоким качеством, и ошибки составляют 1-3% символов.

В следующих частях этой статьи будет показана практическая реализация части вышеперечисленных методов, будет экспериментально изучено поведение различных критериев и подходов на практике и проанализирована их применимость и устойчивость. Особое внимание будет уделено комплексному подходу и его сравнению с остальными.



Практическая реализация и исследование поведения различных правил определения достоверности

Предложенные критерии были реализованы и исследованы в системе ввода структурированных документов Cognitive Forms. Для исследования эффективности критериев использовалась специально набранная из реальных документов размеченная база изображений рукопечатных символов цифр от 0 до 9, пример на рис 1 . Для вычисления использовалась база с равномерным распределением образов по классам в количестве 15000 изображений, контрольная база составляла 15000 изображений, при этом базы содержали как правильно распознанные символы, так и неверно распознанные символы, часть из которых относилось не к ошибкам распознавания, а к ошибкам других систем, например системы сегментации или сборки символа. Сначала проводилось обучение на обучающей выборке, после чего строилась ER кривая для каждого случая, при этом качество распознавания оставалось неизменным. Каждая ER кривая представляет в графическом виде зависимость числа (в процентах), от допустимого процента ошибок в системе Cognitive Forms, для каждого правила. Необходимо отметить, что замеренная ошибка ввода бланка квалифицированным оператором в системе без распознавания составляет 1% и более в зависимости от характера вводимой информации.



Рис 1. Пример рукопечатных символов цифр от 0 до 9.

Cначала замерим ER кривую для тривиального случая критерия «первой» альтернативы - , где пороговое значение – одно для всех классов, а каждая точка ER - это процент ошибок первого и второго рода при фиксированном пороге (см. рис. 2). Из графика видно, что правило обеспечивает приемлемый уровень ошибок первого рода (<5%) только начиная с 1.1% ошибок второго рода, и его эффективное применение ограничено системами, в которых допустимая погрешность ввода больше 1,1%. К таким системам относятся системы ввода статистической и регистрационной информации, для банковских, страховых и других систем, требующих высококачественной информации, это правило применимо, но низкоэффективно.

Рис 2. Кривая ER для правила первой альтернативы.

Теперь рассмотрим простейшее улучшение правила «первой» альтернативы, а именно зададим порог для каждого класса, т.е. , где . Теперь нам надо в 10-мерном пространстве порогов найти точки, обеспечивающие заданное качество ввода и обеспечивающие минимальное количество ошибок первого рода. Для этого необходимо решить следующую задачу: пусть имеется – мерное целочисленное пространство порогов и всюду определенные в этом пространстве функции – процент ошибок второго рода и – процент ошибок первого рода, , а – число классов. Теперь можно поставить задачу нахождения порогов в виде:



, где процент ошибок.

, где

.

, где

,

.

Таким образом, мы свели задачу нахождения комбинации порогов к стандартной задаче условной оптимизации, решая которую для различных , мы получим соответствующие ER кривые порогов для каждого класса цифр. Для системы Cognitive Forms эта задача была решена комбинацией метода штрафных функций и метода сопряженных градиентов. Реальное число ошибок распознавания рукописных цифр колеблется от 0.2% на обучающей базе до 5% на искусственно сильно загрязненной базе, так что в качестве взяты точки интервала с шагом 0.1. На рис. 3а показаны кривые для каждого класса и видно, что они существенно различны для разных классов, а на рис 3б показана ER сводная кривая «первой» альтернативы и ER кривая «первой» альтернативы с единым порогом для сравнения. Из графика видно, что подход с поклассовым порогом обеспечивает более качественное и эффективное решение проблемы на интервале от 0.5 до 2 процентов, который, как уже упоминалось выше, является основным. Наиболее эффективный критерий в группе будет использоваться как отправная точка для сравнительного анализа эффективности других критериев, далее ER этого правила будем называть базовой кривой правила «первой» альтернативы.



Рис. 3а. ER – кривые для отдельных классов по правилу «первой» альтернативы.



Рис. 3. ER – кривые единого и поклассового порога правилу «первой» альтернативы.

Перейдем к практическому построению и исследованию различных правил двух альтернатив, начав с тривиального случая и последовательно усложняя правила. На рис. 4, показано сравнительное поведение базовой ER кривой правила «первой» альтернативы и правила двух альтернатив для случая , .

Из рисунка видно, что даже в простейшем случае правило двух альтернатив на разных интервалах дает различный результат, так на интервалах (0.5; 0.65) и (1.1; 1,85) базовое правило «первой» альтернативы эффективней, на интервале (0.65; 1.1) лучше тривиальное правило двух альтернатив, на интервале (1.85; 3.6) они дают одинаковый результат (с точностью до погрешности эксперимента). Таким образом, это правило двух альтернатив эффективней правил «первой» альтернативы в системах с качеством распознавания в интервале (0.9; 1.1), т.е. в части банковских, страховых и других системах требующих быстрого и эффективного ввода информации с высоким качеством информации, примерами таких систем могут служить системы ввода платежных документов, системы ввода документов Пенсионного фонда России и система ввода бланков заявлений обязательного страхования автогражданской ответственности.

Перейдем к рассмотрению следующего правила «двух» альтернатив – «дельта» правила, его ER кривая также представлена на рис 4. Из графика видно, что «дельта» правило даёт худшие результаты, чем правило «первой» альтернативы в области, где требуется высокая надежность и может быть рекомендовано только в системах, не предъявляющих высоких требований к качеству информации. Этот пример показывает, что более сложные правила, использующие дополнительную информацию из «общих соображений», могут и не давать ожидаемого результата на некоторых классификаторах.

Теперь перейдем к исследованию порогового правила двух альтернатив с порогами, выбираемыми для каждого класса в отдельности, т.е. , где и , где . Теперь, аналогично правилу первой альтернативы, нам надо в 20–мерном пространстве порогов найти для каждого точку, обеспечивающую заданное качество ввода и минимальное количество ошибок первого рода.




Для этого необходимо решить следующую задачу: пусть имеется – мерное целочисленное пространство порогов и всюду определенные в этом пространстве функции - процент ошибок второго рода и - процент ошибок первого рода, , а – удвоенное число классов. Теперь можно поставить задачу нахождения порогов в виде:



, где процент ошибок.

, где



, где

,

.

Решение этой задачи аналогично задачи решению задачи для правила первой альтернативы. ER кривая результата показана на рис. 4. из которого видно, что на рабочем интервале системы это правило показывает лучший результат.

Теперь перейдем к рассмотрению комплексных правил определения достоверности, построив такую схему принятия решения, которая позволит получить возможность формулировать внешние параметры для классификатора. Особенность схемы заключается в том, что сначала распознаются все символы, потом вычисляются значения внешних признаков (состав и природа этих признаков описаны ниже) для поля, а уже потом принимается решение о достоверности распознанных символов. Схема представлена на рис. 5. Такая модификация позволяет более точно вычислить цену ошибки ввода поля и более точно отрегулировать классифицирующий механизм.

Рис. 5. Схема принятия решения о достоверности с учетом внешних параметров поля.

Теперь перейдем к выбору параметров для построения признакового пространства , в котором будет решаться задача классификации. Определим перечень априорных параметров системы:

– соответствующий элемент матрицы межклассовых отношений для распознающей схемы,

– соответствующий элемент матрицы межклассовой близости,

– качество распознавания класса, замеренное для распознающей схемы.

Перейдем к характеристикам вектора альтернатив:



– оценка «победившего» на этапе распознавания класса,

– оценка второй альтернативы,

– число альтернатив,

, взвешенная оценка первой альтернативы,

, взвешенная оценка второй альтернативы,

– индекс «победившего» на этапе распознавания класса,

– индекс класса второй альтернативы.

Определив априорные параметры и характеристики вектора альтернатив, займемся описанием внешних параметров. Заметим, что для каждого поля формы список внешних параметров будет разный. Поэтому внесение внешних параметров в саму модель вызывает необходимость переобучать метод распознавания для любой новой формы. С другой стороны, модель должна быть такова, чтобы введение новых параметров не вызывало необходимости в перепрограммировании системы обучения и использования.

Механизм этого принципа состоял в том, что было реализовано некоторое количество «абстрактных» параметров, причем те из них, которые не используются, просто заполняются нулями. Параметры разбиты на две группы: «непрерывные», нормированные на интервал [0,1] (например, цена ошибки в этом поле) и дискретные (булевские, например, превышает ли сумма платежа 25000 руб.). При таком подходе, мы получаем возможность создавать различные схемы определения достоверности, опираясь на общую модель.

Для обучения и построения решающего правила отбраковки в системе Cognitive Forms была разработана трехслойная нейронная сеть (типа многоуровневого персептрона далее – MLP) с четырнадцатью вышеперечисленными входами и двумя выходами в виде оценки вероятности достоверности и недостоверности, в качестве сжимающей функции на выходном слое была использована функция SoftMax. Сначала для обучения была использована та же база, что и для обучения других критериев, но исследования показали, что она недостаточна для обучения сети, и для обучения использована специально набранная из реальных документов база рукопечатных символов, состоящая из 100000 образцов, в том числе и 5% ошибок, которая включала и ту базу, которая использовалась для других критериев. После проведения обучения были замерены значения ошибок первого и второго рода для различных порогов, в соответствии с вышеизложенной теорией и была получена ER кривая, которая показана на рис. 6. Для сравнения на рис. 6 показана лучшая из кривых для правил первой и второй альтернатив.



Результат


Из анализа кривых видно, что построенная нейронная сеть дает лучший результат на всем пространстве, особенно заметно это на интервале (0.5; 1.9) покрывающим практически весь интервал работы системы. Данный метод был внедрен в системах Cognitive Forms: АСМВ СПУ 4.0 (ввод документов Пенсионного фонда России) с уровнем ошибок 1%, АСМВ БВУК (ввод документов Пенсионного фонда России о Выборе управляющей компании) с уровнем ошибок 0.5%, Cognitive Forms ОСАГО (ввод документов обязательного страхования гражданской ответственности водителей автотранспорта) с уровнем ошибок 1%.

Список литературы


[DM93]

B. Dubuisson and M. Masson: “A statistical decision rule with incomplete knowledge about classes”, Pattern Recognition, 26, 1, pp.155-165, 1993

[Koh86]

T. Kohonen, “Learning vector quantization”, Helsinki University of Technology, Laboratory of Computer and Information Science, Report TKK-F-A601, 1986

[Koh90]

T. Kohonen, “The self-organizing map”, Proc. of IEEE, 78, 9, pp. 1464-1479, 1990

[DM93]

B. Dubuisson and M. Masson: “A statistical decision rule with incomplete knowledge about classes”, Pattern Recognition, 26, 1, pp.155-165, 1993

[Ha96]

T. M. Ha: “An optimum class-selective rejection rule for pattern recognition”, Proc. of 13th ICPR, 2, pp.75-80, 1996

[FST+99]

P. Foggia, C. Sansone, F. Tortorella, M. Vento, “Multiclassification: reject criteria for the Bayesian combiner”, Pattern recognition, 32, pp.1435-1447, 1999

[CFS+98]

L.P. Cordella, P. Foggia, C. Sansone, F. Tortorella, M. Vento, "Optimizing the Error/Reject Trade-off for a Multi-Expert System using the Bayesian Combining Rule", in A. Amin, D. Dori, P. Pudil, H. Freeman (eds.), Lecture Notes in Computer Science, vol. 1451, Springer, Berlin, pp. 339-348, 1998.

[FRG00]

G. Fumera, F. Roli, G. Giacinto: “Reject option with multiple thresholds”, Pattern Recognition, 33, pp.2099-2101, 2000

[FR01]

G. Fumera, F. Roli: “Error Rejection in Linearly Combined Multiple Classifiers”, Int. Report n. 2001-113, Dept. of Electrical and Electronic Eng., Univ. of Cagliari, 2001

[CSS95]

L.P. Cordella, C. De Stefano, C. Sansone, M. Vento, "An adaptive reject option for LVQ classifiers", Lecture Notes in Computer Science, vol. 974, Springer-Verlag, pp. 68-73, 1995.

[Aki96]

Akiyama K. “A new reject decision method for statistical pattern recognition”, Proc. of IWFHR-5, Univ. of Essex, England, 1996.

[SMT94]

Sabourin M., Mitche A, Thomas D., Nagy G. “Classifier combination for hand-printed digit recognition”, hoc. of the 2d ICDAR, Tsukuba, Japan, 1994.

[Gor97]

Gorski N. “Optimizing error-reject trade-off in recognition systems”, Proc. of the 4-th ICDAR, Ulm, Germany, 1997.

[PKPD95]

Price D., Knerr S., Perssonaz L., Dreyfus G. “Pairwise neural network classifiers whit probabilistic outputs”, In Advances in Neural Information Processing Systems 7, MIT Press, 1997.

[LR91]

Lippmann R.P., Richard M.D., “Neural network classifiers estimate Bayesian a posteriori probabilities”, Neural Computation, 3, 1991.











Умереть — значит присоединиться к большинству. Перефразированный Петроний
ещё >>