Оптимальный байесовский классификатор выбирает класс с наибольшей апостериорной вероятностью возникновения (так называемая максимальная апостериорная оценка, или MAP). Можно показать, что из всех классификаторов Оптимальный байесовский классификатор будет иметь наименьшую вероятность промаха при классификации наблюдения, то есть наименьшую вероятность ошибки.
Так что, если мы знаем апостериорное распределение, то использование байесовского классификатора вполне возможно.
Наиболее вероятная классификация нового случая получается путем объединения предсказаний всех гипотез, взвешенных по их апостериорным вероятностям. Уравнение ниже демонстрирует, как рассчитать условную вероятность для нового экземпляра (vj) с учетом обучающих данных (D) с учетом пространства гипотез (H). Если вероятной классификацией нового примера может быть любое значение vj из множества V, вероятность P(vj/D) того, что правильной классификацией для нового примера является vj, равна просто
» » » P(vj|D) = Sum{h ∈ H} P(vj|hj)*P(hj|D)
Bayes оптимальная классификация:
» » » » » argmax Sum{h ∈ H} P(vj|hj)*P(hj|D)
» » » » » » vj ∈ V