Generative Probabilistic Graphical Model Base on the Principal Manifolds

Palamar Irina Nikolaevna,Sergey Sergeevich Yulin

doi:10.15622/sp.33.12

Abstract

The paper deals with a generative probabilistic graphical model with hidden states based on nonlinear principal manifolds specified as a grid of nodes to solve the problem of classification of sequences or time-series data. Kohonen's self-organizing map is used to approximate the training data as the grid nodes. The model is presented in factor-graph form the used factor-functions description. Method of learning and probabilistic inference is developed on the proposed model. Evaluated quality of the classification of the proposed model is compared with existing models (HMM, HCRF) on different sets of data from the UCI repository, including a comparative evaluation in the case when small amount of the training data is available.

Highlights

Probabilistic graphical models with hidden states are used for sequences
In this paper we propose a probabilistic graphical model based on approximation of training data
Kohonens self-organizing map algorithm is used as an algorithm for constructing the grid nodes

Summary

МОДЕЛЬ НА ОСНОВЕ ГЛАВНЫХ МНОГООБРАЗИЙ

Цель данной работы – разработка графической вероятностной модели, аппроксимирующей обучающие данные без выполнения оценки параметров функции плотности распределения вероятностей появления наблюдаемых данных и позволяющей улучшить качество классификации в сравнении с классификатором на основе HMM. Сформулировать основную задачу методов построения нелинейных многообразий в предлагаемой модели можно как задачу аппроксимации обучающих данных для каждого класса соответствующими главными многообразиями, заданными в виде сетки узлов. Пусть дано тестовое множество B = {b1,b2 ,...,bm} – неупорядоченный набор последовательностей наблюдений длины m без указания принадлежности к классу, где bi = {x1, x2 ,..., xT } – i -ая последовательность наблюдений длины T , представляющая собой упорядоченный набор векторов-признаков xt , www.proceedings.spiiras.nw.ru где t = 1..T. Тогда классификация последовательности bi выполняется как вычисление выражения: y0 = arg my=1a..xC(L(bi | M y = {W , Α})), где L(bi | M y = {W , Α}) – правдоподобие модели M y класса y наблюдаемой последовательности bi.

Априорное распределение Дирихле

SUMMARY