SPONTANEOUS CATEGORIZATION AND SELF-LEARNING WITH DEEP AUTOENCODER MODELS

Abstract

У цій роботі автор досліджував обробку інформації у моделях глибокого автокодування. Було продемонстровано що непідконтрольне навчання автокодерам певного класу може призвести до появи компактного та структурованого внутрішнього представлення простору вхідних даних, що може бути співвіднесено з категоріями вищого рівня. Була запропонована і продемонстрована практичнa можливість виявити та виміряти цю формується інформаційну структуру шляхом застосування непідконтрольного кластеризації щільності в просторі активації фокусного прихованого шару моделі. На основі отриманих висновків запропонований новий підхід до навчання моделей нейронних мереж, що базується на структурах виникаючих у в неконтрольованом інформаційному середовищі навчання, який є ітеративним, керованим навколишнім середовищем, вимагає мінімального нагляду та з подібністю до вивчення біологічних систем i також дає хороші результати класифікації при навчанні нових концепцій вищого рівня навіть при мінімальному наборі маркованих даних. На закінчення надається обговорення теоретичних основ спонтанної категоризації в системах самонавчання.