Abstract
Topic modeling is an important and widely used method in the analysis of a large collection of documents. It allows us to digest the content of documents by examination of the selected topics. It has drawbacks such as a need to specify the number of topics. The topics can become too local or too global, depending on that number. Also, it does not provide a relation between local and global topics. Here we present an algorithm and a computer program for the hierarchical rubrication of text documents. The program solves these problems by creating a hierarchy of automatically selected topics in which local topics are connected of the global topics. The program processes PDF documents split them into text segments, builds vector representations using word2vec model and stores them in a database. The vector embeddings are structured in the form of a hierarchy of automatically constructed categories. Each category is identified by automatically selected keywords. The result is visualized in an interactive map. Traversing the hierarchy of topics is done by zooming the map. An analysis of the constructed hierarchy of categories allows us to evaluate the minimum and maximum depth of the hierarchy corresponding to a minimum and a maximum number of different topics contained in the collection of documents. The program was tested on documents on deep nuclear waste disposal.
Highlights
The results show good quality of the constructed hierarchy of topics and the program can be used for familiarization with the collection of documents and for thematic search
В настоящее время большой интерес представляет разработка методов автоматической рубрикации с привлечением машинного обучения
Анализ получившейся иерархии выполняется с помощью ключевых слов определяемых для каждого кластера
Summary
Рубрикация (отнесение документа к одной или нескольким категориям / рубрикам) является одним из наиболее распространенных методов систематизации не упорядоченной коллекции документов. В случае если темы рубрики заданы заранее, задачу рубрикации можно рассматривать как задачу классификации. Если же темы рубрик заранее не заданы, то рубрикацию можно рассматривать как задачу кластеризации. Для рубрикации на основе машинного обучения каждый документ представляется в виде вектора в n-мерном пространстве. Эти методы позволяют автоматически получать семантически нагруженные векторные представления слов или фрагментов документов, а полученные векторы затем могут быть использованы для контекстного поиска [5] или кластеризации документов. Получаемое в результате обучения такой модели, также может быть использовано для кластеризации текстов. Дополнительной сложностью при кластеризации является выбор числа кластеров для корпуса текстов с заранее неизвестным количеством различных тем. Между этими значениями числа кластеров может существовать несколько уровней кластеризации, которые достаточно хорошо описывают как глобальные, так и более локальные темы, встречающиеся в корпусе текстов. Для построенной иерархии тем выполнена оценка точности в зависимости от уровня иерархии
Sign-in/Register to view highlights & summary Sign-in/Register to access full text options 
Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a call
