Abstract
The problem of finding the most relevant documents as a result of an extended and refined query is considered. For this, a search model and a text preprocessing mechanism are proposed, as well as the joint use of a search engine and a neural network model built on the basis of an index using word2vec algorithms to generate an extended query with synonyms and refine search results based on a selection of similar documents in a digital semantic library. The paper investigates the construction of a vector representation of documents based on paragraphs in relation to the data array of the digital semantic library LibMeta. Each piece of text is labeled. Both the whole document and its separate parts can be marked. The problem of enriching user queries with synonyms was solved, then when building a search model together with word2vec algorithms, an approach of "indexing first, then training" was used to cover more information and give more accurate search results. The model was trained on the basis of the library's mathematical content. Examples of training, extended query and search quality assessment using training and synonyms are given.
Highlights
A search model and a text preprocessing mechanism are proposed, as well as the joint use of a search engine and a neural network model built on the basis of an index using word2vec algorithms to generate an extended query with synonyms and refine search results based on a selection of similar documents in a digital semantic library
The paper investigates the construction of a vector representation of documents based on paragraphs in relation to the data array of the digital semantic library LibMeta
Automatic query expansion using SMART: Text Retr. Conf. (TREC) 3, presented at the 3rd Text Retr
Summary
Необходимо отметить, что существуют подходы с использованием моделей, построенных с помощью алгоритмов, обученных на общедоступных наборах данных. - применяются векторные представления документов и запросов для ранжирования результатов поиска. В процессе исследований была определена архитектура подсистемы поиска семантической библиотеки, которая состоит из: компонента предварительной обработки текста для представления документов в формате, пригодном для поиска, эффективной загрузки и хранения данных и обеспечения быстрого доступа к ним; компонента формирования полнотекстового индекса документов; компонента построения векторной модели на основе индекса с помощью алгоритмов word2vec; компонента обработки запросов и представления их в формате, удобном для выражения информационных потребностей пользователя на естественном языке, обогащенных синонимами из предметной области; компонента формирования результатов на основе оценок соответствия документа запросу, с использованием контента библиотеки. Особенность этого подхода – в гибком сочетании всех инструментов библиотеки, таких как тезаурусы, классификаторы и энциклопедия для поиска синонимов и схожих документов, а также оценки результатов на их основе. Метка фрагмента текста используется для выдачи близких по смыслу документов, которые не попадают в поисковую выдачу, но могут представлять интерес для пользователя
Sign-in/Register to view highlights & summary Talk to us
Join us for a 30 min session where you can share your feedback and ask us any queries you have
Schedule a callDisclaimer: All third-party content on this website/platform is and will remain the property of their respective owners and is provided on "as is" basis without any warranties, express or implied. Use of third-party content does not indicate any affiliation, sponsorship with or endorsement by them. Any references to third-party content is to identify the corresponding services and shall be considered fair use under The CopyrightLaw.
