Концепция и архитектура парсинга и хранения единой базы патентов и научных журнальных публикаций

Abstract

Существующие на текущий момент методы автоматизированного сбора данных, хотя и облегчают данный процесс, но зачастую сталкиваются с проблемами низкой надежности, эффективности и скорости. Нестабильность соединений, блокировки IP-адресов и изменения структуры сайтов приводят к потере данных и необходимости постоянного контроля процесса парсинга, что увеличивает затраты на поддержание и эксплуатацию подобных систем. В связи с этим, разработка новых подходов и инструментов для парсинга необходимой информации является весьма актуальной задачей, способной трансформировать область интеллектуального анализа данных. В статье рассмотрен процесс разработки системы парсинга информации патентных систем и сайтов физико-технических журналов с использованием современных технологий и подходов, а также представлены результаты проверки его работоспособности. Данный инструмент может быть полезен патентным ведомствам, исследователям, студентам, инженерам, ученым, работающим в рассматриваемой предметной области. Использование такой системы позволит открыть новые возможности для интеллектуального анализа данных и принятия стратегических решений в области инновационного развития, а также для глубокого анализа технологических трендов, выявления перспективных разработок и построения стратегий инновационного развития. The currently existing methods of automated data collection, although they facilitate this process, often face problems of low reliability, efficiency and speed. Unstable connections, blocking IP addresses and changes in the structure of sites lead to data loss and the need for constant monitoring of the parsing process, which increases the cost of maintaining and operating such systems. In this regard, the development of new approaches and tools for parsing the necessary information is a very urgent task that can transform the field of data mining. The article discusses the process of developing a module for parsing information from patent systems and websites of physics and technology journals using modern technologies and approaches, and also presents the results of checking its operability. This tool can be useful for patent offices, researchers, students, engineers, and scientists working in the subject area under consideration. The use of such a module will open up new opportunities for data mining and strategic decision-making in the field of innovative development, as well as for in-depth analysis of technological trends, identification of promising developments and building innovative development strategies.