ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ МОДИФІКОВАНОГО МЕТОДУ АВТОМАТИЗОВАНОГО ПОШУКУ КЛЮЧОВИХ СЛІВ У ТЕКСТІ

Abstract

В умовах невпинного зростання обсягу текстових даних, які доводиться обробляти людині майже в усіх сферах її діяльності, непересічної важливості набуває задача забезпечення швидкого доступу до необхідної інформації. Для вирішення цієї задачі наявні пошукові системи, як правило, проводять індексацію даних: спеціальні боти сканують ресурси і намагаються відшукати пов’язані з ними ключові слова. Від коректності знайдених ключових слів напряму залежить релевантність результатів пошуку, що будуть видані користувачу пошукової системи. В даній статті розглянуто модифікований метод автоматизованого пошуку ключових слів у природномовних текстових даних. Він ґрунтується на аналізі складних синтаксичних зв’язків між словами в реченнях тексту та здатний шукати ключові терміни, що складаються з кількох слів. Метою дослідження є програмна реалізація та експериментальне дослідження ефективності модифікованого методу автоматизованого пошуку ключових слів у тексті. Методика реалізації. Для випробувань модифікований метод було реалізовано на платформі Python NLTK. У якості тестового масиву даних було обрано два набори текстів: тексти невеликого обсягу (до 400 слів) та тексти більшого обсягу (до 2500 слів). Порівняння проводилися з трьома популярними аналогами, кожен з яких реалізовано на основі різних підходів (машинне навчання, аналіз N-грам, статистичний аналіз). Для кількісного вимірювання ефективності та порівняння з існуючими аналогами запропоновано використовувати метрики абсолютної точності та повноти за Жаккаром. Висновки. Результати випробувань продемонстрували перевагу запропонованого методу над аналогами в точності пошуку ключових слів. Відмічено, що зі збільшенням обсягу текстів абсолютна точність зростає майже в усіх випадках, втім повнота за Жаккаром зменшується. На основі результатів випробувань сформульовано подальші напрямки роботи над покращенням запропонованого методу.