Arabic text summarization using three-layer bidire ctional long short-term memory (BiLSTM) architecture

Abstract

This work presents an improved approach to the challenging problem of Arabic Text Summarization (ATS) by introducing a novel model that seamlessly integrates state-of-the-art neural network architectures with advanced Natural Language Processing (NLP) techniques. Inspired by classical ATS approaches, our model leverages a three-layer Bidirectional Long Short-Term Memory (BiLSTM) architecture which is augmented with Transformer-based attention mechanisms and AraBERT for preprocessing, to successfully tackle the notoriously challenging peculiarities of the Arabic language. To boost performance, our model further draws upon the power of contextual embeddings from models such as GPT-3, and through the use of advanced data augmentation techniques including back-translation and paraphrasing. To further improve performance, our approach integrates novel techniques for training and uses Bayesian Optimization to perform hyperparameter optimization. The model evaluated against state-of-the-art datasets such as the Arabic Headline Summary (AHS) and Arabic Mogalad_Ndeef (AMN) and reported on traditional evaluation metrics including: ROUGE-1, ROUGE-2, ROUGE-L, BLEU, METEOR and BERTScore. This work is significant because it presents an important step forward in the task of Arabic Text Summarization (ATS) towards summarizing text to be not only coherent and concise, but also authentic and culturally relevant in an effort to push forward NLP research and applications for Arabic. Представлен улучшенный подход к сложной проблеме арабской суммаризации текста (Arabic Text Summarization – ATS) путем внедрения новой модели, которая бесшовно интегрирует передовые архитектуры нейронных сетей с продвинутыми техниками обработки естественного языка (Natural Language Processing – NLP). Вдохновляясь классическими подходами ATS, представленная модель использует трехуровневую архитектуру двунаправленной сети с длинной краткосрочной памятью (Bidirectional Long Short-Term Memory – BiLSTM), которая дополнена механизмами внимания на основе трансформера и AraBERT для предварительной обработки и успешного решения особенно сложных задач, обусловленных спецификой арабского языка. Для повышения производительности модели также используется мощь контекстуальных вложений от моделей, таких как GPT-3, а также продвинутые техники увеличения данных, включая обратный перевод и перефразирование. Для дальнейшего улучшения производительности при данном подходе интегрируются новые техники обучения и используется байесовская оптимизация для гиперпараметров. Модель оценивалась на передовых наборах данных, таких как арабский сводный заголовок (Arabic Headline Summary – AHS) и арабский могалад_ндеф (Arabic Mogalad_Ndeef – AMN), и отчитывалась по традиционным метрикам оценки, включая ROUGE-1, ROUGE-2, ROUGE-L, BLEU, METEOR и BERTScore. Работа представляет собой важный шаг в решении задачи арабской суммаризации текста (ATS), чтобы он был не только связным и сжатым, но также аутентичным и культурно релевантным в усилиях по продвижению исследований и приложений NLP для арабского языка.