РЕДУКЦІЯ ТЕРМІВ ЛЯМБДА-ЧИСЛЕННЯ: ОЦІНКА ПРОГНОЗИВНИХ ЗДАТНОСТЕЙ LLM

Abstract

Це дослідження є частиною серії досліджень оптимізації компіляторів та інтерпретаторів функціональних мов програмування. Лямбда-числення було обрано як найпростішу мову функціонального програмування, яка може обробляти будь-які операції, доступні іншим мовам функціонального програмування, але з найпростішим синтаксисом. Використання методів машинного навчання дозволяє виявити зв’язки всередині лямбда-термів, які можуть вказати, яка стратегія редукції краще підходить для їх нормалізації. Пошук цих методів для лямбда-термів дозволяє оптимізувати не тільки редукцію лямбда-термів, але й інтерпретатори та компілятори функціональних мов програмування. Мета. Це дослідження має на меті вивчити як LLM розуміє лямбда-терми, для цього передбачити кроки редукції та оцінити точність передбачень. Використовувалися штучно створені лямбда-терми з використанням моделей OpenAI GPT-3.5 і GPT-4. Однак через обмеження моделей та міркування щодо вартості експериментів були обмежені термами з певною кількістю токенів. Незважаючи на більший розмір, результати показали, що модель GPT-4 незначно перевершила GPT-3.5 у розумінні процесу редукції. Крім того, у той час як модель GPT-3.5 продемонструвала підвищену точність із зменшеною кількістю токенів, її продуктивність із більш складними термами була неоптимальною. Це підкреслює обмеження LLM у розумінні лямбда-термів і стратегій скорочення, особливо з більшими та складнішими термами. Висновки. Дослідження показує, що LLM загального призначення, такі як GPT-3.5 і GPT-4, недостатні для точного прогнозування скорочень лямбда-термів і розрізнення стратегій, особливо з більшими термами. Хоча точне налаштування може підвищити продуктивність моделі, поточні результати підкреслюють необхідність подальшого дослідження та альтернативних підходів для досягнення глибшого розуміння редукції лямбда-терму за допомогою LLM.