ДУЙЛОВСЬКИЙ Даниїл ПОШУКОВО-ІДЕНТИФІКАЦІЙНІ МОЖЛИВОСТІ ШТУЧНОГО ІНТЕЛЕКТУ

 

Запорізький національний університет 

Науковий керівник: к. філол. н., доц. С. В. Сабліна

Актуальність: Сучасні мовні моделі, такі як Claude, Gemini та ChatGPT активно використовуються для автоматизації, комунікації та розв'язання різних завдань, пов’язаних з обробкою текстів українською мовою. Тому важливо оцінити якість роботи штучного інтелекту в питаннях релевантної оцінки запиту користувача та подальшого результативно якісного його виконання. Адже нерозуміння ШІ мовних норм призводить до порушення граматичної коректності, що спричининяє нерозуміння або спотворення змісту, особливо для українських користувачів, які розраховують на точне дотримання штучним інтелектом мовних стандартів. Дослідження специфіки морфологічних помилок у текстах, згенерованих мовною моделлю ChatGPT, набуває більшої релевантності в науковому дискурсі, оскільки це покращить якість та природність текстів, які штучний інтелект генерує українською мовою [1], [2]. 

Мета: виявити типові помилки в роботі мовної моделі ChatGPT у розпізнаванні ступенів порівняння прикметників та прислівників українськомовного художнього тексту. 

Реалізація поставленої мети передбачає виконання таких завдань:

- обґрунтувати вибір українського художнього твору й створити запит кількома способами до штучного інтелекту для пошуку ступенів порівняння прикметників та прислівників;

- проаналізувати різницю між вибіркою ChatGPT та оригінальним текстом;

- ідентифікувати помилки ChatGPT в розпізнаванні ступенів порівняння прикметників та прислівників.

Для реалізації поставленого завдання було обрано твір Івана Нечуя-Левицького “Кайдашева сім'я” який являє собою найбільш оптимальний вибір для створення запитів штучному інтелекту, спрямованих на пошук та аналіз вищого та найвищого ступенів порівняння прикметників та прислівників. Аргументувати це можна тим, що тексту цього твору властиві описові характеристики персонажів та їхніх взаємин, розлогі природні й етнографічні описи, що забезпечує широку палітру прикметників та прислівників, придатних для компаративного аналізу. Портретні та психологічні замальовки й динамічне відображення родинних конфліктів і драматичних ситуацій релевантно вербалізують контекст для використання порівняльних форм з метою передачі емоційності та ступенів вираження ознак. Композиційна структура твору, у якій представлено кілька поколінь Кайдашевої родини, дозволяє виявити широкий спектр соціальних, вікових та гендерних відмінностей між персонажами, що знайшло своє мовне втілення у використанні ступенів порівняння. Тому для нашого експерементального дослідження із забезпечення штучного інтелекту необхідною основою для системного дослідження та аналітики граматичних засобів вираження ступенів порівняння українських прикметників та прислівників, цей твір видається найбільш відповідним. , що здатен.

У межах дослідницької роботи було проведено початкову фазу експерименту із застосуванням системи штучного інтелекту без попереднього навчання мовної моделі. Експериментальний запит було сформульовано так: “Проведи повний аналіз тексту та виокреми всі прикметники й прислівники у вищому та найвищому ступенях порівняння”. Такий запит дозволить нам оцінити базові аналітичні можливості системи та її здатність до знаходження ступенів порівняння без додаткового навчання. За результатами аналізу першої фази експерименту можна констатувати, що штучний інтелект продемонстрував неоднозначні результати при виконанні поставленого завдання. Зокрема, було виявлено ряд суттєвих недоліків у його ідентифікації та класифікації ступенів порівняння:

1. Мовна модель помилково класифікувала порівняльні звороти зі сполучником “як” (“гарна, як рай”, ”здорові, як кулаки”, ”червона, як калина”, ”чорні, як терен”)[3] як ступені порівняння, хоч вони й належать до синтаксичної граматичної категорії;

2. Некоректно ідентифіковано прислівник “щоночі” як вищий ступінь порівняння, адже це форма складного прислівника часу;

3. При повторному запиті, можна було спостерігати дублювання прикладів у різних частинах відповіді, що може свідчати про відсутність систематизації у видачі результатів.

Водночас можна зазначити, що штучний інтелект визначив деякі форми вищого ступеня порівняння (“краща од золота”, ”вдвоє кращою”, ”більший шматок”, ”більше од вас”, ”гірше не буде”)[3]. Отже, на основі цих результатів, можна констатувати, що без попереднього навчання система звісно буде демонструвати базове розуміння морфологічних норм, але все ж припускається фундаментальних помилок у відрізенні ступенів порівняння від інших  граматичних конструкцій, зокрема порівняльних зворотів.

Друга фаза експерименту була вже проведена з попереднім навчанням штучного інтелекту з темі “Ступені порівняння прикметників і прислівників”. По-перше, виникло завдання навчити мовну модель за допомогою додаткових матеріалів. Штучному інтелекту було запропоновано декілька дидактичних матеріалів на  теми “Ступені порівняння прикметників”[4] та  “Ступені порівняння прислівників”[5], які дозволили б  зробити більш точний пошук у великому масиві тексту. Після попереднього навчання, було сформульовано запит, який звучав так: “Проаналізуй текст “Кайдашевої сім’ї” та випиши мені всі наявні в ньому ступені порівняння прикметників та прислівників, використовуючи ту інформацію, що я тобі надав”. Якщо ж за результатами першої фази експерименту мовна модель продемонструвала неоднозначні результати, то після попереднього навчання у другій фазі проведеного експерименту, штучний інтелект продемонстрував кращі результати у виявленні та класифікації ступенів порівняння прикметників та прислівників:

1. Система змогла точно ідентифікувати та коректно категоризувати вищий ступінь порівняння прикметників: "більшим" ("Шматок хліба здається більшим у чужих руках"), "смутніший" ("Карпо став смутніший після сварок"), "кращий" ("Знайти кращу пару для себе"), "важчий" ("Він відчував важчий тягар відповідальності"), "ближчий" ("Грушу перенесли ближче до двору"), "розумніший" ("Карпо вважав себе розумнішим за брата"), "тонший" ("Тонший стан здавався ніжнішим"), "яскравіший" ("Одяг тепер виглядав яскравіше")[3];

2. Також мовна модель змогла правильно визначити вищий ступінь порівняння прислівників: "більше" ("Мотря працювала більше за інших"), "швидше" ("Швидше притулила чарку до губ"), "довше" ("Йшла довше, ніж зазвичай"), "краще" ("Він почав ставитись краще до роботи"), "сильніше" ("Відчув сильніше зміну настрою"), "менше" ("Менше сварок у полі"), "гостріше" ("Мотря поглянула гостріше"), "глибше" ("Рось здавалась глибше"), "вужче" ("Перескочила через вужчий тин"), "тонше" ("Тонше шиття виглядало краще"), "сміливіше" ("Говорила сміливіше після підтримки"), "тихіше" ("Йшла тихіше, щоб не будити")[3];

3. При аналізі найвищого ступеня порівняня прикметників штучний інтелект коректно визначив їх: "найкращий" ("Це був найкращий день її життя"), "найгірший" ("Найгірший урожай за роки"), "найчистіший" ("Тримала кімнату в найчистішому стані"), "найменший" ("Найменший син залишився з батьками"), "найглибший" ("Розмова торкнулась найглибших почуттів"), "найвужчий" ("Обрали найвужчий шлях для обходу"), "найсильніший" ("Він був найсильнішим серед братів"), "найясніший" ("Цей день здавався найяснішим"), "найгучніший" ("Його голос був найгучнішим"), "найсолодший" ("Це був найсолодший фрукт")[3];

4. Система також правильно ідентифікувала приклади найвищого ступеня порівняння прислівників: "найбільше" ("Найбільше часу вона проводила за вишиванням"), "найкраще" ("Він намагався найкраще підготуватися до зустрічі"), "найшвидше" ("Вона хотіла найшвидше закінчити роботу"), "найменше" ("Вона найменше сварилася з батьками"), "найтихіше" ("Вона йшла найтихіше, щоб не заважати іншим"), "щонайкраще" ("Він намагався щонайкраще виконати завдання"), "щонайглибше" ("Щонайглибше вдихнула запах свіжої трави"), "щонайдовше" ("Щонайдовше дивилась на схід сонця"), "щонайясніше" ("Щонайясніше сяяло небо над горою"), "найчастіше" ("Найчастіше зустрічалися вони в лісі")[3].

Отже, констатуємо, що попереднє навчання мовної моделі з заданої  граматичної тему дійсно підвищило її точність та повноту при ідентифікації ступенів порівняння в текстовому матеріалі. Система показала високий рівень, хоч вважати ці результати стовідсотково точними ще не можна.

Ґрунтуючись на результатах на проведеного експерименту, можна зробити висновок, що без попереднього навчання мовна модель продемонструвала обмежені можливості у визначенні та класифікації ступенів порівняння прикметників та прислівників, допускаючи помилки, зокрема у розрізненні ступенів порівняння від інших граматичних категорій, наприклад, від порівняльних зворотів. Однак, після проведення попереднього навчання, система змогла точно і порівняно повно ідентифікувати та класифікувати приклади вищого та найвищого ступенів порівняння прикметників та прислівників. Попереднє навчання дозволило значно підвищити аналітичні та лінгвістичні можливості мовної моделі при роботі з великим масивом тексту, хоча й результати не можна вважати абсолютно ідеальними. Загалом експеримент підтвердив, що попередньо важливо навчати мовну модель, аби запит до системи відповідав очікуваній ефективності користувача у розв’язанні завдань з аналізу текстових даних.

Література

1. Lytvyn V., Vysotska V., Pukach P., Bobyk I., Uhryn D. Development of a method for the recognition of author's style in the Ukrainian language texts based on linguometry, stylemetry and glottochronology. Eastern-European Journal of Enterprise Technologies. 2017. Vol. 4, no. 2 (88). P. 10. ISSN 1729-3774.

2. Romanyshyn N., Chaplynskyi D., Zakharov K. Learning Word Embeddings for Ukrainian: A Comparative Study of FastText Hyperparameters. Proceedings of the Second Ukrainian Natural Language Processing Workshop (UNLP). Dubrovnik, Croatia : Association for Computational Linguistics, 2023. P. 20-31. DOI: 10.18653/v1/2023.unlp-1.3

3. Нечуй-Левицький, І. С. Кайдашева сім’я: повість. Київ; Ляйпціг: Наукова думка, 1977. 232 с.

4. Прикметник. Якісні та відносні прикметники. Повні та короткі форми прикметників. Ступені порівняння прикметників. URL: https://sbc.ptngu.com/37L16.html (дата звернення: 14.11.2024).

5. Ступені порівняння прислівників. URL: https://zno.if.ua/?p=3988 (дата звернення: 14.11.2024).