TINYBERT З CROSS-ATTENTION + LORA + BI-GRU: КОМПАКТНА НЕЙРОМЕРЕЖЕВА АРХІТЕКТУРА ДЛЯ РОЗПІЗНАВАННЯ ФЕЙКОВИХ НОВИН

Анотація

У роботі запропоновано компактну нейромережеву архітектуру TinyBERT з механізмом перехресної уваги (Cross-Attention), адаптацією низького рангу (LoRA) та двонапрямним рекурентним шаром Bi-GRU для задачі автоматичного розпізнавання фейкових новин. Розвиток цифрового інформаційного простору спричинив різке зростання кількості фейків, а класичні методи факт-чекінгу вже не здатні ефективно протистояти такій динаміці. Наявні нейромережеві підходи, що базуються на великих трансформерних моделях, часто непридатні до практичного застосування через надмірну ресурсозатратність та нездатність явно аналізувати семантичну невідповідність між заголовком і текстом новини. Запропонована модель усуває ці обмеження завдяки використанню дистильованого трансформера TinyBERT, що значно зменшує обчислювальні вимоги, та спеціалізованого модуля Cross-Attention, який забезпечує чутливість до невідповідностей у заголовку й тексті. Використання LoRA-доповнень мінімізує кількість параметрів, що тренуються, прискорюючи процес донавчання, а додавання Bi-GRU дозволяє зберігати контекстуальну інформацію послідовностей. Експериментальне дослідження, виконане на наборі Fake News Classification, продемонструвало, що ця модель перевершує класичні алгоритми машинного навчання, досягнувши точності 99%, F1-score 0,985 і ROC AUC 0,998. Завдяки низьким ресурсним витратам, швидкій адаптації до нових тематик і високій інтерпретованості рішень, модель є перспективним рішенням для інтеграції в сервіси факт-чекінгу в реальному часі.