ОРГАНІЗАЦІЯ БЕЗПЕЧНОГО ФУНКЦІОНУВАННЯ ГОЛОСОВИХ АГЕНТІВ НА БАЗІ ВЕЛИКИХ МОВНИХ МОДЕЛЕЙ

Анотація

Станом на сьогодні, набуває поширення практика впровадження  голосових агентів на базі LLM (англ. “Large Language Models” – великі мовні моделі) у корпоративні Це створює нові виклики та небезпеки для архітектури програмного забезпечення, а також безпеки інформаційних систем. Традиційні підходи до розробки не враховують специфіку інтеграції LLM як компонента, що може бути скомпрометований зловмисниками через промпт-ін'єкції та інші атаки на рівні обробки природної мови. Стаття представляє огляд архітектурного підходу до безпечної інтеграції голосових агентів, що базується на принципі розділення основних бізнес-правил від логіки взаємодії з мовними моделями. Запропонована архітектура дозволяє побудувати багаторівневу систему захисту через: 1) реалізацію принципу найменших привілеїв для LLM-компонентів; 2) незалежну валідацію бізнес-операцій на рівні доменних сервісів; 3)використання великої мовної моделі як медіатора між користувачем та критично важливими системами. Дослідження, наведене у даній статті, демонструє ефективність архітектурного підходу у протидії типовим атакам –зокрема: промпт-ін'єкціям з метою обходу авторизації; діям, направленим на витік чутливих даних; несанкціонованим операціям, які здійснюються через function calling; діям, направленим на порушення цілісності бізнес-процесів тощо. Медіаторна архітектура значно спрощує розуміння та управління системою завдяки чіткому розподілу ролей між компонентами. Така архітектура підвищує передбачуваність системи та забезпечує можливість застосування традиційних методів валідації та аудиту. Архітектурна ізоляція LLM від критичних операцій дозволяє організаціям впроваджувати провідні AI-технології (від англ. “AI technologies” – технології штучного інтелекту) без кардинальної перебудови  систем безпеки, які на даний момент вже впроваджені у компанії. В той же час, забезпечується стійкість до нових вразливостей та гнучкість у виборі технологічних рішень. Результати дослідження мають практичне значення для розробки корпоративних систем з інтеграцією голосових агентів та сприяють формуванню безпечних практик використання великих мовних моделей у критично важливих застосунках компанії.