Суть проекта:
Фреймворк тестирует чат-боты на уязвимости, снижает риск генерации нежелательного контента и растит доверие к системам на базе LLM.
Факты о проекте:
>> Проверяет системы на устойчивость к промт-инъекциям, джейлбрейкам, введение в заблуждение и утечку системного промпта.
>> Поддерживает русскоязычный контекст.
>> Обнаруживает уязвимости с точностью выше 85% и позволяет сократить время тестирования до 90% за счет автоматизации.
>> Фреймворк запущен в бета-тестировании для подготовки чат-ботов к выводу в продакшен.
В планах — масштабирование на тестирование мультиагентных систем и систематическую коммерческую эксплуатацию.
Фреймворк тестирует чат-боты на уязвимости, снижает риск генерации нежелательного контента и растит доверие к системам на базе LLM.
Факты о проекте:
>> Проверяет системы на устойчивость к промт-инъекциям, джейлбрейкам, введение в заблуждение и утечку системного промпта.
>> Поддерживает русскоязычный контекст.
>> Обнаруживает уязвимости с точностью выше 85% и позволяет сократить время тестирования до 90% за счет автоматизации.
>> Фреймворк запущен в бета-тестировании для подготовки чат-ботов к выводу в продакшен.
В планах — масштабирование на тестирование мультиагентных систем и систематическую коммерческую эксплуатацию.
04.02.2025
Студенты ИТМО разработали фреймворк для тестирования чат-ботов на уязвимости с точностью 89%
Фреймворк LLAMATOR обеспечивает автоматизированную проверку систем на базе больших языковых моделей и помогает компаниям выявлять уязвимости в чат-ботах на основе LLM.
Читать >>