AI Security Lab
Исследовательская лаборатория ИТМО, специализирующаяся на безопасности и этике
в сфере генеративного искусственного интеллекта
и применения языковых моделей в бизнес задачах
[наша основная задача]
AI Security Lab создана при поддержке компании Raft, которая создает и внедряет решения на базе генеративного ИИ в бизнес
Клиентами Raft являются российские корпорации и зарубежные стартапы. Raft является партнером по внедрению технологий YandexGPT и SberDevices
Изучать угрозы GenAI,
тестировать модели
Проводить аудит и защиту GenAI решений для бизнеса
Тестировать и сравнивать характеристики этики
разных моделей и решений на LLM
Разрабатывать инструменты для мониторинга
и обнаружения атак на LLM приложения
Проводить очистку данных от чувствительной
информации для последующего обучения моделей
[направления работы]
AI Security Lab работает по следующим направлениям информационной безопасности:
Мы создаем сервис для мониторинга приложений, который помогает обнаружить попытки атак на этику
>>>> Мониторинг атак и анализ сообщений на токсичность
>>>> Предоставление статистики и отчетов для повышения безопасности приложений
>>>> Поддержка популярных моделей (LLama, OpenAI, YandexGPT и др.)
>>>> Интеграция с инструментами мониторинга и облачными провайдерами
>>>> Мониторинг атак и анализ сообщений на токсичность
>>>> Предоставление статистики и отчетов для повышения безопасности приложений
>>>> Поддержка популярных моделей (LLama, OpenAI, YandexGPT и др.)
>>>> Интеграция с инструментами мониторинга и облачными провайдерами
Мы создаем инструменты для обеспечения соблюдения этических норм и законодательства при работе публичных чат-ботов, а также проводим сравнительный анализ этических свойств различных моделей
>>>> Сравнение этических свойств проприетарных и открытых моделей
>>>> Определение устойчивости алаймента к джейлбрейкам и обходу защиты
>>>> Тестирование средств защиты от промпт-инъекций
>>>> Поддержание Leaderboard моделей для выбора базовой модели для последующего вывода решения в продакшн
>>>> Сравнение этических свойств проприетарных и открытых моделей
>>>> Определение устойчивости алаймента к джейлбрейкам и обходу защиты
>>>> Тестирование средств защиты от промпт-инъекций
>>>> Поддержание Leaderboard моделей для выбора базовой модели для последующего вывода решения в продакшн
Мы разрабатываем инструменты для проведения Red-teaming, проверяя безопасность больших языковых моделей
>>>> Создание решений для тестирования приложений, использующих LLM
>>>> Исследование новых типов атак на большие языковые модели
>>>> Создание чеклистов и методологий для Red-teaming
>>>> Участие в сообществе OWASP для обмена знаниями и улучшения практик безопасности
>>>> Создание решений для тестирования приложений, использующих LLM
>>>> Исследование новых типов атак на большие языковые модели
>>>> Создание чеклистов и методологий для Red-teaming
>>>> Участие в сообществе OWASP для обмена знаниями и улучшения практик безопасности
Для снижения рисков утечки чувствительных данных, мы создаем инструменты для удаления персональных данных из датасетов и другой чувствительной информации
>>>> Определение и очистка персональных данных в различных системах
>>>> Разработка модулей для очистки данных для использования в пайплайнах
>>>> Внедрение методов очистки: замена, перефразирование, удаление данных
>>>> Определение и очистка персональных данных в различных системах
>>>> Разработка модулей для очистки данных для использования в пайплайнах
>>>> Внедрение методов очистки: замена, перефразирование, удаление данных
Услуги аудита LLM решений
Если ваша корпорация хочет провести аудит своего LLM решения, оставьте заявку и свяжитесь с нами. Наши эксперты проведут детальный анализ и предложат лучшие решения для повышения безопасности и этичности ваших AI-продуктов
[публикации]
[участники лаборатории]
>> Руководитель разработки Raft
Антон Белоусов
преподаватель
>> Руководил разработкой и архитектурой в стартапах по информационной безопасности, обслуживая клиентов, таких как Bosch, Mastercard, PwC, Ernst & Young, Dubai Customs, Lufthansa, Deutsche Bank
>> Разрабатывает ИИ-решения на основе локальных и облачных LLM
>> LinkedIn
>> Руководитель AI продуктов Raft
Евгений Кокуйкин
руководитель лаборатории
>> Управлял командами разработки в Microsoft, Google, Evernote
и других крупных проектах
>> Имеет опыт работы с протоколами Oracle, Postgres, разработки code-to-code трансляторов, проведения аудитов веб-приложений и фишинговых тренингов
>> Руководитель разработки Raft
Ирина Николаева
преподаватель
>> Руководила командами Data Scientist’ов для решения различных продуктовых задач в областях CV, анализа временных рядов и обработки текста, работая с небольшими стартапами и крупнейшими компаниями ритейла
>> Активно изучает большие языковые модели, занимается функциональным анализом и операторными алгебрами
>> LinkedIn
>> Руководитель проектного трека AI Talent Hub
Данила Калиникин
менеджер проектов лаборатории
>> Основатель стартап-студии “AGNI Startup Factory”
>> ex-научный сотрудник лаборатории "Energy Academy Europe"
>> Product Manager магистратуры по ИИ “AI Talent Hub”
Олег Шатов
участник
>> Преподаватель института прикладных компьютерных наук, ИТМО
>> Организатор более 40 совместных ИИ-проектов с ИТ-компаниями
>> Основатель и руководитель сообщества по ИИ “AI Talent Hub”
Дмитрий Ботов
участник
>> Assistant Professor в JetBrains Academy
>> Руководитель магистерской программы «Искусственный интеллект» в ИТМО
>> Software Developer/AI Engineer в Raft
Данил Капустин
участник
>> Тестирует ИИ приложения и ведет научную работу в области атак на LLM в ЯрГУ им. П.Г. Демидова
Оставьте контакт
если хотите сотрудничать с лабораторией
Сотрудничество
Если хотите присоединиться к нашей команде и участвовать в передовых исследованиях в области безопасности и этики генеративного ИИ, свяжитесь с нами. Мы всегда ищем талантливых специалистов, готовых к новым вызовам
[обучение]
Программа курса включает теоретические занятия
и практические упражнения, позволяя получить комплексные знания и навыки
Курс: Безопасность LLM
Курс предназначен для погружения в область уязвимостей моделей, моделирования угроз и методов защиты решений на LLM
28
Теоретических занятий
16
Практических упражнений
Курс охватывает следующие ключевые темы:
Обзор проблем, связанных с безопасностью LLM
Изучение Prompt Injection и Jailbreaks
Разбор классификаторов OWASP Top 10
Связь LLM Security и AI Alignment. Этическое использование LLM
Изучение проблем с Base64 и Adversarial Suffix Attack
Уязвимости при работе с RAG
Критерии выбора безопасной модели для внедрения
Нецензурированные и расцензурированные модели
Изучение Prompt Injection и Jailbreaks
Разбор классификаторов OWASP Top 10
Связь LLM Security и AI Alignment. Этическое использование LLM
Изучение проблем с Base64 и Adversarial Suffix Attack
Уязвимости при работе с RAG
Критерии выбора безопасной модели для внедрения
Нецензурированные и расцензурированные модели
>>
>>
>>
>>
>>
>>
>>
>>
Октябрь 2024
Старт следующего потока
[free]
Смотрите открытую лекцию Татьяны Шавриной
с нашего курса о том, как выбирать языковую модель
[контакты]
Остались вопросы? Напиши нам
©2024 [AI] Talent Hub
Остались вопросы?
aitalents@itmo.ru