AI Security Lab
Исследовательская лаборатория ИТМО, специализирующаяся на безопасности и этике
в сфере генеративного искусственного интеллекта
и применения языковых моделей в бизнес задачах
[наша основная задача]
AI Security Lab создана при поддержке компании Raft, которая создает и внедряет решения на базе генеративного ИИ в бизнес
Клиентами Raft являются российские корпорации и зарубежные стартапы. Raft является партнером по внедрению технологий YandexGPT и SberDevices
Изучать угрозы GenAI,
тестировать модели
Проводить аудит и защиту GenAI решений для бизнеса
Тестировать и сравнивать характеристики этики
разных моделей и решений на LLM
Разрабатывать инструменты для мониторинга
и обнаружения атак на LLM приложения
Проводить очистку данных от чувствительной
информации для последующего обучения моделей
[направления работы]
AI Security Lab работает по следующим направлениям информационной безопасности:
Услуги аудита LLM решений
Если ваша корпорация хочет провести аудит своего LLM решения, оставьте заявку и свяжитесь с нами. Наши эксперты проведут детальный анализ и предложат лучшие решения для повышения безопасности и этичности ваших AI-продуктов
[публикации]
[участники лаборатории]
>> Руководитель разработки Raft
Антон Белоусов
преподаватель
>> Руководил разработкой и архитектурой в стартапах по информационной безопасности, обслуживая клиентов, таких как Bosch, Mastercard, PwC, Ernst & Young, Dubai Customs, Lufthansa, Deutsche Bank
>> Разрабатывает ИИ-решения на основе локальных и облачных LLM
>> Руководитель AI продуктов Raft
Евгений Кокуйкин
руководитель лаборатории
>> Управлял командами разработки в Microsoft, Google, Evernote
и других крупных проектах
>> Имеет опыт работы с протоколами Oracle, Postgres, разработки code-to-code трансляторов, проведения аудитов веб-приложений и фишинговых тренингов
>> Руководитель разработки Raft
Ирина Николаева
преподаватель
>> Руководила командами Data Scientist’ов для решения различных продуктовых задач в областях CV, анализа временных рядов и обработки текста, работая с небольшими стартапами и крупнейшими компаниями ритейла
>> Активно изучает большие языковые модели, занимается функциональным анализом и операторными алгебрами
>> Руководитель проектного трека AI Talent Hub
Данила Калиникин
менеджер проектов лаборатории
>> Основатель стартап-студии “AGNI Startup Factory”
>> ex-научный сотрудник лаборатории "Energy Academy Europe"
>> Product Manager магистратуры по ИИ “AI Talent Hub”
Олег Шатов
участник
>> Преподаватель института прикладных компьютерных наук, ИТМО
>> Организатор более 40 совместных ИИ-проектов с ИТ-компаниями
>> Основатель и руководитель сообщества по ИИ “AI Talent Hub”
Дмитрий Ботов
участник
>> Assistant Professor в JetBrains Academy
>> Руководитель магистерской программы «Искусственный интеллект» в ИТМО
>> Software Developer/AI Engineer в Raft
Данил Капустин
участник
>> Тестирует ИИ приложения и ведет научную работу в области атак на LLM в ЯрГУ им. П.Г. Демидова
Сотрудничество
Если хотите присоединиться к нашей команде и участвовать в передовых исследованиях в области безопасности и этики генеративного ИИ, свяжитесь с нами. Мы всегда ищем талантливых специалистов, готовых к новым вызовам
[обучение]
Программа курса включает теоретические занятия
и практические упражнения, позволяя получить комплексные знания и навыки
Курс: Безопасность LLM
Курс предназначен для погружения в область уязвимостей моделей, моделирования угроз и методов защиты решений на LLM
28
Теоретических занятий
16
Практических упражнений
Курс охватывает следующие ключевые темы:
Обзор проблем, связанных с безопасностью LLM
Изучение Prompt Injection и Jailbreaks
Разбор классификаторов OWASP Top 10
Связь LLM Security и AI Alignment. Этическое
использование LLM
Изучение проблем с Base64 и Adversarial Suffix Attack
Уязвимости при работе с RAG
Критерии выбора безопасной модели для внедрения
Нецензурированные и расцензурированные модели
>>
>>
>>
>>
>>
>>
>>
>>
Октябрь 2024
Старт следующего потока
[free]
Смотрите открытую лекцию Татьяны Шавриной
с нашего курса о том, как выбирать языковую модель
[контакты]
Остались вопросы? Напиши нам