_logo.svg.png){kind=logo}
«Центральный специалист по данным» Microsoft утверждает, что эти 2 инструмента помогут вам создавать более безопасных агентов искусственного интеллекта с первого дня.
Новые инструменты Microsoft помогают инженерам проверять предположения и безопасность до и во время разработки ИИ.
ХЛОЯ АЙЕЛЛО , КОРРЕСПОНДЕНТ @CHLOBO_ILO
Иллюстрация: Getty Images
Компания Microsoft выпустила два новых инструмента с открытым исходным кодом, которые помогут инженерам, разработчикам Vibe Code и предпринимателям внедрять безопасность в своих ИИ-агентов во время, а не после разработки.
Инструменты, получившие названия Rampart и Clarity, — это попытка «ковбоя данных» Microsoft Рама Шанкара Сивы Кумара и его команды разработчиков ИИ (AI Red Team) перевести вопросы безопасности ИИ из области технических документов и философских дебатов в область инженерной дисциплины. Новые инструменты появляются на фоне роста использования агентного ИИ , а также кибератак, направленных на манипулирование поведением агентов. Поскольку агенты ИИ разработаны для автономной работы и часто имеют доступ к большим массивам данных , они находятся в уникальном положении, позволяющем причинить вред, если не будут должным образом защищены.
«Эта эра агентов — мы переживаем момент, подобный Китти-Хок, мы наблюдаем взлет», — говорит Сива Кумар. «Агенты пришли надолго, и мы хотим дать инженерам возможность думать о том, как создавать их безопасно и надежно».
Rampart использует реальные методы кибератак, чтобы помочь инженерам и специалистам по реагированию на инциденты тестировать безопасность агентов во время разработки. Clarity, в свою очередь, выступает в качестве площадки для проверки предположений и обдумывания идей, прежде чем тратить время и деньги на разработку чего-либо.
«Нам действительно нужно помочь "недостающему звену", то есть инженерам и предпринимателям, которые находятся на передовой, извлекают выгоду из этих новых перспективных моделей», — говорит Сива Кумар.
Rampart построен на основе Microsoft PyRIT, инструмента с открытым исходным кодом для выявления рисков генеративного ИИ после создания системы. Сам Rampart представляет собой тестовую среду, предназначенную для помощи инженерам в проверке безопасности агентов во время разработки. Он разработан специально для борьбы с внедрением подсказок, что является все более распространенным методом атак на агентов ИИ.
Согласно сообщению в блоге IBM , атаки с внедрением вредоносного кода используют способность генеративного ИИ обрабатывать инструкции на естественном языке и реагировать на них. Они происходят, когда агенты ИИ получают доступ к документам, данным или электронным письмам, содержащим вредоносные инструкции, призванные повлиять на их поведение. Например, вредоносная команда может предписывать агенту игнорировать протоколы безопасности и передавать конфиденциальные данные, распространять дезинформацию и т. д., сообщает IBM.
«Агенты терпят неудачу не только из-за нападений. Агенты терпят неудачу даже из-за причин, не связанных с нападениями», — говорит Сива Кумар. «В конечном итоге нас интересует, ведет ли себя мой агент так, как я от него ожидаю?»
Rampart интегрирует безопасность в процесс разработки агентов с помощью статистических испытаний. Вместо однократного запуска теста, Rampart может запускать его многократно на различных этапах разработки. Пользователи могут устанавливать правила, гарантирующие достижение определенного порога безопасности — например, «это действие должно быть безопасным как минимум в 80 процентах запусков», — говорится в сообщении в блоге Microsoft . Наконец, Rampart разработан для работы совместно с командами «красных», предоставляя стратегии атак, разрабатывая враждебный код или данные и обеспечивая основу для определения успеха.
«Люди по-прежнему находятся в центре всех разработок в области ИИ», — говорит Сива Кумар, добавляя, что эти инструменты не предназначены для замены человеческого контроля в сфере кибербезопасности. «Они могут обеспечить переход от нуля до пятидесяти, и это, я думаю, очень важно, если речь идет о проверке концепции».
В свою очередь, Clarity — это инструмент, призванный помочь разработчикам понять, решают ли создаваемые ими инструменты те проблемы, которые они стремятся решить. Он задает вопросы, которые задали бы менеджер по продукту или инженер по безопасности, затрагивая проблемы, «которые легко пропустить, когда команда увлечена созданием чего-то нового», как говорится в сообщении блога Microsoft . В то время как Rampart — это проверенный в боевых условиях инструмент, интегрированный в конвейер разработки, Сива Кумар говорит, что Clarity — это скорее «экспериментальный проект» для проверки предположений о полезности и безопасности, прежде чем команда потратит время или деньги на создание чего-либо.
«Сегодня реализация обходится дёшево. Любой может создать что угодно, получив всего лишь один запрос. Вопрос в том, стоит ли это делать? Ясность проясняет эти вопросы», — говорит он.
В среду на GitHub были запущены инструменты Rampart и Clarity с открытым исходным кодом.
Получайте одну интересную бизнес-историю прямо на свою электронную почту, подписавшись на бесплатную ежедневную рассылку Inc.
Еженедельный обзор последних новостей в сфере технологий.
Комментариев нет:
Отправить комментарий