微软发布PyRIT工具 识别生成式AI风险
微软发布PyRIT工具 识别生成式AI风险来源：IT之家IT之家 2 月 24 日消息，微软近日发布了开源自动化框架 PyRIT，这是一款 Python 风险识别工具包，主要帮助安全专家和机器学习工程师识别生成式 AI 的风险，阻止他们的人工智能系统失控。
微软的 AI Red Team 已经使用该工具，检查包括 Copilot 在内生成式人工智能系统中风险。
微软强调通过向公众提供内部工具，以及分享 AI Red Team 方面的其他投资成果，其目的是推动人工智能安全民主化。
IT之家注：Red Team 是在军事演习、网络安全演习等领域中扮演敌人或竞争对手角色的群体，扮演己方角色的则称作蓝队。Red Team 通常定义为敌方部队，通过攻击网络来提高产品安全性。
微软 AI Red Team 专门成立了一个跨学科的安全专家小组，管理复杂的攻击演习。PyRIT 框架的工作原理如下：
PyRit Agent 向目标 Gen AI 系统发送恶意提示词；当它收到 Gen AI 系统的回应时，就会向 PyRIT 评分引擎发送回应。
评分引擎将响应发送给 PyRit 代理；然后，代理根据评分引擎的反馈发送新的提示。
这一自动化过程一直持续到安全专家得到所需的结果为止。
微软已经将相关代码托管到 GitHub 上，感兴趣的用户可以深入阅读。
喜欢guojiang朋友的这个贴子的话，
请点这里投票，“赞”助支持！
请点这里投票，“赞”助支持！
内容来自网友分享，若违规或者侵犯您的权益，请联系我们
所有跟帖: ( 主贴楼主有权删除不文明回复，拉黑不受欢迎的用户 )
zero27 给 guojiang 点“赞”支持3银元奖励！！ (无内容) - zero27 (0 bytes) 02/24/24
guojiang 给 zero27 点“赞”支持3银元奖励！！ (无内容) - guojiang (0 bytes) 02/25/24
打开微信，扫一扫[Scan QR Code]
进入内容页点击屏幕右上分享按钮
进入内容页点击屏幕右上分享按钮
楼主前期社区热帖：
- 人类有可能就生活在一个超级黑洞里面 04/26/24
- 不现实，很荒谬？马斯克的火星计划遭天文学家质疑 04/26/24
- 拜登政府斥资110亿美元 投入芯片研发领域 04/26/24
- 马斯克的xAI以180亿估值融资60亿,知名资本也入局 04/26/24
- 俄罗斯美女，竟然是MADE IN CHINA 04/26/24
- 刷新认识：我们所在的宇宙是个空洞 04/23/24
- 美军AI自动驾驶F-16 空中缠斗真人飞行员 04/23/24
- 黄仁勋最新研判：未来人形机器人将成主流 04/23/24
- 当我们在馋AI功能时 厂商已经开始馋用户的身子了 04/22/24
- 我用AI开咖啡馆 投入10万 月入6万 04/22/24
- 偶遇1.0伏特的纪念馆🧟♂️ 04/08/24
- 防中俄 美英签AI合作新协定 04/02/24
- 即使Windows10明年淘汰 也没人升级 04/02/24
- OpenAI放开限制,无需注册即可使用ChatGPT 04/02/24
- 老司机雀跃！马斯克要干啥？X测试“上班不宜” 04/02/24
- 美巨头欲降低对中国依赖，转向墨西哥生产AI硬件 04/02/24
- 1000亿豪赌微软OpenAI打造星际之门AI超算 04/02/24
- 马斯克：AI有20%的可能性毁灭人类 04/02/24
- 70年一遇 “恶魔”彗星要来了 肉眼可见 04/02/24
- 超有用 6个热门AI生成工具省时省力 04/02/24
>>>>查看更多楼主社区动态...