0
| 本文作者： 劉伊倫 | 2025-01-17 19:01 |
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))消息，紐約大學(xué)研究人員發(fā)現(xiàn)，如果一個(gè)給定語(yǔ)言模型的訓(xùn)練數(shù)據(jù)中有0.001%的數(shù)據(jù) “中毒”（即故意植入錯(cuò)誤信息），那么整個(gè)訓(xùn)練集將可能傳播這些錯(cuò)誤。
數(shù)據(jù)“中毒”影響訓(xùn)練結(jié)果，AI的實(shí)際部署，安全性同樣至關(guān)重要。
咨詢公司Gartner預(yù)測(cè)，到2028年，AI智能體將完成至少15%的日常工作決策并被應(yīng)用于33%的企業(yè)程序。大量的AI智能體開(kāi)發(fā)需求，讓企業(yè)解決其中的信任、物理安全、網(wǎng)絡(luò)安全以及合規(guī)性等問(wèn)題顯得更加迫在眉睫。
近日，英偉達(dá)發(fā)布了全新的保障代理式AI應(yīng)用安全的NIM微服務(wù)，這將消除企業(yè)部署生成式AI時(shí)的安全疑慮，并且為生成式AI的普及提供安全保障。
全新的NIM微服務(wù)是NeMo Guardrails軟件工具系列的一部分，這些可移植且經(jīng)過(guò)優(yōu)化的推理微服務(wù)可以幫助企業(yè)提高生成式AI應(yīng)用的安全性、精準(zhǔn)性和可擴(kuò)展性。
3項(xiàng)NIM微服務(wù)，兼顧高安全性和低延遲
NVIDIA NeMo Guardrails是一個(gè)開(kāi)源工具包，允許開(kāi)發(fā)者將可編程護(hù)欄添加到基于LLM的會(huì)話系統(tǒng)中，從而保障人工智能系統(tǒng)的安全與合規(guī)。
NeMo Guardrails引入的三項(xiàng)全新微服務(wù)，能夠幫助AI智能體在大規(guī)模運(yùn)行時(shí)能同時(shí)保持受控行為。
內(nèi)容安全NIM微服務(wù)（Content Safety NIM）使用了質(zhì)量較高的人工注釋數(shù)據(jù)源Aegis內(nèi)容安全數(shù)據(jù)集進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含超過(guò)35000個(gè)人工標(biāo)記的數(shù)據(jù)樣本，由英偉達(dá)整理并開(kāi)源，已經(jīng)在Hugging Face公開(kāi)發(fā)布。高質(zhì)量的數(shù)據(jù)集能夠有效防止AI生成有偏見(jiàn)或有害的輸出結(jié)果，確保回答符合道德標(biāo)準(zhǔn)。
英偉達(dá)的企業(yè)AI模型、軟件與服務(wù)副總裁Kari Briski表示：“這是同類(lèi)數(shù)據(jù)集中質(zhì)量最高的數(shù)據(jù)源之一。”
話題控制NIM微服務(wù)（Topic Control NIM）能將對(duì)話聚焦在經(jīng)過(guò)審核的話題上，避免離題或不當(dāng)內(nèi)容。
越獄檢測(cè)NIM微服務(wù)（Jailbreak Detection NIM）增加了對(duì)越獄企圖（ 指繞過(guò)模型的安全防護(hù)措施，讓模型執(zhí)行禁止的行為）的防護(hù)，幫助在對(duì)抗性場(chǎng)景中保持AI的完整性。
來(lái)源：英偉達(dá)官方
由于“一刀切”的方法無(wú)法有效保護(hù)和控制復(fù)雜的代理式AI工作流，通過(guò)應(yīng)用多個(gè)輕量級(jí)專(zhuān)業(yè)模型作為護(hù)欄，開(kāi)發(fā)者可以彌補(bǔ)在只采取較為通用的全局策略和保護(hù)措施時(shí)可能出現(xiàn)的漏洞。
可編程護(hù)欄數(shù)量的增加雖然能提升保障能力，但也會(huì)導(dǎo)致延遲有所上升，NeMo Guardrails以最小延遲提升保障能力，極具“性價(jià)比”。
當(dāng)護(hù)欄數(shù)量為0（僅系統(tǒng)提示）時(shí)，延遲約為0.75秒，合規(guī)性為1X（基準(zhǔn)）。
當(dāng)護(hù)欄數(shù)量為1時(shí)，延遲增加到約1秒，合規(guī)性提升到1.1X。
當(dāng)護(hù)欄數(shù)量為5時(shí)，延遲約為1.25秒，合規(guī)性達(dá)到1.5X。
增加到5個(gè)護(hù)欄，延遲僅增加約1.25秒。與增加1個(gè)護(hù)欄，延遲增加1秒對(duì)比，實(shí)現(xiàn)顯著的優(yōu)化。這表明，NeMo Guardrails在提升保障能力的同時(shí)，對(duì)延遲的影響較小，能夠在保證系統(tǒng)性能的前提下提高安全性和合規(guī)性。
給汽車(chē)、零售、電信等行業(yè)的安全、精準(zhǔn)、可擴(kuò)展的「AI護(hù)欄」
NeMo Guardrails已向開(kāi)源社區(qū)開(kāi)放，其N(xiāo)IM微服務(wù)解決企業(yè)級(jí)客戶的“后顧之憂”，使開(kāi)發(fā)者能夠構(gòu)建更加安全、可信的AI智能體。智能體通過(guò)參考特定語(yǔ)境準(zhǔn)則做出安全、適當(dāng)?shù)幕卮穑⑶壹訌?qiáng)了對(duì)越獄企圖的抵御力度，實(shí)現(xiàn)了在汽車(chē)、金融、醫(yī)療、制造、零售等行業(yè)客戶服務(wù)中的部署。
軟件和服務(wù)解決方案提供商Amdocs推出的amAIz平臺(tái)是一個(gè)開(kāi)創(chuàng)性的電信生成式AI框架，通過(guò)集成NVIDIA NeMo Guardrails，增強(qiáng)了平臺(tái)的可信AI功能，保障代理式體驗(yàn)的安全性、可靠性和可擴(kuò)展性，從而讓服務(wù)提供商能夠安全部署AI解決方案。
Amdocs技術(shù)集團(tuán)總裁兼戰(zhàn)略主管Anthony Goonetilleke表示：“像NeMo Guardrails這樣的技術(shù)對(duì)于保障生成式AI應(yīng)用的安全至關(guān)重要，能夠幫助AI安全、道德地運(yùn)行。”
專(zhuān)注于為汽車(chē)行業(yè)提供AI解決方案的Cerence AI，通過(guò)NVIDIA NeMo Guardrails幫助車(chē)載助手在其CaLLM系列大語(yǔ)言和小語(yǔ)言模型的支持下提供符合語(yǔ)境的安全交互。
Cerence AI產(chǎn)品和技術(shù)執(zhí)行副總裁Nils Schanz表示：“NeMo Guardrails可以幫助我們?yōu)槠?chē)制造商客戶提供可信的情境感知解決方案，并作出明智、嚴(yán)謹(jǐn)且無(wú)幻覺(jué)的回答。”
在面向客戶的專(zhuān)業(yè)知識(shí)應(yīng)用上，更需保證AI生成式回答的安全性與可靠性。
家居裝飾零售商勞氏公司通過(guò)利用生成式AI鞏固店員的專(zhuān)業(yè)知識(shí)，以此讓員工在面對(duì)客戶的問(wèn)題時(shí)能夠“對(duì)答如流”。這背后，是NVIDIA NeMo Guardrails將AI的回答“框定”在正確的范圍內(nèi)，確保輸出的內(nèi)容“不翻車(chē)”。
勞氏公司的數(shù)據(jù)、AI和創(chuàng)新高級(jí)副總裁Chandhu Nair則表示：“我們一直在尋找方法幫助員工為客戶提供超出預(yù)期的服務(wù)。通過(guò)部署NVIDIA NeMo Guardrails，保證了AI生成式回答的安全性與可靠性，將對(duì)話強(qiáng)行限制在相關(guān)和適當(dāng)?shù)膬?nèi)容范圍內(nèi)。”
值得一提的是，NeMo Guardrails還具備較好的開(kāi)放性和可擴(kuò)展性，可集成由AI安全模型和防護(hù)提供商組成的生態(tài)系統(tǒng)，以及AI可觀察性和開(kāi)發(fā)工具。支持與ActiveFence的ActiveScore（AI安全服務(wù)）集成，防止對(duì)話式AI應(yīng)用出現(xiàn)有害或不當(dāng)內(nèi)容，并提供可視化、分析和監(jiān)控功能。
區(qū)塊鏈基礎(chǔ)設(shè)施公司Hive以NIM微服務(wù)形式提供適用于圖像、視頻和音頻內(nèi)容的AI生成內(nèi)容檢測(cè)模型，通過(guò)使用NeMo Guardrails，Hive可將其模型集成到AI應(yīng)用中并進(jìn)行編排。
AI可觀測(cè)性平臺(tái)Fiddler與NeMo Guardrails集成，可增強(qiáng)其監(jiān)控功能。端到端AI開(kāi)發(fā)者平臺(tái)Weights & Biases正在現(xiàn)有NIM集成組合基礎(chǔ)上，通過(guò)增加與NeMo Guardrails微服務(wù)的集成來(lái)擴(kuò)展W&B Weave的功能，以此提升AI推理能力。
此外，NeMo Guardrails還提供用于AI安全測(cè)試和漏洞掃描的開(kāi)源套件NVIDIA Garak，用于LLM和應(yīng)用漏洞掃描，借助Garak，開(kāi)發(fā)者可以發(fā)現(xiàn)使用LLM中的系統(tǒng)中存在的漏洞，發(fā)現(xiàn)并解決AI模型中的潛在弱點(diǎn)，提高模型的穩(wěn)健性與安全性。
目前，NVIDIA NeMo Guardrails微服務(wù)以及用于編排rail的NeMo Guardrails和NVIDIA Garak套件已向開(kāi)發(fā)者和企業(yè)開(kāi)放，開(kāi)發(fā)者按照官網(wǎng)上的教程就可以使用NeMo Guardrails為AI客服智能體構(gòu)建AI護(hù)欄。
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
