相信很多大家對OpenAI發(fā)布最新大模型安全對齊獎勵方法——RBR還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

隨著ChatGPT等產(chǎn)品的廣泛應(yīng)用，確保其輸出的安全性成為場景化落地的關(guān)鍵。傳統(tǒng)方法是使用RLHF（人類反饋強化學(xué)習(xí)）來進(jìn)行安全對齊，但有兩大局限性難以持續(xù)使用。

1）收集和維護(hù)人類反饋數(shù)據(jù)不僅成本高昂，并且隨著大模型能力的提高以及用戶行為的變化，現(xiàn)有的數(shù)據(jù)很快就會過時失效;

2）如果數(shù)據(jù)標(biāo)注者存在個人偏見，會導(dǎo)致模型的輸出出現(xiàn)極大偏差，例如，標(biāo)注人對黑人有歧視，就會在生成CEO等高端形象時偏向白人（這個情況真實發(fā)生過)。

所以，OpenAI提出了一個更高效的安全對齊獎勵方法Rule Based Rewards（簡稱“RBR”）。

論文地址:https://cdn.openai.com/rule-based-rewards-for-language-model-safety.pdf?ref

與傳統(tǒng)方法RLHF不同的是，RBR可將大模型期望的行為分解為一系列具體的規(guī)則。這些規(guī)則明確描述了期望和不期望的行為，例如，拒絕應(yīng)該包含簡短的道歉;拒絕應(yīng)該具有評判性;對自我傷害對話的回應(yīng)，應(yīng)包含同情的道歉等。

這種規(guī)則的分離類似于人類反饋方法中提出的規(guī)則，但研究人員使用了AI反饋而非人類反饋，同時允許對大模型的輸出進(jìn)行細(xì)粒度控制。

細(xì)粒度控制

細(xì)粒度控制可將我們對模型行為的期望轉(zhuǎn)化為一系列精細(xì)的規(guī)則。這些規(guī)則非常具體，能指導(dǎo)大模型在面對不同請求時，如何做出恰當(dāng)、正確的回應(yīng)。

例如，如果用戶提出一個不恰當(dāng)?shù)恼埱?，模型不僅應(yīng)該拒絕回答，而且應(yīng)該以一種禮貌和尊重的方式進(jìn)行。這種方法允許研究人員對模型的輸出進(jìn)行精確的調(diào)節(jié)，確保其在保持有用性的同時，不會逾越安全邊界。

為了實現(xiàn)這種控制，RBR構(gòu)建了一系列命題，這些命題是關(guān)于模型輸出的二元陳述，它們是評估模型行為的基礎(chǔ)。

例如，一個命題可能是“輸出包含對用戶請求的道歉”。通過對這些命題的真假進(jìn)行評估，開發(fā)人員能夠確定模型的輸出是否符合預(yù)期的行為規(guī)范。

接著，研究人員將這些命題組合成規(guī)則，定義了在特定情況下哪些命題的組合是期望的，哪些是不期望的。

例如，在處理自我傷害相關(guān)的請求時，模型的響應(yīng)應(yīng)該包含共情的道歉，并且避免提供具體的自我傷害方法。這樣的規(guī)則使得模型在面對敏感話題時，能夠以一種安全和負(fù)責(zé)任的方式進(jìn)行回應(yīng)。

合成數(shù)據(jù)生成

由于命題的二元特性，研究人員可以輕松地根據(jù)行為政策生成各種合成完成情況，這些完成情況代表了理想完成、次優(yōu)完成和不可接受完成。合成數(shù)據(jù)不僅用于訓(xùn)練模型，也用于評估和調(diào)整RBR的權(quán)重，確保模型的輸出符合預(yù)期的規(guī)則。

合成數(shù)據(jù)的生成過程是一個自動化的流程，它從一個行為指令開始，通過一系列命題和規(guī)則，生成具有不同特征的完成情況。

例如，對于一個需要硬拒絕的請求，研究人員可以生成一個完美的拒絕示例，其中包含簡短的道歉和聲明無法遵守的聲明;

同時，也可以生成包含評判性語言或不合邏輯的延續(xù)的不良拒絕示例。這些合成數(shù)據(jù)為模型提供了豐富的學(xué)習(xí)樣本，幫助它理解在不同情境下應(yīng)該如何做出恰當(dāng)?shù)捻憫?yīng)。

為了測試RBR的性能，研究人員對比了RBR訓(xùn)練的模型與人類安全數(shù)據(jù)基線訓(xùn)練的模型。實驗結(jié)果顯示，RBR能夠在提高安全性的同時，最大限度地減少過度拒絕的情況，實現(xiàn)了更安全的輸出。

在內(nèi)部安全評估中，RBR訓(xùn)練的模型（RBR - PPO）在安全性和過度拒絕指標(biāo)上表現(xiàn)出色，F(xiàn)1分?jǐn)?shù)達(dá)到97.1，高于人類反饋基線的91.7和有助益基線的95.8。

以上就是關(guān)于【OpenAI發(fā)布最新大模型安全對齊獎勵方法——RBR】的相關(guān)內(nèi)容，希望對大家有幫助！

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場無關(guān)。財經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險自擔(dān)。 如有侵權(quán)請聯(lián)系刪除！