超越ControlNet++!騰訊優(yōu)圖提出動(dòng)態(tài)條件選擇新架構(gòu)
相信很多大家對(duì)超越ControlNet++!騰訊優(yōu)圖提出動(dòng)態(tài)條件選擇新架構(gòu)還不知道吧,今天菲菲就帶你們一起去了解一下~.~!
超越ControlNet++,讓文生圖更可控的新框架來了!
ControlNet++、南洋理工、浙大等研究機(jī)構(gòu)聯(lián)合推出DynamicControl,直接將多模態(tài)大語言模型(MLLM)的推理能力集成到文本生成圖像(T2I))任務(wù)中。
而且還提出了一種新穎、高效的多控制適配器,可以自適應(yīng)地選擇不同的條件,從而實(shí)現(xiàn)動(dòng)態(tài)多控制對(duì)齊。
實(shí)驗(yàn)結(jié)果顯示,DynamicControl大大增強(qiáng)了可控性,且不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。
話不多說,下面來看具體內(nèi)容。
DynamicControl:動(dòng)態(tài)條件選擇新架構(gòu)
基于ControlNet類模型,之前的工作探索了各種控制信號(hào),例如布局約束、分割圖和深度圖,以決定生成的圖像中的空間排列、物體形狀和景深。
此外,該領(lǐng)域還見證了使用快速工程和交叉注意約束來進(jìn)一步完善圖像生成的調(diào)節(jié)。
不過現(xiàn)有方式均存在各自的局限性。
比如,考慮到一個(gè)對(duì)象的多種條件,一條線路(例如UniControl、UniControlNet)在訓(xùn)練過程中隨機(jī)選擇一次激活一種條件,如圖1(a) 所示。
這種處理不同視覺條件的能力非常低效,將大大增加訓(xùn)練的計(jì)算負(fù)擔(dān)和時(shí)間成本。
另一類方法(例如AnyControl、ControlNet++)使用固定數(shù)量(通常為2或4)的條件,并采用MoE設(shè)計(jì)或多控制編碼器來解決條件數(shù)量變化的問題,如圖1(b) 所示。
然而,這種固定數(shù)量方案并沒有從根本上解決多條件問題,也沒有考慮多條件是否與生成結(jié)果相沖突。
雖然這些方法擴(kuò)展了受控圖像生成的可行性和應(yīng)用,但在不同條件下增強(qiáng)可控性的清晰而全面的方法仍然是一個(gè)正在進(jìn)行的研究和開發(fā)領(lǐng)域。這凸顯了在T2I擴(kuò)散模型中集成和優(yōu)化控制機(jī)制以實(shí)現(xiàn)更可靠和更詳細(xì)的圖像合成方面需要不斷創(chuàng)新。
給定來自同一主題的多個(gè)條件,對(duì)于相同的文本提示,不同的條件在顏色、紋理、布局,合理性等方面產(chǎn)生不同的結(jié)果。
此外,從與源圖像的相似度SSIM得分來看,不同的條件難以準(zhǔn)確生成與輸入源圖像一致的圖像。這也表明不同條件對(duì)生成更好圖像的貢獻(xiàn)不同,有些條件甚至?xí)a(chǎn)生負(fù)面影響。
因此,在先前的方法中,僅選擇一個(gè)或固定數(shù)量的條件而不考慮它們?cè)谏筛咏磮D像的圖像方面的重要性以及每個(gè)條件之間的內(nèi)部關(guān)系是次優(yōu)的。
為了解決這個(gè)問題,研究提出了DynamicControl,這是一個(gè)支持多種控制信號(hào)動(dòng)態(tài)組合的新框架,它可以自適應(yīng)地選擇不同數(shù)量和類型的條件,如圖1(c)所示。
具體咋做到的
算法的整體流程如下圖所示。
給定多種條件,研究首先引入雙循環(huán)控制器來產(chǎn)生真實(shí)的排名分?jǐn)?shù),作為與MLLM結(jié)合訓(xùn)練條件評(píng)估器的監(jiān)督信號(hào)。
然后,這些排名的條件與來自預(yù)訓(xùn)練條件評(píng)估器的選擇分?jǐn)?shù)由多控制適配器動(dòng)態(tài)編碼,以實(shí)現(xiàn)可控的圖像生成。
Double-Cycle Controlle鑒于研究將多條件可控性概念化為輸入條件之間的動(dòng)態(tài)選擇,因此使用判別獎(jiǎng)勵(lì)模型來衡量這種選擇是可行的。
通過量化生成模型的輸出,研究能夠依靠這些定量評(píng)估來集體增強(qiáng)各種條件控制的優(yōu)化,以促進(jìn)更可控的生成過程。
具體來說,給定多個(gè)條件和文本提示,研究首先利用預(yù)訓(xùn)練的條件生成模型為每個(gè)條件生成圖像。
然后通過不同的預(yù)訓(xùn)練判別模型提取相應(yīng)的反向條件。
基于這些生成的圖像和反向條件,研究設(shè)計(jì)了一個(gè)雙循環(huán)控制器,對(duì)輸入的多個(gè)控制條件進(jìn)行初始重要性評(píng)估。該雙循環(huán)控制器由兩個(gè)一致性分?jǐn)?shù)組成,即條件一致性和圖像一致性。
(1)條件一致性。對(duì)于每個(gè)輸入條件和生成圖像的相應(yīng)輸出條件,研究?jī)?yōu)化了條件循環(huán)一致性損失以獲得更好的可控性,其公式為:
這里研究對(duì)擾動(dòng)圖像執(zhí)行單步采樣,其中D是判別獎(jiǎng)勵(lì)模型,用于優(yōu)化G的可控性。L表示抽象度量函數(shù),可根據(jù)特定的視覺條件適應(yīng)各種具體形式。
這種靈活性使其能夠根據(jù)不同視覺分析任務(wù)的獨(dú)特要求進(jìn)行定制,從而增強(qiáng)模型在不同場(chǎng)景中的適用性和有效性。
(2)反向圖像一致性。除了條件一致性之外,研究還采用反向圖像一致性損失來保證原始圖像與生成的圖像相似。
研究通過最小化生成的圖像和源圖像之間的像素和語義差異來實(shí)現(xiàn)這一點(diǎn)。給定源圖像和生成的圖像的CLIP嵌入,損失定義為:
這種損失確保模型在應(yīng)用條件和文本指令時(shí)能夠忠實(shí)地反轉(zhuǎn)條件并返回到源圖像,通過最小化源圖像和生成的圖像之間的差異來強(qiáng)制執(zhí)行模型。
Condition Evaluator雖然雙循環(huán)控制器可以對(duì)各種控制條件進(jìn)行綜合評(píng)分,但仍然面臨兩個(gè)挑戰(zhàn):
(i)使用預(yù)先訓(xùn)練的生成模型進(jìn)行圖像合成都會(huì)給結(jié)果帶來較高的不確定性,這意味著對(duì)所采用的基礎(chǔ)生成模型的依賴性很高。
(ii)源圖像在測(cè)試過程中不可用,尤其是在用戶指定的任務(wù)中。為了解決這個(gè)問題,研究在網(wǎng)絡(luò)架構(gòu)中引入了多模態(tài)大語言模型(MLLM)。
如圖3所示,給定條件c1、c2、…、cN和指令τ,研究的主要目標(biāo)是利用雙周期控制器的得分排序來優(yōu)化條件的最佳排序。
研究用N個(gè)新標(biāo)記“<con0>、…、<conN>”,擴(kuò)展了LLaVA的原始LLM詞匯表以表示生成信息,并將這些標(biāo)記附加到指令τ的末尾。
然后,將條件c1、c2、…、cN和重新組織的指令τ’輸入到大語言模型 (VLLM) LLaV A(·; ω) 中以獲得對(duì)標(biāo)記的響應(yīng),這些標(biāo)記被處理以提取相應(yīng)的隱藏狀態(tài)hi ∈ H,從VLLM對(duì)輸入的表示中捕獲更深層的語義信息。
然而,這些隱藏狀態(tài)主要存在于LLM的文本向量空間中,在與擴(kuò)散模型(尤其是基于CLIP文本嵌入訓(xùn)練的模型)交互時(shí)會(huì)出現(xiàn)兼容性問題。這種差異可能會(huì)阻礙模型之間的有效集成。
考慮到這一點(diǎn),研究遷移了Q-Former,以將隱藏狀態(tài)細(xì)化為與擴(kuò)散模型兼容的嵌入fc。
轉(zhuǎn)換過程表示為:
循環(huán)優(yōu)化過程可以表述為:
隨后,每個(gè)條件的LLM預(yù)測(cè)結(jié)果由雙循環(huán)控制器的相應(yīng)排序分?jǐn)?shù)進(jìn)行監(jiān)督,從而優(yōu)化最終的排序排名。該過程表示為:
多控制適配器動(dòng)態(tài)編碼為了適應(yīng)多種動(dòng)態(tài)控制條件的同時(shí)應(yīng)用,作者們創(chuàng)新性地設(shè)計(jì)了一個(gè)多控制適配器。該適配器用于自適應(yīng)地解釋復(fù)雜的控制信號(hào),從而能夠從文本提示和動(dòng)態(tài)空間條件中提取全面的多控制嵌入。
在獲得經(jīng)過良好預(yù)訓(xùn)練的條件評(píng)估器后,可以利用其強(qiáng)大的理解能力對(duì)所有輸入條件進(jìn)行評(píng)分。
從評(píng)分條件池中,只有那些達(dá)到或超過預(yù)定義閾值的條件才會(huì)被選中參與后續(xù)的T2I模型優(yōu)化。
這種選擇性方法確保只有最相關(guān)和最高質(zhì)量的條件才能參與訓(xùn)練過程,從而有可能提高T2I模型的有效性和效率。
關(guān)于閾值設(shè)置,它不是手動(dòng)預(yù)定義的,也不是在訓(xùn)練集內(nèi)的所有數(shù)據(jù)對(duì)中保持一致的。相反,它被配置為一個(gè)可學(xué)習(xí)的參數(shù),允許模型自適應(yīng)地確定和調(diào)整各種數(shù)據(jù)集的閾值。
因此,這種自適應(yīng)機(jī)制導(dǎo)致動(dòng)態(tài)和多樣化的控制條件在數(shù)量和類型上都沒有沖突。
這些條件在訓(xùn)練過程中的使用取決于每個(gè)數(shù)據(jù)集的具體特征。這種方法確保訓(xùn)練能夠根據(jù)各種數(shù)據(jù)輸入的獨(dú)特需求和細(xì)微差別進(jìn)行量身定制。
實(shí)驗(yàn)結(jié)果
概括而言,來自各種條件控制的實(shí)驗(yàn)結(jié)果表明,DynamicControl大大增強(qiáng)了可控性,而不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。
其中,不同條件控制和數(shù)據(jù)集下的可控性比較如下。
不同條件控制和數(shù)據(jù)集下的FID(↓)/ CLIP 分?jǐn)?shù)(↑)比較如下。
可視化結(jié)果也出來了。
總結(jié)
在論文中,研究從定量和定性的角度證明了現(xiàn)有的專注于可控生成的研究仍然未能充分利用多種控制條件的潛力,導(dǎo)致生成的圖像與輸入條件不一致。
為了解決這個(gè)問題,研究引入了DynamicControl ,它使用高效的條件評(píng)估器對(duì)條件進(jìn)行排序,明確優(yōu)化了多個(gè)輸入條件和生成的圖像之間的一致性,從而將MLLM的推理能力集成到T2I生成任務(wù)中。
此外,研究還提出了一種新穎而高效的多控制適配器,可以自適應(yīng)地選擇不同的條件,從而實(shí)現(xiàn)動(dòng)態(tài)多控制對(duì)齊。
來自各種條件控制的實(shí)驗(yàn)結(jié)果表明,DynamicControl大大增強(qiáng)了可控性,而不會(huì)犧牲圖像質(zhì)量或圖像文本對(duì)齊。
這為可控視覺生成提供了新的視角。
論文:
https://arxiv.org/abs/2412.03255
項(xiàng)目主頁:
https://hithqd.github.io/projects/Dynamiccontrol/
以上就是關(guān)于【超越ControlNet++!騰訊優(yōu)圖提出動(dòng)態(tài)條件選擇新架構(gòu)】的相關(guān)內(nèi)容,希望對(duì)大家有幫助!
免責(zé)聲明:本文由用戶上傳,與本網(wǎng)站立場(chǎng)無關(guān)。財(cái)經(jīng)信息僅供讀者參考,并不構(gòu)成投資建議。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除!
- 董明珠曾喊話雷軍給股民分多少錢!格力:擬分紅超55億
- Epic喜+1:動(dòng)作游戲《師父》免費(fèi)領(lǐng) 立省139元
- 雷軍辟謠只招聘35歲以下員工:僅針對(duì)未來之星項(xiàng)目
- 普華永道發(fā)布2025年AI預(yù)測(cè):AI Agents將勞動(dòng)力提升1倍
- 雷軍回應(yīng)股價(jià)暴跌:年年難過年年過
- 一天100座!理想汽車第1700座超充站正式建成
- 《守望先鋒》國(guó)服宣布2月19日回歸:賬號(hào)數(shù)據(jù)完整保留
- 雷軍建議創(chuàng)業(yè)者要多留點(diǎn)錢給員工:別到山窮水盡才講問題
-
奔馳GLE作為豪華SUV市場(chǎng)中的佼佼者,憑借其卓越的性能、豪華的內(nèi)飾以及寬敞的空間,吸引了眾多消費(fèi)者的關(guān)注。...瀏覽全文>>
-
在2025年,安徽阜陽地區(qū)的帕薩特新能源汽車市場(chǎng)表現(xiàn)非?;钴S。作為一款備受關(guān)注的新能源車型,帕薩特新能源憑...瀏覽全文>>
-
近日,滁州地區(qū)的大眾汽車經(jīng)銷商傳來好消息:備受矚目的2025款T-ROC探歌正式上市,并且以極具競(jìng)爭(zhēng)力的價(jià)格吸引...瀏覽全文>>
-
在選擇一款新能源汽車時(shí),了解其價(jià)格和配置是非常重要的一步。安徽淮南地區(qū)的長(zhǎng)安啟源E07作為2024款的新車型,...瀏覽全文>>
-
阜陽長(zhǎng)安啟源A05作為長(zhǎng)安汽車旗下的全新車型,自推出以來便憑借其獨(dú)特的設(shè)計(jì)風(fēng)格和豐富的配置吸引了眾多消費(fèi)者...瀏覽全文>>
-
阜陽長(zhǎng)安啟源A07作為一款備受矚目的新能源車型,以其豪華配置和親民的價(jià)格在市場(chǎng)上引起了廣泛關(guān)注。這款車型不...瀏覽全文>>
-
安徽淮南威然2024款價(jià)格及配置詳解隨著汽車市場(chǎng)的不斷更新?lián)Q代,上汽大眾旗下的MPV車型——威然(Viloran)憑...瀏覽全文>>
-
QQ多米新車報(bào)價(jià)2025款,買車省錢秘籍隨著汽車市場(chǎng)的不斷發(fā)展,消費(fèi)者在選購車輛時(shí)不僅關(guān)注車型的性能和配置,...瀏覽全文>>
-
滁州途觀X 2024款最新價(jià)格及買車省錢秘籍隨著汽車市場(chǎng)的不斷發(fā)展,大眾途觀X作為一款兼具時(shí)尚與性能的中型SUV...瀏覽全文>>
-
隨著汽車市場(chǎng)的不斷發(fā)展,大眾蔚攬以其優(yōu)雅的設(shè)計(jì)和卓越的性能贏得了眾多消費(fèi)者的青睞。作為一款兼具實(shí)用性和...瀏覽全文>>
- Alienware 在 2025 年 CES 上展示了一些超凡脫俗的技術(shù)
- Wickes 任命首席零售和分銷官
- 分析師稱GTA 6或?qū)淞⑿袠I(yè)新標(biāo)準(zhǔn)
- 索尼和本田在拉斯維加斯推出售價(jià) 89,900 美元的 Afeela 1
- 日本 11 月游客人數(shù)創(chuàng)月度新高
- 神經(jīng)認(rèn)知測(cè)試在 3 歲兒童白血病治療期間可行
- 牛津郡小學(xué)支持圣誕毛衣日
- S?strene Grene 投資歐洲物流中心
- 有人已經(jīng)在電視上直播 BNMC 打造的 1967 年福特野馬 Restomod
- 潛在的分子療法可以逆轉(zhuǎn)小鼠的胎盤發(fā)育問題
- 奔馳GLE預(yù)約試駕,新手必看的詳細(xì)流程
- 滁州T-ROC探歌 2025新款價(jià)格,最低售價(jià)15.89萬起,趕緊行動(dòng)
- 安徽淮南威然最新價(jià)格2024款,各配置車型售價(jià)全知曉
- 滁州途觀X最新價(jià)格2024款,買車省錢秘籍
- 淮南長(zhǎng)安啟源Q05 2025新款價(jià)格,最低售價(jià)9.69萬起,入手正當(dāng)時(shí)
- 安徽淮南探影多少錢 2023款落地價(jià),各配置車型售價(jià)一目了然
- 淮南途觀X價(jià)格大揭秘,買車前必看
- 安徽淮南長(zhǎng)安獵手K50新款價(jià)格2025款多少錢?買車攻略一網(wǎng)打盡
- 滁州ID.4 X新款價(jià)格2025款多少錢?買車攻略一網(wǎng)打盡
- QQ多米落地價(jià),購車前必看的費(fèi)用明細(xì)
- Nvidia DLSS 4 有望將游戲性能提高 8 倍
- 人工智能在預(yù)測(cè)自身免疫性疾病進(jìn)展方面顯示出良好的前景
- 心理物理實(shí)驗(yàn)揭示皮膚水分感知是如何改變的
- 科茨沃爾德公司慶祝圣誕節(jié)圓滿成功
- 南法納姆學(xué)校被評(píng)為薩里郡表現(xiàn)最好的小學(xué)
- 約克區(qū)九所小學(xué)將削減招生人數(shù)
- 松下新款電動(dòng)汽車電池為 Lucid Gravity 帶來 450 英里續(xù)航里程
- 泰國(guó)旅游呈現(xiàn)新趨勢(shì)
- 研究人員找到在細(xì)胞水平上餓死前列腺癌腫瘤的新方法
- 領(lǐng)先的人工智能聊天機(jī)器人在測(cè)試中表現(xiàn)出類似癡呆癥的認(rèn)知能力下降
- 龐大的 Project Zomboid build 42 終于可以玩了
- Steam Replay 回歸向您展示 2024 年您玩得最多的 PC 游戲
- Jollyes 推出強(qiáng)化的人才支持和招聘措施
- Karen Millen 與 Simon Harrison 共同推出全新高級(jí)珠寶系列
- 奇瑞風(fēng)云A8L電動(dòng)轎車刷新續(xù)航里程世界紀(jì)錄
- 虛擬藝術(shù)家將別克 Cascada 帶回 2026 款車型
- OnePlus 宣布推出新計(jì)劃解決綠線問題
- OnePlus Watch 3 將擁有更大的電池和更薄的機(jī)身
- 研究人員發(fā)現(xiàn)可變剪接與自身免疫性疾病遺傳之間的細(xì)胞類型特異性聯(lián)系
- 科學(xué)家確定腦細(xì)胞類型是排尿的主要控制者