一、前言

AIGC工具的出現(xiàn)為整個設(shè)計行業(yè)帶來了革命性變化，其強大之處有目共睹。設(shè)計師們借助它大大提高了創(chuàng)作效率，同時它也可以將設(shè)計師的各種想法化為充滿創(chuàng)意的畫面，讓我們可以將更多精力投入到創(chuàng)意構(gòu)思和細節(jié)優(yōu)化上。但目前AI生圖仍存在生成隨機性強、AI同質(zhì)化嚴重等問題，為了避免這些負面影響，我們將訓(xùn)練自有的LoRA模型作為一種解決方案，添加LoRA模型進行生圖不僅可以提升圖像生成質(zhì)量、精準表達提示詞，也能確保圖像輸出風格的穩(wěn)定性與獨特性。

在通過深入了解并使用LoRA模型后，我們開始思考如何將其與玩法結(jié)合并落地于業(yè)務(wù)的運營活動中。

二、項目探索

1.項目背景?

文小言作為一款A(yù)I原生產(chǎn)品，其中囊括了眾多AI相關(guān)的特色功能。

在已上線的「二十四節(jié)氣-寫詩成畫」智能體中，我們期望文小言能依據(jù)用戶提示詞，創(chuàng)作出與當下節(jié)氣相契合的精美藏頭詩海報，但目前AI在此過程中的參與度稍顯不足，僅參與了藏頭詩部分的生成，節(jié)氣底圖仍依賴設(shè)計師繪制。為深度挖掘AI的潛力，我們考慮將LoRA生圖能力落地在智能體的底圖生成中，通過將兩者巧妙結(jié)合，制成精美且充滿意境的國風水墨系列海報，從立春之始，至歲末大寒，讓每一幅海報都似精美水墨畫卷般緩緩展開。

2.玩法創(chuàng)新?

通過LoRA將AI生圖能力落地在「二十四節(jié)氣-寫詩成畫」智能體中，做到快速生成多張相同風格的節(jié)氣海報，同時也使生成的畫面創(chuàng)意倍增，極大強化玩法的AI屬性與趣味性，提升用戶的生成體驗。

另一方面，通過一次性搭建配置平臺，只需簡單更換節(jié)氣提示詞即可做到節(jié)氣風格切換，極大簡化玩法前期配置所需環(huán)節(jié)。

同時，該玩法歷經(jīng)長期的更新迭代，已經(jīng)積累了大量優(yōu)質(zhì)的訓(xùn)練集，并形成一套完整的水墨風格體系，基本可以滿足節(jié)氣風格LoRA的訓(xùn)練所需。

3.明確方向

訓(xùn)練前期，將現(xiàn)有節(jié)氣海報圖片匯總排列，分析并提煉其共同點和風格特征，從而確定了LoRA風格訓(xùn)練的幾大方向：

• 保持國風水墨風格：確保LoRA在圖像生成時能夠凸顯畫面的意境氛圍和水墨暈染的筆觸，使觀者仿若置身于詩意的山水畫卷之中。

• 強調(diào)畫面上方留白：留白不僅是國風水墨畫中凸顯意境的常見藝術(shù)手法，同時也為藏頭詩的融入提供了相應(yīng)的區(qū)域，二者相輔相成，共同展現(xiàn)出獨特的藝術(shù)魅力。

• 支持節(jié)氣靈活切換：為確保圖像生成的多樣化體驗，需在滿足以上兩點的同時，實現(xiàn)單一LoRA模型對二十四節(jié)氣的靈活適配，這要求我們深入理解四季變換的自然規(guī)律與美學(xué)特征，并制定針對性訓(xùn)練策略，讓LoRA在生圖時充分彰顯四季更迭的獨特魅力。

4.模型訓(xùn)練

在明確了訓(xùn)練方向后，我們正式啟動了模型訓(xùn)練流程，遇到問題采取相應(yīng)策略，見招拆招！

1）訓(xùn)練集補全

由于目前已更新的節(jié)氣尚未覆蓋全年二十四節(jié)氣，所以首先需要對缺失圖集進行補全。

我們通過將已有圖集上傳至Midjourney，利用已有圖集墊圖控制生成風格，在提示詞方面強調(diào)水墨意境與畫面留白的描述，二者結(jié)合共同引導(dǎo)，快速補全24節(jié)氣缺失圖集。

經(jīng)過多輪生成嘗試得出結(jié)論，關(guān)于景色的描述越簡潔，畫面則越有意境，所以我們借助了文小言的文言文生成能力，得到了簡潔優(yōu)美的畫面提示詞。

2）訓(xùn)練集處理

由于AI生成具有極強的隨機性，因此我們在訓(xùn)練集準備階段，通過PS對圖像布局進行調(diào)整，并根據(jù)訓(xùn)練集畫面提煉對應(yīng)的描述詞模版，旨在特意強調(diào)畫面中的留白部分。這一操作不僅是為了給藏頭詩預(yù)留區(qū)域，留白同樣也是水墨畫中不可或缺的元素，它不僅能夠賦予畫面呼吸的空間，更能夠凸顯畫面所蘊含的深邃意境與無限遐想。

3）訓(xùn)練及成果測試

通過調(diào)整合適的訓(xùn)練參數(shù)進行LoRA訓(xùn)練，多次訓(xùn)練結(jié)果對比顯示，若是采取將訓(xùn)練集按季節(jié)細致分類的策略，可以增強模型對季節(jié)特征的辨識與學(xué)習(xí)能力，有效避免季節(jié)特征間相互污染，確保LoRA中四季的劃分。

隨后，通過將LoRA結(jié)合大模型進行生圖測試，尋找最佳生圖參數(shù)，并通過總結(jié)高質(zhì)提示詞模版，做到更換季節(jié)、場景描述即可完成高質(zhì)量、高泛化的圖像生成。

4）生圖功能落地

最后我們將生成的圖像與AI藏頭詩巧妙融合，制作出一系列畫面精美、意蘊深遠的節(jié)氣藏頭詩海報。這些海報不僅展示了中國傳統(tǒng)文化的獨特魅力，還通過現(xiàn)代科技的手段，讓古老的節(jié)氣文化煥發(fā)出新的生機與活力，更為我們帶來了全新的視覺與心靈享受。

三、落地收益

我們將生圖能力整合落地至「二十四節(jié)氣-寫詩成畫」智能體后，實現(xiàn)了圖像創(chuàng)作的全AI化，它能夠根據(jù)用戶的個性化需求，生成豐富多樣的視覺內(nèi)容。這不僅極大吸引了用戶的注意力，還激發(fā)了他們的創(chuàng)意互動熱情，為用戶帶來了全新的玩法體驗。

這種創(chuàng)新性的運營玩法不僅顯著提升了用戶參與度，強化了產(chǎn)品的AI屬性，更在無形中增強了品牌影響力。后續(xù)我們也會通過不斷優(yōu)化訓(xùn)練集內(nèi)容對LoRA進行版本迭代，在圖像創(chuàng)作領(lǐng)域為用戶帶來更好的體驗。

感謝閱讀，以上內(nèi)容均由百度MEUX團隊原創(chuàng)設(shè)計，以及百度MEUX版權(quán)所有，轉(zhuǎn)載請注明出處，違者必究，謝謝您的合作。申請轉(zhuǎn)載授權(quán)后臺回復(fù)【轉(zhuǎn)載】。MEUX招聘進行中，交互/視覺/用研可投簡歷至meux-talent@baidu.com(請在郵件中務(wù)必明確標注信息來源，例如：來自MEUX UI中國）

關(guān)于我們：
MEUX,百度移動生態(tài)用戶體驗設(shè)計中心，負責百度移動生態(tài)體系的用戶/商業(yè)產(chǎn)品的全鏈路體驗設(shè)計。服務(wù)的產(chǎn)品包括百度APP、百度搜索、百度百科、百度貼吧、百度商業(yè)產(chǎn)品等。MEUX以「簡單極致」為設(shè)計理念，創(chuàng)造極致用戶體驗的同時賦能商業(yè)，推動設(shè)計行業(yè)的價值和影響力，讓生活因設(shè)計而更美好。

Powered by Froala Editor