報告長官，以下是AI動圖的探路情況。ai動圖視頻逐步出現(xiàn)在大眾視野，不過目前效果可能有點迷。由于個人接觸有限，如果有大佬有新嘗試，能補充更多內容，感激！

下面涉及的所有有關AI動圖視頻的軟件和平臺基本都需要稍微會寫點描述詞的能力，動圖的制作和普通AI繪圖極其相似，只是需要在關鍵詞的內容上注意以下幾個點：

①描述的角色的內容旁，增加動詞動作，比如女孩微笑大笑

②描述風格的用詞旁邊，采用移動方向的描述，比如向左平移，向上向下

AI繪圖里大致有midjourney還有stable diffusion兩派，類比一下，AI動圖和視頻內容中，Runway和midjourney很類似，可以不用魔法，除了Runway應該還有很多不同的平臺在，希望能有更多便宜大碗的網站推薦。

Runway官網可以直接生成視頻：https://app.runwayml.com/

①綠幕去背、模糊人臉、移除影片物件等等視頻剪輯的便捷操作，嘗試一下會有驚喜。

②不吃自己的顯卡，如果電腦配置跟不上，類似Runway的平臺，真滴香。

③筆刷涂抹控制部分畫面移動情況，這個設計補足了單單文字提示詞的短板，更適合生成穩(wěn)定的圖片。

①目前沒能找到以視頻生成AI視頻的操作，只有文字描述生成或者圖片生成視頻。

②免費生成的幾張圖會帶有水印，不過嘗鮮也夠用

③每次生成的視頻或者動圖的時長只能4秒，但是由于可以在4秒的基礎上，通過最后一幀生成再獲得四秒鐘，其實是可以拼成很長一段視頻

很早的時候大多數(shù)AI視頻的做法是運用stable diffusion中controlnet對已經變成圖片的視頻幀進行批量AI繪制，然后運用圖片轉視頻的操作再形成AI視頻，但是這種處理方式會出現(xiàn)跳幀以及不穩(wěn)定現(xiàn)象。然而近期Animate?diff終于出stable diffusion的插件了，效果比較絲滑、穩(wěn)定、閃爍較小，是一大進步。

①可控性比Runway高，不卡死4s鐘，顯卡有多大膽，時間有多大產。

②開源，免費之光??！

①需要不錯顯卡，推薦顯存12GB往上（個人是N卡3060，12GB，用的SD WebUI版本的Animate?diff，不太能視頻生成視頻很容易爆顯存），當然也有說8G顯存也夠用。

②操作稍微麻煩一些

①單獨安裝ComfyUI版的Animate?diff，占用顯存比較少，但需要適應新的工作流節(jié)點

②云端租用，可以嘗試百度的飛槳平臺每天可以免費用8小時，或者使用青椒云可以按小時租用云端電腦搞搞（只帶了筆記本電腦的時候會用）

③一鍵換新顯卡（苦笑）

①SDwebUI擴展-可用-搜索animate diff安裝插件即可

②animate diff模型和鏡頭運動lora下載：

模型放到SD源目錄\extensions\sd-webui-animatediff\model

鏡頭控制lora放到SD源目錄\models\Lora

①顯卡配置不高，建議高度*寬度512*512分辨率生成，后期放大。

②啟用animate diff

③動畫模型：不同模型可能使用體驗不同，目前嘗試二次元模型要比三次出效果。

④總幀數(shù)不小于幀率，幀率默認填8比較好用，容易出效果。

⑤closed loop中N（不循環(huán)的視頻動圖）A（循環(huán)的）R-P、R+P（由算法按效果生成是否循環(huán)的動畫）

⑥其余參數(shù)基本可以保持默認狀態(tài)

1.文生視頻

①Prompt Travel的使用:

普通提示詞后加上Prompt Travel觸發(fā)詞“幀數(shù): 提示詞”，注意半角冒號后面有空格。

例如：

1boy,short black hair,smile,Masterpiece

0: closed mouth

8: open mouth

說明剛開始是閉嘴，第8幀后張開嘴巴，從而使用提示詞控制畫面。

②添加控制鏡頭lora：此處不如Runway的畫筆控制部分畫面移動的功能好用，是對整個畫面的鏡頭移動控制。

2.圖生視頻

想要生成兩張圖間隔動畫：可以controlnet上傳初始圖，animate diff上傳末尾幀內容，中間由AI發(fā)揮，注意繪制中重回幅度盡量調整較大，不要太小，太小容易突變容易出怪東西，合適重繪幅度為0.75左右。

以上是簡單的部分操作示意，有更多探索體驗，歡迎交流！