請啟用 JavaScript 來查看內容

更多 OpenAI 的 Sora 模型可以做的事,文字轉影片 AI

    前言

    就在幾天前 (2024年2月15日),OpenAI 發布最新的 AI 模型 — Sora,可將文字描述轉換成影片,一公布出來馬上就引起熱烈的討論。

    想像你只要使用文字描述場景(甚至色調、風格、運鏡),就能由 AI 自動生成非常真實且生動的影片!😮


    基本的 Sora 模型介紹已經有很多人寫,大家應該也看過不少了。
    所以這篇我將介紹比較變化的應用,主要來源是 OpenAI 官方的 Sora 技術報告

    Sora 模型產生的影片截圖
    Sora 模型產生的影片截圖


    Sora 還可執行幾種圖片和影片的編輯任務

    Sora 可將使用者輸入的文字描述轉換成影片,而且是高畫質、高品質的影片,對於 "文字描述的理解能力"、"複雜場景處理"、"多鏡頭連貫性" 自然不在話下:





    而 Sora 除了可以透過文字從無到有生成影片,還可以執行以下幾種圖片和影片的編輯任務。

    向前或向後擴展影片

    Sora 能夠在時間上向前或向後擴展影片,例如一樣的影片結尾,但生成多種不同的影片開頭。
    甚至使用此擴展方法來產生無縫隙的無限循環影片。

    同樣的結局,但讓 AI 產生不同開頭
    同樣的結局,但讓 AI 產生不同開頭

    影片風格轉換

    把原始影片轉換成想要的風格,意思是可以像是以下的描述:

    • 讓它進入水下
    • 將時間設為冬天
    • 以黏土動畫風格製作
    • 更改為中世紀主題
    • 變更為像素風格

    影片風格轉換 - 冬天季節
    影片風格轉換 - 冬天季節

    影片風格轉換 - 中世紀主題
    影片風格轉換 - 中世紀主題

    影片風格轉換 - 像素風格
    影片風格轉換 - 像素風格

    連接影片

    我們還可以使用 Sora 在兩個輸入影片之間逐漸進行插值,從而在具有完全不同主題和場景構成的影片之間創建無縫過渡。

    下方第一部與第二部是完全不同的影片,Sora 可以幫你在兩部影片之間銜接過度,而且看起來很自然(第三部影片)。
    注意看,它是畫面中的物件一步步慢慢轉換成另一個影片的內容,而不是死板的淡入淡出,差別非常大。

    空拍建築的畫面慢慢轉換到聖誕模型的畫面:



    空拍機的飛行畫面銜接到魚兒水中游的畫面:



    這個功能我真的覺得非常厲害。

    生成圖片

    我們都知道影片是由很多張連續播放的圖片而成,因此也可以透過在時間範圍指定為一幀,讓 Sora 生成單張圖片。

    生成單張圖片1
    生成單張圖片1

    生成單張圖片2
    生成單張圖片2


    結語

    在看了以上範例後,又更加讚嘆 Sora 模型的強大、

    在小型節目製作公司或 YouTuber 製作影片時,為了輔助說明內容,常會使用短片素材。但由於拍攝、製作成本的考量,他們可能會使用免費或付費影片素材庫的內容。不過,這些素材庫的影片可能無法完全符合需求,或是與其他人使用到一模一樣的影片素材。
    而現在 Sora 生成的影片品質看起來已經達到可以使用的程度,這對對影視產業來說是一大利器(或衝擊?)。

    Sora 的出現降低了影片創作門檻,節省不少時間和拍攝成本,連一般非相關領域的大眾,都可以輕易做出一定品質的影片,未來創意可能會越來越重要。



    如果對於 AI 有興趣的讀者,記得『IT空間』FB 粉專要追蹤起來,才不會錯過最新的發文通知哦~🔔




    參考:
    Sora 介紹 | OpenAI 官方
    Sora 技術報告 | OpenAI 官方


    當 我和世界不一樣 那就讓我不一樣,堅持對我來說 就是以剛克剛
    我 如果對自己妥協 如果對自己說謊,即使別人原諒 我也不能原諒

    —— 【終於結束的起點】五月天


    🔻 如果覺得喜歡,歡迎在下方獎勵我 5 個讚~
    分享

    Jia
    作者
    Jia
    軟體工程師 - Software Engineer