AI原生時代，應(yīng)用創(chuàng)新蓄勢待發(fā)

2024-5-13 11:37| 發(fā)布者: admin| 查看: 226| 評論: 0

摘要: 本文摘自《云棲戰(zhàn)略參考》，這本刊物由阿里云與鈦媒體聯(lián)合策劃。目的是為了把各個行業(yè)先行者的技術(shù)探索、業(yè)務(wù)實踐呈現(xiàn)出來，與思考同樣問題的“數(shù)字先行者”共同探討、碰撞，希望這些內(nèi)容能讓你有所啟發(fā)。邁入AI大模 ...

本文摘自《云棲戰(zhàn)略參考》，這本刊物由阿里云與鈦媒體聯(lián)合策劃。目的是為了把各個行業(yè)先行者的技術(shù)探索、業(yè)務(wù)實踐呈現(xiàn)出來，與思考同樣問題的“數(shù)字先行者”共同探討、碰撞，希望這些內(nèi)容能讓你有所啟發(fā)。

邁入AI大模型和生成式技術(shù)飛躍發(fā)展的時代，基于AI的應(yīng)用創(chuàng)新正在成為新的主題。

2023年，從通用大模型喧囂到行業(yè)大模型集中落地，AI應(yīng)用創(chuàng)新也在下半年呈爆發(fā)式涌現(xiàn)；2024年，AI應(yīng)用的顆粒度正在進一步細(xì)化，關(guān)注點和效用也更實際，也正進一步走近垂直細(xì)分領(lǐng)域的價值實現(xiàn)。

對于大多數(shù)產(chǎn)業(yè)以及其中的企業(yè)來說，轉(zhuǎn)變技術(shù)范式、突破傳統(tǒng)模式發(fā)展是更現(xiàn)實的挑戰(zhàn)，以AI賦能現(xiàn)有的技術(shù)、業(yè)務(wù)，是最現(xiàn)實的命題，也是最具效率、落地速度最快的路徑。

但不同于從傳統(tǒng)產(chǎn)業(yè)中誕生的創(chuàng)新，AI時代的新創(chuàng)業(yè)者天生就是原住民，他們對新技術(shù)的理解、應(yīng)用和探索得心應(yīng)手，天然使用AI思維構(gòu)建應(yīng)用的模式。

人們對“AI原生”充滿好奇，不僅是想了解其全新模式內(nèi)涵，也想知道下一個風(fēng)口將從哪里發(fā)起。本刊將定期匯總盤點國內(nèi)外最新的AI原生應(yīng)用，希望為讀者提供創(chuàng)新發(fā)展趨勢的信息和思考。

多模態(tài)生成式AI競賽進行中

從2023年國內(nèi)妙鴨相機爆火，到2024年初Sora引爆全球，AGI所能呈現(xiàn)的內(nèi)容深度正在迅速下潛。

《福布斯》雜志對2024年AI領(lǐng)域關(guān)鍵創(chuàng)新的預(yù)測之一就是多模態(tài)生成式AI，稱此類系統(tǒng)能處理文本、聲音、旋律和視覺信號等各種輸入信息，并將其融合起來進行綜合理解。隨著多模態(tài)技術(shù)的不斷發(fā)展，AI模型將迎接更加復(fù)雜多樣化的交互場景，有望在智能家居、智慧城市、醫(yī)療診斷、自動駕駛等領(lǐng)域打開全新的應(yīng)用空間。

視頻生成

Sora發(fā)布被認(rèn)為是AGI實現(xiàn)過程里的重大里程碑事件，而不僅僅只是視頻生成技術(shù)的突破。它對語言的理解也達(dá)到了一個新的層級，使其能夠準(zhǔn)確地理解提示詞，并生成表達(dá)充滿活力的情感的視頻。它建立在過去對DALL·E和GPT模型的綜合研究之上，提出了一種新的模型可能，不僅可以理解用戶在提示中提出的要求，還能理解物理世界的存在方式。

在AI巨頭OpenAI入局之前，創(chuàng)業(yè)企業(yè)Runway和Pika被認(rèn)為是這一賽道的佼佼者。

Pika Labs成立于2023年4月，同年11月發(fā)布首個產(chǎn)品Pika1.0，能夠生成和編輯3D動畫、動漫、卡通和電影，并且普通用戶還可以對其進行加工，被視為一款零門檻“視頻生成神器”。這支最初由4個人組建的團隊，融資超過5500萬美元，幾乎所有AI領(lǐng)域的知名早期投資公司都參與了此輪融資。而就在Pika1.0發(fā)布才過去四個月不到，同賽道的Sora的橫空出世，在AI視頻生成這條路上，又增加了很多變數(shù)和可能性。

Pika創(chuàng)始人郭文景在與鈦媒體創(chuàng)始人趙何娟的對話中提到，目前生成式視頻發(fā)展的一個重要限制是算法的成熟度，這也是Pika的核心主攻方向?！拔矣X得視頻跟語言模型不太一樣，關(guān)于語言模型大家已經(jīng)知道大概的方法，算法其實已經(jīng)比較成熟了。但視頻現(xiàn)在沒有很好的算法，它不是一個規(guī)?；膯栴}，不是說現(xiàn)在大家的GPU不夠多，很多時候其實是算法上還沒有很好的一個思路?！惫木罢f。

3月份，Pika對超級合作者(Super Collaborator)和Pro用戶開放測試了一項新功能：Sound Effects，聲稱可以給視頻無縫生成音效。生成的方式有兩種：提供Prompt或直接讓Pika根據(jù)視頻內(nèi)容自動生成。Pika還沒有公開Sound Effects背后的原理，此前Sora大火之后，語音初創(chuàng)公司Eleven Labs就出過類似的配音功能。

另一家獨角獸Runway成立于2018年，是一家AI視頻編輯軟件提供商，主要為設(shè)計師、藝術(shù)家和開發(fā)人員提供一系列的工具和平臺，產(chǎn)品是幫助專業(yè)人士生成各種內(nèi)容。Runway創(chuàng)業(yè)之初的產(chǎn)品形態(tài)是一個關(guān)于機器學(xué)習(xí)模型的應(yīng)用商店。隨后公司基于AI算法，不斷開發(fā)新的模型框架。2021年公司與慕尼黑大學(xué)、海德堡大學(xué)等共同發(fā)表《High-Resolution Image Synthesis with Latent Diffusion Models》；2022年，公司構(gòu)建了Stable Diffusion的原始版本，并將該技術(shù)集成進設(shè)計軟件的功能中。2023年2月6日，Runway發(fā)布了Gen-1，可以通過文本提示或參考其他圖像中的風(fēng)格，對原視頻進行編輯，即在原視頻的基礎(chǔ)上生成新的視頻(Video to Video)。隨后三個月內(nèi)，再次推出了Gen-2，支持由文字生成視頻。用戶可以輸入原創(chuàng)的文本提示，或者根據(jù)系統(tǒng)提供的自動提示建議進行視頻生成。Gen-2還支持高級設(shè)置優(yōu)化，用戶可以在網(wǎng)頁上微調(diào)生成的視頻。

2024年3月，以色列初創(chuàng)公司Lightricks也發(fā)布了一款A(yù)I驅(qū)動的電影生成和剪輯軟件——LTX Studio。只要通過文字，它就能直接生成復(fù)雜的劇情，包含語音、音效、視頻畫面。LTX Studio結(jié)合了多種AI技術(shù)，涵蓋了創(chuàng)作過程中的各個環(huán)節(jié)。其中，公司獨創(chuàng)的文生視頻模型——Long Animate Diff，能夠創(chuàng)作出幀數(shù)在16至64之間的視頻。此外，團隊還發(fā)布了另一款專門用于創(chuàng)作32幀視頻的模型。與Long Animate Diff相比，它在視頻質(zhì)量上通常有更出色的表現(xiàn)。不過，對于背景音樂，公司選擇了第三方的音樂資產(chǎn)供應(yīng)商，因為他們認(rèn)為目前的AI技術(shù)還無法創(chuàng)作出符合要求的背景音樂質(zhì)量。

在國內(nèi)，愛詩科技PixVerseAI能接受包括圖像、文本和音頻在內(nèi)的多種數(shù)據(jù)源作為輸入，基于這些輸入生成連貫、逼真的視頻內(nèi)容；該平臺能在較短時間內(nèi)將用戶提供的素材轉(zhuǎn)化成視頻，極大提高了視頻制作的效率；且生成的視頻不僅局限于簡單的轉(zhuǎn)譯，還能具有較高的藝術(shù)性和創(chuàng)造性，適合用于制作營銷視頻、社交媒體內(nèi)容、教育材料等多種應(yīng)用場景；用戶可以根據(jù)自身需求對生成的視頻進行一定程度的個性化設(shè)置和調(diào)整。

音頻生成

在Suno之前，已經(jīng)有不少企業(yè)推出過AI音樂生成器，比如Adobe的Project Music GenAI，YouTube的Dream Track和Voicify AI(現(xiàn)在的Jammable)，但只有Suno被稱為“音樂界的ChatGPT”。其與眾不同之處在于，Suno可以根據(jù)簡單的提示創(chuàng)建從歌詞到人聲和配器的所有內(nèi)容。

目前，SunoV3在以下幾個方面具有顯著優(yōu)勢：更好的音頻質(zhì)量；更多樣化的風(fēng)格和流派；更強的提示遵從性，包括更少的幻覺和更優(yōu)雅的結(jié)局。

通過SunoV3，用戶現(xiàn)在可以使用免費賬戶創(chuàng)建兩分鐘時長的完整歌曲，具體效果取決于自己選擇的流派。Suno團隊還表示，V4已經(jīng)在開發(fā)之中，并將推出一些令人興奮的新功能。

值得注意的是，Suno并未公布過任何訓(xùn)練細(xì)節(jié)。Suno首席執(zhí)行官兼聯(lián)合創(chuàng)始人Mikey Shulman在采訪中表示：“并非所有音頻都是通過Transformer完成的，有很多音頻是通過擴散完成的，這兩種方法各有利弊?！?br>

圖像與文本生成

2023年7月，妙鴨相機憑借其AI圖像生成技術(shù)，在市場上迅速走紅。用戶通過上傳一定數(shù)量的照片，就可以通過妙鴨相機AI技術(shù)生成高質(zhì)量的多樣化風(fēng)格寫真照片。FaceChain/FaceChain-FACT算法使得妙鴨相機生成的圖片面部表情自然、細(xì)節(jié)豐富。此外，其還具備AI修圖、數(shù)字分身創(chuàng)建、模板選擇等能力。

在圖片生成之上再加入情節(jié)故事，童語故事(ImageStory)是國內(nèi)首個AIGC的兒童繪本產(chǎn)品，用戶可以在小程序里創(chuàng)建數(shù)字分身，為孩子定制特定主題的童話繪本和短視頻故事。

童語故事生成式繪本的兩大基礎(chǔ)要素是文字和圖片，與此對應(yīng)，童語故事選用了通義千問和通義萬相來打造這兩項基礎(chǔ)能力。文字方面，文字生成的核心是通義千問的深度學(xué)習(xí)模型。在“童語故事”小程序上生成AI Story只需要三步：第一步，選擇故事角色。用戶可以定制自己喜歡的IP角色，也可以上傳照片創(chuàng)作自己的數(shù)字分身。第二步，輸入故事主題思想。用戶如果沒有靈感可以選擇“創(chuàng)作靈感”和“隨機一個”，“童語故事”提供了20個睡前故事和育兒故事。第三步，選擇朗讀音色、畫面風(fēng)格和字?jǐn)?shù)。朗讀音色提供多種風(fēng)格、不同年齡聲音，畫面風(fēng)格包括扁平插畫、油畫、寫真等10種供用戶選擇。設(shè)置故事字?jǐn)?shù)和段落/圖片數(shù)，多情景故事還支持自動分集，以及用合集來生成。簡單設(shè)置完成后，點擊“立即制作”即可。

上線數(shù)月以來，“童語故事”得到了消費者的喜愛，更得到了影視公司、出版社、專業(yè)兒童作家、電商平臺的認(rèn)可“，童語故事”的MAU(Monthly Active Use，月活用戶)漲到了50萬，微信小程序用戶平均停留時間達(dá)到8-15分鐘，這樣的用戶時長在“AI Story”賽道已經(jīng)排得上全球前三。

將文生圖的創(chuàng)意進一步專業(yè)化，供春AI是紫砂壺行業(yè)內(nèi)第一家AIGC輔助設(shè)計工具。這一小眾行業(yè)有方言、圈子和文化等地域壁壘，且紫砂設(shè)計需要師傅的認(rèn)可，并且大部分AI設(shè)計圖師傅會在落地過程中主動微調(diào)(AI設(shè)計出來的紫砂壺大部分需要人工調(diào)整)，屬于細(xì)分行業(yè)領(lǐng)域，市場上通用的大模型反而不適合對接(設(shè)計出來的圖大部分不可用)，需要基于小靈快和開源的模型做持續(xù)的訓(xùn)練。

目前供春AI已經(jīng)成為傳統(tǒng)工藝美術(shù)從業(yè)者的好助手，其產(chǎn)出的每30~50張圖中大約有1張是可以被資深工藝美術(shù)師認(rèn)可的，已有2000多位工藝美術(shù)從業(yè)者使用供春AI設(shè)計紫砂壺。通過AIGC作為輔助工具，工藝美術(shù)師制作的工藝品已經(jīng)落地100多件。從商業(yè)模式上，供春AI有一定的可復(fù)制性，目前供春AI已在其他陶瓷產(chǎn)區(qū)進行陶瓷藝術(shù)設(shè)計的推廣復(fù)制。

“助手”新形態(tài)：AI Agent 快速演進

人工智能領(lǐng)域著名學(xué)者、斯坦福大學(xué)教授吳恩達(dá)指出：AI智能體工作流(AI Agentic Workflows)將在今年推動人工智能取得巨大進步，甚至可能超過下一代基礎(chǔ)模型。他呼吁所有從事人工智能工作的人都關(guān)注AI智能體工作流。

初創(chuàng)企業(yè)Cognition AI近期公布了全球首個AI軟件工程師Devin。在宣傳中，Devin能夠?qū)⒂脩舻奶崾驹~直接轉(zhuǎn)化為網(wǎng)站或者電子游戲。它能自主下載代碼、搭建環(huán)境、執(zhí)行代碼、修復(fù)bug并完成任務(wù)，而且完成這些端到端的任務(wù)只需一個指令。

在SWE-bench基準(zhǔn)測試中，Devin能夠解決13.86%的問題，而GPT-4僅能處理1.74%的問題。更重要的是，Devin無需人工干預(yù)，而GPT-4則需要人工提示指定處理文件。

Devin一經(jīng)發(fā)布，便引爆了整個科技圈，但在此之前絕大多數(shù)人可能根本沒聽過這家公司，畢竟他們在發(fā)布兩個月前才真正在公眾面前亮相。這家僅有10名員工的公司，從Peter Thiel的風(fēng)險投資公司Founders Fund及其他資方(包括前Twitter高管Elad Gil)處成功籌集到2100萬美元。這些投資方所看中的，正是Cognition AI的創(chuàng)始團隊及其主要成果Devin。

Cognition AI在設(shè)計Devin時的一大亮點，就是該公司在計算機推理能力方面取得了突破。從AI的角度來講，推理意味著系統(tǒng)不僅能夠預(yù)測句子中的下一個單詞或者一行代碼中的下一片段，更能夠以近似人類的方式思考并找到合理的問題解決方法。AI Land認(rèn)為推理是驅(qū)動行業(yè)發(fā)展的下一波大勢，不少初創(chuàng)企業(yè)也都在著力展示自己在這方面的技術(shù)能力。

不同于現(xiàn)有其他AI助手，Devin不僅能夠提供編碼建議并自動完成部分任務(wù)，甚至可以獨自承擔(dān)并完成整個軟件開發(fā)流程。其使用方式也相當(dāng)簡單，只需提交一項任務(wù)——比如創(chuàng)建一個網(wǎng)站，展示悉尼市所有意大利餐廳的地圖——該軟件就會執(zhí)行搜索來查找餐廳、獲取相應(yīng)地址與聯(lián)系信息，而后構(gòu)建并發(fā)布顯示信息的站點。在運行期間，Devin還會列出它正在執(zhí)行的所有任務(wù)，甚至在編寫代碼時持續(xù)測試，自行查找并修復(fù)bug。

總體而言，Devin可以規(guī)劃和執(zhí)行需要數(shù)千個決策的復(fù)雜工程任務(wù)。Devin可以回憶每一步的相關(guān)背景，隨著時間的推移學(xué)習(xí)并修復(fù)錯誤。

研發(fā)團隊還為Devin配備了常見的開發(fā)人員工具，包括沙盒計算環(huán)境中的Shell、代碼編輯器和瀏覽器，以及人類開發(fā)者完成工作時所需的一切其他工具。最后，研發(fā)團隊還賦予了Devin與用戶積極協(xié)作的能力。Devin能夠?qū)崟r報告協(xié)作進展，接受反饋，并根據(jù)需要與用戶一起進行設(shè)計選擇。

Cognition AI在如此短的時間內(nèi)取得重大突破的方式仍然是個未解之謎，其CEO Scott Wu拒絕透露太多關(guān)于該技術(shù)的底層細(xì)節(jié)，只表示他的團隊找到了將OpenAIGPT-4等大語言模型(LLM)與強化學(xué)習(xí)技術(shù)相結(jié)合的獨特方法。

Cognition AI公司并不是唯一一家致力于構(gòu)建AI編碼工具的企業(yè)。

今年2月份，初創(chuàng)公司Magic AI陸續(xù)獲得了谷歌母公司Alphabet旗下的Capita lG領(lǐng)投的2800萬美元，以及GitHub前CEO Nat Friedman和他的投資合伙人Daniel Gross投資的1.17億美元資金。

Magic AI私下宣稱其能夠?qū)崿F(xiàn)類似于OpenAI去年開發(fā)的“Q算法”的主動推理能力，稱它開發(fā)的新型大語言模型更接近于人類的思維方式，能實現(xiàn)全自動化編程，打破現(xiàn)有的半自動化代碼編寫。類似于一個真正的編程人員。不過，Magic AI選擇從零開始設(shè)計自己的模型和其他底層技術(shù)，希望借此保障業(yè)務(wù)獨立性。這家初創(chuàng)公司尚未對外展示其AI系統(tǒng)。

國內(nèi)，除了大廠紛紛推出Agent產(chǎn)品，這一賽道也涌現(xiàn)了大批創(chuàng)業(yè)企業(yè)，并與各行業(yè)快速融合落地。

例如，實在智能在2023年8月份發(fā)布了自研垂直“塔斯(TARS)大語言模型”，基于此結(jié)合RPA與AI Agent，即插即用的產(chǎn)品級TARS-RPA-Agent由此誕生；瀾碼科技在2023年12月20日正式發(fā)布的AskXBOT平臺，是其自主研發(fā)基于LLM的Agent智能體與工作流設(shè)計、開發(fā)、使用、管理、知識沉淀的一站式平臺；智譜AI今年1月份發(fā)布了第四代多模態(tài)基座大模型GLM-4系列，并上線了全新GLM-4的All Tools(所有工具)、GLMs個性化智能體定制能力......

結(jié)語

通過上述熱點AI應(yīng)用創(chuàng)新項目，我們可以看到新技術(shù)的突破方向，也發(fā)現(xiàn)基于生成式AI迸發(fā)出的全新商業(yè)前景落地的可能性。

但一個現(xiàn)實的問題是：這些應(yīng)用和企業(yè)是曇花一現(xiàn)，還是會持續(xù)繁榮？

紅杉資本在《Generative AI’s Act Two》中指出，目前生成式AI應(yīng)用的最大問題，是需要證明自身的價值，因為目前以基礎(chǔ)大模型為先的應(yīng)用用戶留存率明顯不夠。當(dāng)前頭部App消費級公司，第一個月的用戶留存率能達(dá)到60%~65%，高的甚至能達(dá)85%。生成式AI應(yīng)用的用戶留存率，中位值只有14%。這意味著，用戶還沒有在生成式AI產(chǎn)品中找到足夠價值，能夠每天都使用。因此，如果開發(fā)者想要建立起持久的業(yè)務(wù)，就需要解決用戶留存問題。因此，生成式AI真正的商業(yè)價值還在于各種應(yīng)用場景的發(fā)掘。

此外，不僅是應(yīng)用自身的價值，當(dāng)前很多AI創(chuàng)業(yè)企業(yè)的競爭力嚴(yán)重依賴核心創(chuàng)始團隊，也由此造成了公司運營、業(yè)務(wù)持續(xù)等方面極大的不穩(wěn)定性，很多公司還沒有出現(xiàn)可持續(xù)的商業(yè)模式就已經(jīng)要化為泡沫。

2024年3月23日，Stability AI的CEO宣布辭職，這家公司培育出的Stable Diffusion開源文生圖大模型在業(yè)內(nèi)頗具影響力。而在 CEO 辭職之前，媒體稱曾參與開發(fā) Stable Diffusion 模型的幾位關(guān)鍵開發(fā)人員都已經(jīng)離開了。據(jù)報道，Stability AI 資金耗盡，無法支付訓(xùn)練大模型所需的 GPU 集群費用，外界普遍認(rèn)為這家公司將面臨破產(chǎn)。

早在2022年就推出了AI助手ACT-1的Adept團隊中兩位聯(lián)合創(chuàng)始人離開后創(chuàng)立了自己的創(chuàng)業(yè)公司Essential AI。

另一家AI獨角獸公司Inflection AI也岌岌可危，在2023年6月底，這家公司宣布融資13億美元，估值達(dá)到40億美元，成為僅次于OpenAI和Anthropic的全球第三大生成式AI獨角獸。但今年三位創(chuàng)始人中的兩位都投奔微軟成立新的公司。這些創(chuàng)業(yè)公司的發(fā)展與此前OpenAI的“宮斗”和幾乎重新自立門戶的經(jīng)歷也很像。

AI時代的創(chuàng)新巨輪才剛剛開始轉(zhuǎn)動，技術(shù)成熟度曲線下AI創(chuàng)新將走出怎樣的周期，我們持續(xù)關(guān)注。

本文根據(jù)公開信息綜述，部分內(nèi)容選自以下文章：

1.Sora發(fā)布后，Pika創(chuàng)始人獨家回應(yīng)鈦媒體：很振奮，我們將直接沖

2.90后華人團隊真來砸程序員飯碗了!推出全球首個AI超級工程師：擁有全棧技能，一個指令就能完成整個開發(fā)過程

3.2024年，中國AI應(yīng)用「大盤點」|產(chǎn)業(yè)AI4.紅杉資本：生成式AI的第二幕

5.詞曲創(chuàng)作只需幾秒，「AI作曲家」Suno引爆音樂圈，第一手體驗和攻略來了

6.中泰證券《AI生成視頻專題報告：Runway基礎(chǔ)模型快速迭代,視頻生成領(lǐng)域的先行者》

7.AI版西游記震撼百萬網(wǎng)友!AI電影顛覆好萊塢，手把手打造爆款視頻

本文摘自《云棲戰(zhàn)略參考》總第16期

掃碼限時申領(lǐng)紙質(zhì)版

↓↓

AI原生時代，應(yīng)用創(chuàng)新蓄勢待發(fā)