3月16日下午，百度召開(kāi)文心一言發(fā)布會(huì)，當(dāng)天晚間，界面新聞拿到了這款大語(yǔ)言模型的測(cè)試邀請(qǐng)碼，并進(jìn)行了大量測(cè)試。
整體來(lái)看，百度這次略顯匆忙推出的文心一言仍處于非常初級(jí)的階段，跟“生產(chǎn)力”基本不搭邊。無(wú)論是語(yǔ)義理解、持續(xù)對(duì)話、文生圖還是數(shù)理推理能力，都處于比較死板的狀態(tài)。
也就是說(shuō)用戶需要按照特定的提問(wèn)方式，才能獲得合格答案。它基本不允許用戶自由對(duì)話，與真正的“對(duì)話式AI”還有很長(zhǎng)距離，更像普通的搜索引擎產(chǎn)品，只是省略了用戶自行篩選搜索答案的過(guò)程。
(資料圖片僅供參考)
具體來(lái)說(shuō)，文心一言面對(duì)單輪、簡(jiǎn)單問(wèn)題時(shí)，能夠直接給出答案。尤其是那些在百度搜索上能搜到的問(wèn)題，文心一言會(huì)選取搜索引擎內(nèi)容給予回答（并不保證正確性），在形式上做到了有問(wèn)有答。
但進(jìn)入多輪對(duì)話之后，文心一言的表現(xiàn)有明顯下滑，經(jīng)?！扒把圆淮詈笳Z(yǔ)”。當(dāng)你對(duì)它的答案不滿意，要求修訂之后，文心一言經(jīng)常會(huì)機(jī)械的承認(rèn)錯(cuò)誤，然后給出相同的錯(cuò)誤答案。
百度在發(fā)布會(huì)上表示，本次發(fā)布的文心一言1.0版本包含文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解和多模態(tài)生成能力。
在界面新聞的測(cè)試中，這款產(chǎn)品的數(shù)理邏輯推算能力比較基礎(chǔ)，面對(duì)復(fù)雜描述、需要邏輯理解的問(wèn)題或者錯(cuò)誤問(wèn)題時(shí)，文心一言經(jīng)常給出錯(cuò)誤答案，并且不會(huì)糾正錯(cuò)誤的問(wèn)題。同時(shí)，該產(chǎn)品文生圖的能力也有待加強(qiáng)，畫(huà)風(fēng)較為單一，無(wú)法根據(jù)用戶的典型標(biāo)簽需求進(jìn)行調(diào)整，甚至經(jīng)常錯(cuò)誤理解一些簡(jiǎn)單的標(biāo)簽。
與ChatGPT表現(xiàn)出的“烏鴉智能”（全球知名計(jì)算機(jī)視覺(jué)專家朱松純教授曾說(shuō)過(guò)烏鴉和鸚鵡的比喻，烏鴉具有“理解”能力，而鸚鵡的問(wèn)答方式是“鸚鵡學(xué)舌”）相比，目前文心一言還停留在模仿階段。
雖然李彥宏在發(fā)布會(huì)上將文心一言與ChatGPT直接對(duì)標(biāo)，甚至對(duì)標(biāo)GPT-4，但從實(shí)際體驗(yàn)來(lái)看，百度與微軟（Open AI）的這兩款產(chǎn)品差距極大，并不成稱之為對(duì)手或者競(jìng)品。
李彥宏和王海峰也都在發(fā)布會(huì)現(xiàn)場(chǎng)承認(rèn)，文心一言（1.0版本）在本次內(nèi)測(cè)發(fā)布之前，并沒(méi)有經(jīng)過(guò)太多訓(xùn)練，未來(lái)需要很長(zhǎng)時(shí)間的迭代。李彥宏主動(dòng)提及，百度之所以這么快推出類ChatGPT產(chǎn)品，是因?yàn)閮?nèi)部業(yè)務(wù)團(tuán)隊(duì)和客戶有需求。
或許是考慮到訓(xùn)練成本和產(chǎn)品成熟度問(wèn)題，百度控制了本次測(cè)試的人員規(guī)模，未來(lái)文心一言的迭代效果如何，界面新聞會(huì)繼續(xù)保持關(guān)注。
以下是部分測(cè)試的截圖：
一、首先，提出簡(jiǎn)單的問(wèn)題：《原神》和《王者榮耀》哪一個(gè)更受歡迎？
從結(jié)果來(lái)看，文心一言抓取了網(wǎng)絡(luò)上的錯(cuò)誤信息。首先，《王者榮耀》并沒(méi)有超過(guò)51%的收入來(lái)自于中國(guó)以外的市場(chǎng)；其次，《王者榮耀》單款游戲第四季度收入48億美元的信息也是錯(cuò)誤的。此外，在答案格式上，文心一言還錯(cuò)誤使用了“《》“。
我們點(diǎn)擊“重新生成”按鈕，希望文心一言再次回答，第二次的答案基本令人滿意：
我們并沒(méi)有就此停止，再次點(diǎn)擊“重新生成”，新的答復(fù)如下：
答案引用的是2021年的舊數(shù)據(jù)，且數(shù)據(jù)本身存在不少問(wèn)題?；卮鸬膬?nèi)容也并不令人信服。
在另一個(gè)類似的話題結(jié)構(gòu)上，文心一言的答案出現(xiàn)了重大失誤：
上面這段答案里，錯(cuò)誤不僅是劃線的兩處。這應(yīng)該是文心一言在百度頁(yè)面上抓取了一篇虛假內(nèi)容所導(dǎo)致的。
在這里能明顯反映出一個(gè)問(wèn)題，那就是內(nèi)容源的污染，會(huì)直接影響對(duì)話式AI產(chǎn)品的輸出結(jié)果。
而有經(jīng)驗(yàn)的網(wǎng)民都知道，目前在百度搜索的結(jié)果中充斥著大量不實(shí)信息和內(nèi)容，如何避免它們污染文心一言大語(yǔ)言模型，無(wú)疑是百度在未來(lái)需要重點(diǎn)解決的問(wèn)題之一。
據(jù)界面新聞了解，文心一言的數(shù)據(jù)來(lái)源是百度的自有生態(tài)，也就意味著它無(wú)法抓取各大app的內(nèi)容。所以，移動(dòng)時(shí)代的信息孤島效應(yīng)，也制約著文心一言后期的迭代效果。
再看另一個(gè)測(cè)試。發(fā)布會(huì)當(dāng)天，百度的股價(jià)有明顯下跌，我們向文心一言提出問(wèn)題：
在涉及股價(jià)波動(dòng)的問(wèn)題上，它的回答基本符合預(yù)期。
二、在數(shù)理推算能力上，界面新聞向它提出了一個(gè)經(jīng)典問(wèn)題，并在其中去掉了一個(gè)重要條件，文心一言并未反應(yīng)過(guò)來(lái)，同時(shí)給出了錯(cuò)誤答案：
因?yàn)轭}干中缺少相對(duì)距離，并不能得出任何時(shí)間結(jié)果。文心一言給出的運(yùn)算過(guò)程也完全錯(cuò)誤。
在另一道基礎(chǔ)數(shù)學(xué)題上，文心一言的表現(xiàn)不錯(cuò)：
在一個(gè)腦筋急轉(zhuǎn)彎性質(zhì)的數(shù)學(xué)題上，文心一言抓取了百度搜索頁(yè)面的結(jié)果：
這也印證了，百度生態(tài)內(nèi)部?jī)?nèi)容源的質(zhì)量，能直接決定文心一言的回答質(zhì)量。如何防止內(nèi)容源被污染，尤為關(guān)鍵。
三、對(duì)于另一個(gè)頗受外界關(guān)注的文生圖能力，界面新聞也做了不少測(cè)試，發(fā)現(xiàn)了一些問(wèn)題。比如我們先是提出了一個(gè)簡(jiǎn)單需求：做一張?zhí)炜盏膱D片。
從結(jié)果來(lái)看，文心一言給出了天空+小孩的圖片。在標(biāo)簽比較簡(jiǎn)單的時(shí)候，它生成的圖片內(nèi)容反而比較復(fù)雜，精準(zhǔn)度并不高。
再看另一組文生圖測(cè)試，標(biāo)簽為四組簡(jiǎn)單詞匯，圖片內(nèi)容缺少兩個(gè)元素。
繼續(xù)展開(kāi)第二輪對(duì)話，因?yàn)槟壳拔男囊谎圆恢С中薷脑瓐D，所以我們提出需求“重新畫(huà)一張”，結(jié)果如下：
這是一個(gè)完全錯(cuò)誤的答案。在多次測(cè)試中界面新聞發(fā)現(xiàn)，一旦對(duì)話進(jìn)入多輪狀態(tài)，文心一言通常會(huì)表現(xiàn)出力不從心的狀態(tài)，無(wú)法正確理解上下文語(yǔ)意，再比如下面這次測(cè)試：
此外，我們還在測(cè)試中還發(fā)現(xiàn)，文心一樣并不能準(zhǔn)確的理解中文語(yǔ)意，有時(shí)理解能力甚至不如百度自家的搜索引擎，我們提出了下面的需求：
文心一樣將“網(wǎng)紅”理解為“紅”（紅色），對(duì)中文語(yǔ)意的理解本應(yīng)該成為百度的優(yōu)勢(shì)。在這里放出百度搜索引擎的理解：
可以看出百度搜索對(duì)用戶中文語(yǔ)意的理解能力明顯正常很多。
四、在文學(xué)創(chuàng)作能力上，我們要求它模仿金庸和JK羅琳的風(fēng)格，寫(xiě)一段孫悟空的故事，回答如下：
但就文本內(nèi)容而言，是一段成形的故事。但兩次回答的內(nèi)容一字不差，可見(jiàn)文心一言目前做不到更深層次的文學(xué)內(nèi)容理解，所以無(wú)法分辨金庸和JK羅琳的風(fēng)格區(qū)別，只是將同一個(gè)模板反復(fù)套用。
考慮到它只是1.0內(nèi)測(cè)版本的大語(yǔ)言模型，這些可以理解。
在文心一言的文案創(chuàng)作能力上，我們對(duì)它提出做一份《原神》和《王者榮耀》聯(lián)動(dòng)的宣傳文案，答復(fù)如下：
我們得到了一篇比較簡(jiǎn)短標(biāo)準(zhǔn)的官方公告。鑒于我們?cè)趩?wèn)題上并未給出更多限制條件，所以文案的內(nèi)容也比較簡(jiǎn)單。
當(dāng)我們提出要求其創(chuàng)作一首歌曲，名字為《只因你太美》，答復(fù)如下：
我們也讓文心一言創(chuàng)作一篇論文，效果如下：
說(shuō)實(shí)話，如果哪個(gè)大學(xué)生拿這篇論文交給老師，應(yīng)該會(huì)被判不及格。北京某211大學(xué)教授新聞傳播課程的教師對(duì)該結(jié)果的評(píng)價(jià)是：車(chē)轱轆話。
對(duì)于網(wǎng)絡(luò)上很多用戶喜歡的調(diào)戲式問(wèn)題，我們也給文心一言準(zhǔn)備了一些。比如下面這段完整的內(nèi)容：
總體來(lái)看，如果是抱著尋求解放生產(chǎn)力的目的使用文心一言，那至少這個(gè)1.0版本是不合格的。如果對(duì)它抱有“未來(lái)可期”的態(tài)度，那可以繼續(xù)關(guān)注百度在接下來(lái)的時(shí)間內(nèi)對(duì)該產(chǎn)品的更新迭代。
眾所周知，對(duì)大模型的投入需要克服巨大的資金和資源壓力，同時(shí)也面臨著商業(yè)化場(chǎng)景稀缺的現(xiàn)狀，百度能否始終如一的堅(jiān)持下去也值得關(guān)注。
就在今日，微軟舉辦了一場(chǎng)AI發(fā)布會(huì)，宣布將推出名為Copilot的人工智能服務(wù)，它由OpenAI最新推出的GPT-4模型驅(qū)動(dòng)。微軟表示，它將適用于Word、PowerPoint、Excel、Outlook這些Microsoft 365商業(yè)軟件，幫助用戶生成文檔、電子郵件以及幻燈片等。
如果微軟最終將該產(chǎn)品大規(guī)模落地，那無(wú)疑是對(duì)生成式AI賽道的一劑強(qiáng)心劑，也遙遙領(lǐng)先于其它競(jìng)爭(zhēng)對(duì)手，這個(gè)領(lǐng)域內(nèi)的商業(yè)競(jìng)爭(zhēng)才剛剛起步。
關(guān)鍵詞：
