智東西

(資料圖)

作者 | 三北

編輯 | 漠影

智東西8月16日報道，過去半年，越來越多的行業已經接入了大模型。

如果將大模型比作一道“佳肴大餐”，那么大模型平臺就是供大廚烹飪的“廚房”。菜好不好吃，廚房的作用至關重要。當下，越來越多的“xx行業首個大模型”誕生，大模型行業落地進入效果驗證的深水區，對大模型平臺也提出了更高要求。

在與上百家客戶磨合調研之后，百度智能云千帆大模型平臺近期迎來了最新升級，在模型庫、提示詞庫等方面實現迭代。

千帆大模型平臺是一個覆蓋從數據準備到模型訓練、評估優化、測試服務、落地部署等全流程的企業級一站式開發環境和工具鏈， 據稱已有超15萬企業申請試用，上百家企業與之深度接觸。

隨著千帆大模型平臺擴大開放范圍，智東西第一時間對其進行了試用體驗，并通過對話百度智能云千帆大模型平臺的相關專家，對其最新功能迭代，以及迭代背后的思路和產業洞察進行了深入探討。

一、引入Llama 2等33個大模型，模型推理成本最多可降50%

在很多人的印象中，千帆大模型平臺主要是支持百度文心大模型的調用和部署。但登入千帆大模型平臺的操作臺，我們發現， “模型倉庫”中有很多可選項，多個第三方模型可以進行直接調用、部署，無需等待申請。

千帆大模型平臺支持直接調用第三方大模型

千帆的工程師稱，目前，千帆大模型平臺除百度自研的文心大模型外，還支持Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33個大模型，成為國內擁有大模型最多的平臺。接入的模型經過千帆平臺二次性能增強，模型推理成本可降低50%。

企業和開發者調用第三方模型時為什么要使用千帆平臺？ 這位工程師告訴智東西，接入是簡單的動作，企業通過Llama 2等模型的官網就可以實現，但接入不是目的，關鍵是千帆平臺能為用戶帶來更多的價值。

據稱，千帆大模型平臺上納管的模型均經過平臺優選，充分考慮可商用、模型效果和模型安全性。在此基礎上，團隊還對第三方模型做了一系列增強，比如通過全套工具鏈適配實現性能增強，通過SFT（全量參數微調）及強化學習等調優方式實現效果增強、安全性增強，從而為企業降本增效。

千帆大模型平臺支持多種方法模型調優

同樣是為了效果增強，千帆大模型平臺本次還帶來了應用支持方面的更新。

在“Prompt（提示詞）模板”選項中可以看到，103款Prompt模板已經上線，包含對話、編程、電商、醫療、游戲、翻譯、演講等十余個場景。據稱其中大部分是基于百度智能云在產業實踐中的積累。

103款Prompt模板已經上線千帆大模型平臺

Prompt是指通過自然語言向大模型提出問題，問題的好壞直接影響大模型的內容輸出質量。在實際應用中，大模型往往因為Prompt缺乏針對性、描述不清晰等原因影響到內容準確性。

用不同Prompt給某對話機器人提問，會得到不同的效果。比如當Prompt輸入：“《長安三萬里》好看嗎？”，機器人會輸出一個比較簡單的結果：

“《長安三萬里》是一部非常出色的動畫電影，它以唐朝為背景，通過展現那個時代的文化繁榮和詩歌藝術的精髓，讓觀眾能夠深入感受到唐朝的歷史和文化氛圍。

電影在畫面、故事、演員表現和制作質量等方面都表現出了極高的水平，讓觀眾能夠沉浸其中，感受到角色的內心世界和情感糾葛。同時，電影還將傳統的唐樂和現代音樂相融合，為電影增添了一種獨特的氣息。

雖然電影也有一些缺點，例如某些情節可能過于緊湊，某些角色的發展可能不夠充分，但是這些缺點并不影響電影的整體質量。總的來說，《長安三萬里》是一部非常值得觀看的動畫電影，如果你對歷史和文化有濃厚興趣，那么這部電影一定不容錯過。”

對比來看，使用Prompt模板+原始Prompt：“我希望你充當一個電影評論家。你將編寫一篇引人入勝和有創意的影評。你可以涵蓋諸如情節、主題和基調、演技和角色、方向、配樂、電影攝影、制作設計、特效、剪輯、節奏、對話等主題。但最重要的方面是強調電影給你的感覺。什么是真正引起你的共鳴。你也可以對電影進行批評。請避免劇透。電影名稱是《長安三萬里》”。因Prompt更詳細具體，對話機器人回復了更符合預期的答案：

“《長安三萬里》是一部極具創意和想象力的動畫電影，帶領觀眾穿越到繁華輝煌的唐朝，展現出那個時代的文化氣息和詩歌藝術的精髓。這部電影在情節、主題、演技、制作等方面都表現出了極高的水平，但最令人難忘的是它給觀眾帶來的那種沉浸式的感受。

電影以李白和高適的友情為主線，將歷史上的文人墨客融入其中，讓觀眾在欣賞美輪美奐的畫面和感受情感糾葛的同時，也能領略到唐詩的魅力。情節緊湊跌宕，人物形象生動鮮明，使得觀眾能夠深入感受到角色的內心世界。

在演技方面，主要演員的表演非常出色，將角色的個性和情感表現得淋漓盡致。他們的表演為電影增色不少，讓觀眾更加深入地融入到故事情節中。

電影的制作質量也非常高，從鏡頭到音效到配樂，都展現出了精細的制作和精美的設計。特別是電影的配樂，將傳統的唐樂和現代音樂相融合，為電影增添了一種獨特的的氣息。

當然，電影也有一些缺點。例如，有些情節可能過于緊湊，讓人有些無法消化;某些角色的發展可能不夠充分。讓人難以完全理解他們的內心世界。但是，這些缺點并不影響電影的整體質量，仍然是一部值得觀看的電影。

總的來說，《長安三萬里》是一部非常出色的動畫電影，它帶給觀眾的不僅是視覺上的享受，更是精神上的震撼。如果你對歷史和文化有濃厚的興趣，那么這部電影一定不容錯過。”

Prompt模板的更新標志著千帆大模型平臺的邊界進一步拓展，向用戶的應用效果靠近，從而大大降低了大模型的使用門檻。

而不斷降低使用門檻，也是千帆大模型整條工具鏈平均每兩周一迭代的一個重要指導思路。

千帆的工程師說，千帆大模型平臺包含了海量數據處理標注、再訓練、微調、強化學習、評估、高效壓縮、自動化Prompt工程、快速應用編排等工具。通過這一系列工具鏈，千帆的核心是服務于企業核心的需求痛點，從而增強終端的大模型應用效果。

千帆大模型平臺提供大模型全流程工具鏈

二、“煉模”路難關多，幾百家客戶摸著“千帆”過河

千帆大模型平臺迭代背后，是百度智能云團隊與數百家企業的磨合和深度調研。

千帆的工程師談道，自千帆大模型平臺于3月27日正式上線以來，團隊每周都會對接大量客戶，了解他們的平臺使用情況、大模型應用的效果。目前千帆大模型平臺已有超15萬企業申請，內部深度跟進的就有上百家。本次功能的迭代，正是從和當前深度接觸的客戶的場景實踐中來。

千帆大模型平臺全景

團隊發現，當下大模型需求可以歸結為兩類：

一是企業希望通過大模型改善它終端應用的效果，并且很多企業在孵化很多創新的應用，這些企業核心關注需要的就是大模型的效果保障，包括它的推理SFT的工具鏈，以及Prompt工程。

二是有很多行業企業，包括像金融、能源、教育，這些企業的訴求是希望能夠結合自己的行業已有的知識經驗和豐富場景數據積累，去構建行業大模型，或者服務它的行業上下游企業。

從調研結果來看，90%以上的客戶最關心的還是模型效果，這是所有企業最關注的“Top1痛點”。 比如在大模型輸入輸出方面，企業不僅關注推理速度、輸出信息準確度等客觀指標，還會有一些主觀評判。其次企業和開發者關注性能的提升，在資源消耗等方面尋求更高的性價比。

隨著實踐深入，客戶的要求在不斷變高。 比如很多客戶對內容生成速度上有要求，有的用戶會提出將首個Token上線時間從7~8秒優化到1秒以內。此外，一些手機、車載廠商希望模型能放到本地，消除通信帶來的延遲并增強用戶隱私保護，這就需要平臺配備滿足更多樣化需求的模型。

正是這些客戶不斷提出更高的要求，倒逼千帆去從工具鏈和模型角度做更多的性能優化。

實際上，在“煉模”的全過程中，企業在數據管理、模型訓練、評估/優化、預測服務和Prompt工程和插件服務等各個環節都面臨著不確定性及痛點，這也讓專業的一站式的大模型平臺需求更加迫切。

千帆大模型平臺或許是國內經歷客戶真實場景測試最多的企業級一站式大模型平臺。 千帆的工程師談道，在對客戶的陪伴式服務過程中，團隊收到了很多客戶對千帆大模型平臺的好評：

比如某政務場景客戶，基于千帆平臺構建了一個政務AI助手應用，在落地過程中發現對政策文件的解讀不夠精準詳實，于是基于千帆SFT調優工具在幾天時間內實現迭代，滿意度直線提升；

某醫療客戶，結合千帆平臺做診前診中醫療輔助，通過提示詞模版和域內知識檢索結合，助大模型給出更好的輔助判斷；

某電商客戶，基于千帆提示詞模板庫將電商導購類的Prompt導入，在不到一周的時間里搭建了導購應用。

當下，隨著“百模大戰”進入深水區，更多的企業開始更關注模型效果調優、實際應用部署等過程中更細的問題。這些問題的解決依靠經驗和工具的支撐，眾多企業選擇摸著“千帆”過河，這也客觀上為千帆大模型平臺的進一步迭代提供了源泉。

三、行業一線試練5個月，千帆大模型平臺尋求“破繭時刻”

縱觀全球科技圈，隨著科技巨頭掀起AI大模型競賽，大模型平臺成為兵家必爭之地。

3月27日，千帆平臺發布，百度在模型研發和產業應用上都做多工作，可以說百度是目前整個市場上接觸開發者最多的大模型廠商。

千帆大模型平臺正尋求新的“破繭時刻”，向更易用、更全面、更高效、更開放、更安全方向發展。

更易用：降低門檻，開箱即用。 千帆希望通過把整個工具鏈做可視化界面封裝，實現開箱即用。體現在產品的方案和框架，非專業人士5分鐘也能很快理解和上手。

更全面：覆蓋大模型全生命周期。 應用大模型的行業和場景分散，對工具鏈的豐富性提出更高要求，為此千帆提供數據標注、模型訓練與評估，推理服務與應用集成的全面功能服務。

更高效：訓練與推理性能大幅提升。 當下超大規模參數模型十分耗費算力，對其進行性能優化是復雜的工程，需要通過IaaS、PaaS、MaaS等多層服務優化服務鏈路。據稱，團隊在MLPerf榜單訓練性能世界領先，千億模型分布式并行訓練加速能力和算力利用率大幅提升。

更開放：預置百度文心大模型與第三方大模型，助力大模型多場景落地應用。 千帆從上線的第一天起就強調會預置第三方大模型，希望讓客戶通過多個模型測試后做出最優選擇。

更安全：千帆對所有接入的第三方模型均做了模型安全增強，不僅保障文心大模型的內容安全，還保障了第三方大模型的安全輸出。 千帆提供完善的鑒權與流控安全機制，自帶敏感詞過濾功能。

千帆的工程師談道，百度是端到端的四層技術架構的踐行者。 從底層的昆侖芯到飛槳深度學習框架，到大模型再到上層應用，每一層都有領先的技術和產品。千帆大模型平臺基于四層架構，在大模型開發和應用的全生命周期過程中做了端到端優化，從而讓客戶感受到系統的提升，最后達到應用效果的提升。

結語：AIGC應用的孵化地上，企業摸著“千帆”過河

隨著“百模大戰”打響數月，眾多行業大模型已經推出，產業接下來面對的是在真實應用場景中的模型價值驗證。應用價值的實現不僅取決于模型算法本身，還與數據、調優方法、應用部署等各個環節的操作相關，這都需要稱手的大模型平臺來為開發者提供支持。

百度智能云千帆大模型平臺深度參與了國內大模型落地的進程，也正將洞察和經驗沉淀為功能組件，從而為更多企業應用大模型提供重要的橋梁和工具。不過，當下國內外的大模型平臺也都處于探索落地期，要真正讓平臺生態形成正向循環支持產業發展，依然有很遠的路要走。

關鍵詞：