全球軟件研發(fā)技術(shù)大會(huì)重磅開幕!精彩不斷:華為自研編程語(yǔ)言倉(cāng)頡揭秘、軟件開發(fā)智能化四大核心能力、讓國(guó)產(chǎn)大模型離了英偉達(dá)也能奔跑
作者 | 《新程序員》編輯部
出品 | CSDN(ID:CSDNnews)
軟件早已吞噬世界,當(dāng)大模型能夠生成代碼、自己改 Bug,自然語(yǔ)言編程逐漸崛起之時(shí),程序員們?cè)摵稳ズ螐模?/p>
7 月 4 日,CSDN 聯(lián)合高端 IT 咨詢與教育平臺(tái) Boolan 舉辦的 SDCon 2024 全球軟件研發(fā)技術(shù)大會(huì)在北京威斯汀酒店盛大開幕。大會(huì)以「大模型驅(qū)動(dòng)軟件智能化新范式」為主題,聚焦大模型智能應(yīng)用開發(fā)、軟件開發(fā)智能化與研發(fā)效能、AI 與 ML 智能運(yùn)維、云原生架構(gòu)、可觀測(cè)性技術(shù)、架構(gòu)設(shè)計(jì)與演進(jìn)等軟件開發(fā)關(guān)鍵技術(shù)棧,全方位揭秘 GPT 時(shí)代開發(fā)者的升級(jí)蛻變之道。
其間既有軟件界巨擘 MIT 計(jì)算機(jī)與 AI 實(shí)驗(yàn)室(CSAIL)副主任、ACM Fellow Daniel Jackson和世界著名軟件架構(gòu)大師、云原生和微服務(wù)領(lǐng)域技術(shù)先驅(qū)Chris Richardson,國(guó)內(nèi)技術(shù)領(lǐng)軍人物華為編程語(yǔ)言首席專家、倉(cāng)頡編程語(yǔ)言首席架構(gòu)師馮新宇,北京智源人工智能研究院副院長(zhǎng)兼總工程師林詠華,CSDN 高級(jí)副總裁、Boolan 首席技術(shù)專家李建忠分享對(duì)技術(shù)前沿的卓見(jiàn),又有來(lái)自微軟、華為、阿里巴巴、百度、騰訊、字節(jié)跳動(dòng)、小紅書、京東、美團(tuán)、螞蟻集團(tuán)、360、知乎、美圖、MIT、賓夕法尼亞州立大學(xué)、智源研究院、IDEA、同程旅行、去哪兒旅行、基調(diào)聽(tīng)云、TYAN、京東云、TDengine、西云算力、快遞100、Zoho卓豪、人民郵電出版社異步社區(qū)、智優(yōu)沃、非十科技、Tetrate、eBay、靈雀云、Datastrato、云猿生、AutoMQ、支流科技、NineData、衍數(shù)科技等四十余家領(lǐng)先企業(yè)及組織的技術(shù)大咖與專家學(xué)者帶來(lái)最新的成果展示與實(shí)踐經(jīng)驗(yàn),每一位到場(chǎng)的觀眾都受益匪淺。
Daniel Jackson:
AI 無(wú)法生成整個(gè)應(yīng)用,是因?yàn)槟悴粫?huì)找“概念”
上午 9 點(diǎn),MIT 計(jì)算機(jī)與 AI 實(shí)驗(yàn)室(CSAIL)副主任、ACM Fellow Daniel Jackson 教授帶來(lái)了主題為《軟件設(shè)計(jì)的要素——概念驅(qū)動(dòng)的軟件設(shè)計(jì)》的演講。他指出了目前開發(fā)者面臨的三大困境:軟件結(jié)構(gòu)復(fù)雜、安全存在隱患、AI 編程不靠譜,并介紹了“概念”這一全新的設(shè)計(jì)方式,從根源解決這些問(wèn)題,使軟件實(shí)現(xiàn)更廣泛的模塊化。
Daniel Jackson MIT 計(jì)算機(jī)與 AI 實(shí)驗(yàn)室(CSAIL)副主任、ACM Fellow
Dainel 教授先是以三個(gè)我們相當(dāng)熟悉的成功產(chǎn)品作為例子:iPod、WhatsApp 和 Zoom。這幾款產(chǎn)品都在自己的時(shí)代遇到了擁有相同實(shí)力、相同定位甚至相同功能的競(jìng)品,但它們都找到了一個(gè)典型的「應(yīng)用場(chǎng)景」。他表示,“軟件設(shè)計(jì)應(yīng)該以應(yīng)用場(chǎng)景為先,而不是拘泥于規(guī)格細(xì)節(jié)”,應(yīng)用場(chǎng)景能最直觀地展現(xiàn)軟件的典型應(yīng)用方式,并在社交、精神和服務(wù)等層面同時(shí)滿足用戶。
緊接著,應(yīng)用場(chǎng)景引出了概念的存在,正式進(jìn)入演講的核心:概念。
-
iPod 的例子中,“歌曲” “iTunes 商店” “多端同步”是使這款產(chǎn)品成功的概念;
“群聊”是 WhatApps 曾經(jīng)獨(dú)領(lǐng)風(fēng)騷的創(chuàng)新性概念;
“會(huì)議鏈接”功能 “視頻會(huì)議”則是 Zoom 的核心概念。
在這些概念中,有許多都是我們“熟悉的概念”,并沒(méi)有真正產(chǎn)生顛覆性的創(chuàng)新,而是所謂的組合創(chuàng)新。
根據(jù)這些例子,Daniel 教授總結(jié)出一個(gè)道理:創(chuàng)新往往不是創(chuàng)造新的東西,而是讓原本的事情做起來(lái)更加簡(jiǎn)單。他還表示,概念之間不僅可以交互、同步與組合,還能融入產(chǎn)品設(shè)計(jì)之中,驅(qū)動(dòng)開發(fā)者的編程流程。
最后,Daniel 教授提煉了三道金句:模塊化是關(guān)鍵、提取“熟悉的概念”、告別敏捷。在 AI 大模型賦能軟件研發(fā)的這個(gè)時(shí)代,他提倡開發(fā)者圍繞概念來(lái)革新軟件架構(gòu),以模塊化為本,徹底擯棄敏捷開發(fā)的模式。由于概念提供了基于大語(yǔ)言模型的代碼生成所需要的模塊化特性,使得基于大語(yǔ)言模型生成整個(gè)應(yīng)用成為可能,“開發(fā)者”將搖身一變?yōu)椤案拍钤O(shè)計(jì)師”,開辟新的職業(yè)道路。
李建忠:
演化是智能的本質(zhì),杜絕追求一步到位的智能,軟件開發(fā)智能化的四大核心能力
隨著大模型能力迭代迅猛,AI 賦能軟件研發(fā)工具層出不窮,軟件開發(fā)在大模型時(shí)代將面臨哪些機(jī)會(huì)和挑戰(zhàn)?CSDN 高級(jí)副總裁、Boolan 首席技術(shù)專家李建忠在主題為《軟件開發(fā)智能化范式思考與探索》的演講中,直擊語(yǔ)言模型的本質(zhì),表示語(yǔ)言對(duì)人類知識(shí)壓縮有著高度的抽象作用,它不僅蘊(yùn)含人類知識(shí),還包含思維過(guò)程。在心理學(xué)研究中,將大腦的運(yùn)作方式分為系統(tǒng) 1 與系統(tǒng) 2。系統(tǒng) 1(System 1)是直覺(jué)系統(tǒng),快速、無(wú)意識(shí)、自動(dòng)化的,腦力耗費(fèi)不多;而系統(tǒng) 2(System 2)是邏輯系統(tǒng),遲緩、理性、規(guī)劃的,需要高度集中注意力。
李建忠 CSDN 高級(jí)副總裁、Boolan 首席技術(shù)專家
在我們的日常工作與生活中,95% 的決策由系統(tǒng) 1 主導(dǎo),只有 5% 才會(huì)使用到系統(tǒng) 2。但在編程領(lǐng)域則不一樣,除了肌肉記憶之外,絕大部分都是系統(tǒng) 2 的思考。這就是為什么我們能夠看到當(dāng)前大模型在系統(tǒng) 1 方面表現(xiàn)良好,但在系統(tǒng) 2 上的表現(xiàn)則差強(qiáng)人意。這也從某種程度上反映了為什么在嚴(yán)肅編程領(lǐng)域,大模型的效果并沒(méi)有想象中那么好。李建忠也引用 Safe Superintelligence 創(chuàng)始人、OpenAI 前首席科學(xué)家 Ilya Sutskever 的著名論斷“ANN(數(shù)字神經(jīng)網(wǎng)絡(luò))與 BNN(生物神經(jīng)網(wǎng)絡(luò))在數(shù)學(xué)原理上已基本等同”。
緊接著,李建忠談到了大模型為計(jì)算產(chǎn)業(yè)帶來(lái)的三大范式轉(zhuǎn)換:計(jì)算范式、開發(fā)范式、交互范式。特別地,圍繞智能化軟件開發(fā)范式轉(zhuǎn)換,李建忠深入分享了自己對(duì)于大模型這項(xiàng)熱技術(shù)在軟件編程領(lǐng)域的冷思考。他認(rèn)為,軟件系統(tǒng)具有復(fù)雜性、動(dòng)態(tài)性、協(xié)作性、混沌性的四大特征,當(dāng)前,業(yè)界對(duì)于大模型驅(qū)動(dòng)軟件智能化具有四類典型的誤區(qū),分別是:
-
誤區(qū)一:只訓(xùn)練結(jié)果數(shù)據(jù),而不訓(xùn)練過(guò)程數(shù)據(jù);
誤區(qū)二:基于軟件系統(tǒng)的靜態(tài)特征來(lái)訓(xùn)練大模型;
誤區(qū)三:追求一步到位、一勞永逸的智能;
誤區(qū)四:追求一超多能的超級(jí)智能。
李建忠指出:大模型正在重構(gòu)軟件開發(fā),但這并不意味著我們?cè)谏蟼€(gè)時(shí)代積累的經(jīng)驗(yàn)(尤其是優(yōu)秀的方法論和實(shí)踐)被廢棄,而是被 AI 壓縮和加速了。接著,李建忠分別從軟件的”復(fù)雜性“、”動(dòng)態(tài)性“、”協(xié)作性“、”混沌性“四個(gè)方面,結(jié)合傳統(tǒng)軟件開發(fā)領(lǐng)域積累的寶貴智慧,進(jìn)行了大模型時(shí)代的新思考。
李建忠表示,在大模型如何應(yīng)對(duì)軟件復(fù)雜性方面,抽象仍然是一個(gè)高級(jí)手段,也是當(dāng)前軟件研發(fā)大模型亟待提升的能力項(xiàng)。在軟件動(dòng)態(tài)性方面,演化是智能的本質(zhì),我們需要拋棄對(duì)于追求一步到位的智能軟件開發(fā)的幻想,不僅要訓(xùn)練結(jié)果代碼,也要訓(xùn)練過(guò)程數(shù)據(jù)。軟件工程并非孤立的過(guò)程,而是在人類開發(fā)者、代碼審查者、錯(cuò)誤報(bào)告者、軟件架構(gòu)師和工具(如編譯器、單元測(cè)試、代碼檢查工具和靜態(tài)分析器)之間進(jìn)行的對(duì)話。以 Google DIDACT 為例,使用軟件開發(fā)過(guò)程作為訓(xùn)練數(shù)據(jù)來(lái)源,而不僅是最終結(jié)果(完成代碼),通過(guò)讓模型接觸開發(fā)者在工作中看到的上下文,結(jié)合他們的響應(yīng)行為,模型可以學(xué)習(xí)軟件開發(fā)的動(dòng)態(tài)性。在協(xié)作方面,李建忠基于著名的“康威定律”,提出智能時(shí)代的康威定律——“智能體的協(xié)作溝通架構(gòu)決定系統(tǒng)設(shè)計(jì)架構(gòu)”。在混沌性方面,智能體的工具能力是橋接傳統(tǒng)”確定性計(jì)算“和大模型”概率性計(jì)算“的橋梁。
基于以上探討,李建忠總結(jié)了大模型驅(qū)動(dòng)智能軟件開發(fā)的四大核心能力:
1. 抽象能力:抽象能力的提升是大模型思維能力的關(guān)鍵;
2. 演化能力:智能的核心是演化、大模型加速軟件系統(tǒng)迭代;
3. 協(xié)作能力:智能體的協(xié)作架構(gòu)決定系統(tǒng)設(shè)計(jì)架構(gòu);
4. 工具能力:使用工具解決確定性問(wèn)題。
在演講最后,李建忠對(duì)于軟件開發(fā)智能化范式進(jìn)行了提綱挈領(lǐng)的總結(jié)與展望,帶來(lái)了十大關(guān)鍵詞。首先是模型能力的展望,包括:(1)擴(kuò)展定律:Scaling Law 仍然在發(fā)揮著關(guān)鍵作用;(2)提高上下文窗口(3)長(zhǎng)期記憶能力(4)System 2 的提升(5)降低模型幻覺(jué)。
其次,在數(shù)據(jù)語(yǔ)料方面,也有很多值得探索的方向:(6)研發(fā)全流程數(shù)字化:如何將當(dāng)前研發(fā)全生命周期中各角色的行為活動(dòng)數(shù)據(jù)實(shí)現(xiàn)數(shù)字化、并成為訓(xùn)練大模型的語(yǔ)料;(7)多模態(tài)數(shù)據(jù)訓(xùn)練:軟件開發(fā)領(lǐng)域不止文本和代碼,還有諸多圖表等形式;(8)將模型做“小”:不必追求所謂的大一統(tǒng)模型,而是基于多個(gè)模型,使用智能體協(xié)作起來(lái);(9)模型合成數(shù)據(jù):用大模型生成的代碼和設(shè)計(jì)“喂給”下一個(gè)模型訓(xùn)練;(10)最后是多智能體協(xié)同,未來(lái)在軟件開發(fā)領(lǐng)域一定是一個(gè)非常重要的方向。
Chris Richardson:
從頭塑造新架構(gòu),讓應(yīng)用開發(fā)跟上需求的快速變化
著名軟件架構(gòu)大師、云原生和微服務(wù)領(lǐng)域技術(shù)先驅(qū) Chris Richardson 在演講中提出了「快速流動(dòng)架構(gòu)」作為適應(yīng)現(xiàn)代軟件開發(fā)需求的新興風(fēng)格,其重要性在于它不僅加速了廣大開發(fā)者軟件交付的速率,還確保了質(zhì)量的穩(wěn)定性,這一切得益于其對(duì) DevOps 和團(tuán)隊(duì)拓?fù)涞挠辛χС帧?/p>
Chris Richardson 著名軟件架構(gòu)大師、云原生和微服務(wù)領(lǐng)域技術(shù)先驅(qū)
Chris 首先進(jìn)行了介紹:DevOps 作為一種融合了開發(fā)與運(yùn)維的原則和實(shí)踐體系,致力于推動(dòng)軟件的快速、頻繁且穩(wěn)定發(fā)布,它要求構(gòu)建高效的部署管道并借助 DORA 指標(biāo)衡量系統(tǒng)性能,以實(shí)現(xiàn)對(duì)高頻率 Git 推送的敏捷響應(yīng)。團(tuán)隊(duì)拓?fù)渑c組織層面,小型且長(zhǎng)期穩(wěn)定的團(tuán)隊(duì)在高度信任與心理安全的環(huán)境下運(yùn)作,促進(jìn)了需求、開發(fā)、測(cè)試及部署環(huán)節(jié)的無(wú)縫協(xié)作,顯著提升了團(tuán)隊(duì)效能與靈活性。
演講中,最精彩的莫過(guò)于 Chris 關(guān)于架構(gòu)設(shè)計(jì)中“暗能量”與“暗物質(zhì)”的比喻,前者象征著微服務(wù)、團(tuán)隊(duì)自治以及快速部署管道所帶來(lái)的“排斥力”,推動(dòng)系統(tǒng)邊界向外延伸;而后者則代表了簡(jiǎn)化互動(dòng)、高效交流與偏向 ACID 而非 BASE 事務(wù)處理的“吸引力”,促使系統(tǒng)內(nèi)部緊密相連。微服務(wù)架構(gòu)的核心目標(biāo)在于設(shè)計(jì)松散耦合的服務(wù),避免分布式單體的陷阱,確保服務(wù)間API的互操作性,同時(shí),獨(dú)立部署能力保證了更新維護(hù)的便捷性。
為了規(guī)避分布式單體架構(gòu)的風(fēng)險(xiǎn),快速流動(dòng)架構(gòu)應(yīng)運(yùn)而生。Chris 表示,快速流動(dòng)架構(gòu)能呈現(xiàn)出一種適應(yīng) VUCA(易變性、不確定性、復(fù)雜性、模糊性)環(huán)境的特質(zhì),它不僅加速了軟件交付過(guò)程,更在質(zhì)量與效率之間找到了平衡點(diǎn),完美契合了現(xiàn)代業(yè)務(wù)環(huán)境下的持續(xù)變化需求。
馮新宇:
做好當(dāng)代、迎接未來(lái),華為自研編程語(yǔ)言倉(cāng)頡背后的思考
華為編程語(yǔ)言首席專家、倉(cāng)頡編程語(yǔ)言首席架構(gòu)師、南京大學(xué)教授馮新宇帶來(lái)了備受期待的《倉(cāng)頡:一款全場(chǎng)景智慧化應(yīng)用編程語(yǔ)言》主題演講,這也是倉(cāng)頡歷經(jīng) 5 年研發(fā)攻關(guān)以來(lái),在 HDC 之外,首次在業(yè)界亮相。
馮新宇 華為編程語(yǔ)言首席專家、倉(cāng)頡編程語(yǔ)言首席架構(gòu)師、南京大學(xué)教授
在全球范圍內(nèi),編程語(yǔ)言的種類數(shù)不勝數(shù),為什么總是要有新的編程語(yǔ)言出來(lái)?為什么華為會(huì)自研倉(cāng)頡編程語(yǔ)言?
馮新宇教授首先拋出了這兩個(gè)關(guān)鍵性的問(wèn)題。他表示,從技術(shù)視角來(lái)看,可以總結(jié)為要解決特定的技術(shù)問(wèn)題、實(shí)現(xiàn)特定的編程理念。產(chǎn)業(yè)/技術(shù)變革需要新的開發(fā)范式,由此聚焦在特定領(lǐng)域,或者是個(gè)人興趣或?qū)W術(shù)界會(huì)研究推廣特定的語(yǔ)言范式或特性。馮教授以大家所熟知的面向?qū)ο笳Z(yǔ)言為例,其最早即起于仿真領(lǐng)域。
而從開發(fā)者生態(tài)視角來(lái)看,無(wú)論是微軟對(duì) C#,蘋果對(duì) Swift,Google 對(duì) Go、Dart 乃至 Kotlin 的大力投入與支持,其共性都在于,由平臺(tái)型企業(yè)主導(dǎo)的繁榮開發(fā)者生態(tài)。
基于這兩方面的考慮,倉(cāng)頡希望能夠繁榮 HarmonyOS 應(yīng)用生態(tài),打造最適合 HarmonyOS 的應(yīng)用開發(fā)語(yǔ)言,并將能力輻射到其他領(lǐng)域,支持全場(chǎng)景應(yīng)用開發(fā),迎接智能化、空間化、一體化的產(chǎn)業(yè)與技術(shù)變革。在這樣的前提下,馮新宇教授深入分享了倉(cāng)頡語(yǔ)言「做好當(dāng)代 迎接未來(lái)」的設(shè)計(jì)理念和技術(shù)特性。
所謂做好當(dāng)代,即倉(cāng)頡作為一門通用的編程語(yǔ)言,倉(cāng)頡覆蓋應(yīng)用開發(fā)和框架/中間件層,希望在效率(表達(dá)力豐富、易學(xué)易用、高效并發(fā))、安全(安全編碼)、性能(高性能 FFI、輕量化運(yùn)行時(shí)、充分編譯優(yōu)化)三者之間實(shí)現(xiàn)更好的平衡。
在具體的技術(shù)路線上基于類型系統(tǒng)、內(nèi)存管理維度對(duì)倉(cāng)頡明確了研發(fā)重點(diǎn)—— 自動(dòng)內(nèi)存管理的靜態(tài)類型語(yǔ)言。在類型系統(tǒng)方面,支持函數(shù)式、命令式和面向?qū)ο蟮榷喾N范式,語(yǔ)言特性包括值類型、類和接口、泛型、代數(shù)數(shù)據(jù)類型、模式匹配以及高階函數(shù)等。
而為了“迎接未來(lái)”,倉(cāng)頡團(tuán)隊(duì)深入思考大模型下的應(yīng)用開發(fā)將有大模型作為運(yùn)行時(shí)服務(wù)和大模型輔助生成代碼兩大方式,各有挑戰(zhàn)。對(duì)于前者,需求的精確描述(Prompt)、與大模型的交互、服務(wù)的編排、結(jié)果的校驗(yàn)等是重點(diǎn)。基于此,馮新宇教授披露,倉(cāng)頡正在基于基于倉(cāng)頡的 eDSL 能力構(gòu)建 Agent 原生智能應(yīng)用開發(fā)。
對(duì)于后者,馮新宇教授在現(xiàn)場(chǎng)拋出了非常關(guān)鍵的思考 —— 從生成代碼的角度來(lái)說(shuō),編程語(yǔ)言能夠做什么事情?代碼生成需要和 IDE 配合良好,在設(shè)計(jì)編程語(yǔ)言時(shí),更容易寫還是讀是關(guān)鍵。馮新宇教授表示,有了大模型之后,寫代碼的負(fù)擔(dān)得到降低,但由于大模型的黑盒屬性,代碼的可讀性、評(píng)審測(cè)試驗(yàn)證登能力變得更加重要。如何讓大模型生成更高質(zhì)量的代碼,就對(duì)編程語(yǔ)言提出了需要更加聲明式、抽象級(jí)別更高的要求。
林詠華:
讓整個(gè)產(chǎn)業(yè)沒(méi)有難用的算力,支撐大模型繼續(xù)奔跑
英偉達(dá) H100 供不應(yīng)求,顯卡租賃動(dòng)輒數(shù)萬(wàn)美元,在全球都面臨著算力緊缺的時(shí)候,國(guó)內(nèi)開發(fā)者還剩下哪些選擇?北京智源人工智能研究院副院長(zhǎng)兼總工程師林詠華以“大模型及多元 AI 芯片時(shí)代的軟件開發(fā)”為出發(fā)點(diǎn),深入探討了這一問(wèn)題。所謂“多元”,便是指除英偉達(dá)以外的國(guó)產(chǎn) AI 芯片,當(dāng)前的軟件開發(fā)者被英偉達(dá)這座高墻堵住,面臨著前所未有的機(jī)遇和挑戰(zhàn)。為了實(shí)現(xiàn)多元異構(gòu) AI 芯片 大模型開發(fā),林詠華提出了兩大挑戰(zhàn):“芯片異構(gòu)”和“集群異構(gòu)”。
林詠華 北京智源人工智能研究院副院長(zhǎng)兼總工程師
大模型的興起為軟件開發(fā)提供了新的方向,包括編程助手、智能對(duì)話替代 GUI、基于語(yǔ)言模型的自動(dòng)化交互等方向的發(fā)展。然而,林詠華強(qiáng)調(diào)了現(xiàn)實(shí)的“骨感”:現(xiàn)在許多模型廠商積極地在 HumanEval 等測(cè)評(píng)榜上“刷分”,如 GPT-4o 和 Claudu 3.5 Sonnet 等模型都取得了 90% 以上的好成績(jī),但若選用更貼近開發(fā)者日常編碼情況的 TACO 測(cè)評(píng),并限制刷榜,只取 pass@1(只測(cè)一次)的成績(jī),會(huì)發(fā)現(xiàn)許多代碼生成模型的能力“慘不忍睹”,當(dāng)前代碼生成模型的能力還存在局限,需要開發(fā)者編寫邏輯保護(hù)代碼進(jìn)行補(bǔ)充。
隨著代碼生成模型的發(fā)展,開發(fā)者對(duì)算力的需求也在飛速增長(zhǎng)。模型尺寸的增加、訓(xùn)練數(shù)據(jù)量的上升導(dǎo)致了計(jì)算需求的顯著增長(zhǎng)。林詠華表示,國(guó)內(nèi)先進(jìn)算力的供應(yīng)不足,導(dǎo)致算力價(jià)格并未遵循摩爾定律,面臨算力缺口的挑戰(zhàn)。這要求國(guó)內(nèi)的 AI 芯片能夠補(bǔ)上這一缺口,支持大模型的訓(xùn)練和推理工作。
緊接著,林詠華提出了第一大挑戰(zhàn)“芯片異構(gòu)”的核心命題:我們能否讓軟件開發(fā)者感受不到 AI 芯片的差異?在國(guó)內(nèi),存在多種不同架構(gòu)的AI芯片,這些芯片來(lái)自不同的制造商,具有各自的編譯器和指令集。這種芯片的異構(gòu)性給軟件開發(fā)帶來(lái)了遷移困難、軟件差異、架構(gòu)差異等問(wèn)題。為了解決這些問(wèn)題,智源研究院牽頭打造了基于 Triton 前端編程語(yǔ)言實(shí)現(xiàn)通用算子庫(kù)的軟硬件生態(tài)體系。要克服芯片異構(gòu)帶來(lái)的挑戰(zhàn),建立一個(gè)開源的軟硬件生態(tài)體系顯得尤為重要。通過(guò)開源算子編程語(yǔ)言(Triton)及其編譯器,智源研究院聯(lián)合多家單位共同打造了一個(gè)覆蓋主流大模型算子的通用算子庫(kù)。這個(gè)生態(tài)體系得到了多家芯片廠商的支持,并且已經(jīng)在多個(gè)硬件平臺(tái)上得到應(yīng)用。
在分析 AI 芯片“集群異構(gòu)”的挑戰(zhàn)時(shí),林詠華指出了兩大難題:如何在不同的 AI 芯片集群完成大模型訓(xùn)練?在資源異構(gòu)、通信差異的情況下,又該如何合池不同的 AI 芯片資源訓(xùn)練一個(gè)大模型?為了解決這些挑戰(zhàn),智源研究院發(fā)布了面向多種 AI 芯片的高效并行訓(xùn)練推理框架 FlagScale ,該框架能夠在不同 AI 芯片上完成大規(guī)模大模型的訓(xùn)練和微調(diào)訓(xùn)練,并支持不同并行模式的開發(fā)。這不僅解決了單一集群訓(xùn)練的問(wèn)題,也使得不同 AI 芯片集群可以合池訓(xùn)練同一個(gè)大模型。最后,林詠華強(qiáng)調(diào)了自己的愿景:“讓產(chǎn)業(yè)沒(méi)有難用的 AI 算力,支撐大模型繼續(xù)奔跑,實(shí)現(xiàn)全面賦能軟件開發(fā)。”
高峰對(duì)話:軟件開發(fā)智能化新范式
主會(huì)的精彩演講令人意猶未盡,而在上午最后的圓桌對(duì)話環(huán)節(jié)中,華為編程語(yǔ)言首席專家、倉(cāng)頡首席架構(gòu)師馮新宇,CSDN 高級(jí)副總裁、Boolan 首席技術(shù)專家李建忠,北京智源人工智能研究院副院長(zhǎng)兼總工程師林詠華在 Athena labs CTO 王興明的主持下,圍繞“軟件開發(fā)智能化新范式”展開深度的探討與經(jīng)驗(yàn)分享,延伸了每位嘉賓的演講內(nèi)容,為觀眾們答疑解惑。
對(duì)于廣大開發(fā)者要如何更有效地利用大模型在軟件開發(fā)中的能力,李建忠分析說(shuō),“程序員面對(duì)復(fù)雜問(wèn)題時(shí),初期傾向于使用分解的方式,但隨著軟件開發(fā)的深入,這種策略逐漸不夠用,需要轉(zhuǎn)向更高階的抽象思維。”
當(dāng)前大模型在低抽象任務(wù)上表現(xiàn)出色,但在高抽象任務(wù)上能力不足,這要求開發(fā)者找到合適的策略來(lái)彌補(bǔ)大模型的這一不足。當(dāng)前訓(xùn)練大模型時(shí),僅依靠靜態(tài)代碼或結(jié)果導(dǎo)向的訓(xùn)練方式可能不足以反映軟件復(fù)雜度的抽象,因此需要在訓(xùn)練階段加入更多的高抽象理解。
李建忠提出,為了更好地使能大模型在軟件開發(fā)中的運(yùn)用,程序員需要掌握更多高抽象的技能,而將低抽象的任務(wù)交給大模型來(lái)完成。他建議在訓(xùn)練階段增加對(duì)高抽象任務(wù)的理解,而不是僅僅依賴于靜態(tài)訓(xùn)練 GitHub 上的代碼。此外,他還強(qiáng)調(diào)了前人智慧的傳承重要性,包括敏捷開發(fā)和康威定律在內(nèi)的寶貴經(jīng)驗(yàn),都可以智能化,而不是被忽視。
馮新宇在對(duì)話中提出了他對(duì)大模型在軟件開發(fā)中應(yīng)用的看法和理解。他認(rèn)為,大模型可以在較小的顆粒度上輔助軟件開發(fā),這就像有一個(gè)非常高效且博學(xué)的同事一樣,盡管“黑盒”的存在會(huì)讓這個(gè)“同事”偶爾會(huì)犯一些低級(jí)錯(cuò)誤。因此,他強(qiáng)調(diào)了人腦的配合作用,意味著我們可以將大模型視為工具,幫助我們?cè)诟鱾€(gè)開發(fā)流程中發(fā)揮作用,即使大模型不如人類靠譜,但它仍然可以在一定程度上融入現(xiàn)有的工作流程,并處理不確定性過(guò)程中的問(wèn)題。
最后,馮新宇指出,人類更擅長(zhǎng)進(jìn)行抽象思考,大模型則可以處理具體的工作;既然大模型的全稱是“大型語(yǔ)言模型”,它們通過(guò)分析和生成自然語(yǔ)言來(lái)進(jìn)行工作。因此,未來(lái)的訓(xùn)練應(yīng)該著重于提高人類的信息結(jié)構(gòu)化和抽象能力,以便更好地與大模型交流和合作。結(jié)合人類的抽象能力和大模型的處理能力,每個(gè)人都應(yīng)該在自己擅長(zhǎng)的領(lǐng)域內(nèi)發(fā)展,可以更有效地完成軟件開發(fā)和其他技術(shù)領(lǐng)域中的挑戰(zhàn)性任務(wù)。
針對(duì)主流模型的開發(fā)和使用問(wèn)題,林詠華表示,為了適配流行的框架和大模型,例如千億級(jí)別的大模型,開發(fā)者可以通過(guò)稍微修改一些庫(kù)文件來(lái)快速實(shí)現(xiàn)所需功能。她還強(qiáng)調(diào)了這種框架和模型對(duì)國(guó)產(chǎn)化新芯片的支持,旨在降低企業(yè)成本并提高開發(fā)速度。林詠華最后為廣大開發(fā)者給出了一道建議:“聽(tīng)得再多不如試一下子”,理論學(xué)習(xí)固然重要,但實(shí)際操作和嘗試更為關(guān)鍵。她建議每個(gè)人都應(yīng)該親自嘗試使用大模型,以確定它們的實(shí)際邊界和適用場(chǎng)景。
不焦慮純干貨!
四大專場(chǎng)同步并行,參會(huì)嘉賓熱情高漲
一如許多與會(huì)開發(fā)者觀眾的高度評(píng)價(jià),全球軟件研發(fā)技術(shù)大會(huì)非常接地氣,不宣揚(yáng) AI 無(wú)所不能,而是腳踏實(shí)地,分享實(shí)實(shí)在在的實(shí)踐干貨經(jīng)驗(yàn)。在主會(huì)之后,四大專場(chǎng)同期舉行,聚焦軟件開發(fā)智能化、AI 智能應(yīng)用開發(fā)、云原生架構(gòu)、可觀測(cè)性技術(shù)等 12 大備受開發(fā)者關(guān)注的主題方向,展開精彩分享,現(xiàn)場(chǎng)交流氛圍濃厚,歡迎大家持續(xù)關(guān)注。
{現(xiàn)場(chǎng)照片集}
精彩花絮,展位人頭攢動(dòng)
在會(huì)場(chǎng)之外的展廳中,基調(diào)聽(tīng)云、TYAN、京東云、TDengine、快遞100 、Zoho卓豪、人民郵電出版社異步社區(qū)等展位吸引了眾多參會(huì)者的目光,現(xiàn)場(chǎng)熱鬧非凡!
{現(xiàn)場(chǎng)照片集集錦}
立即掃碼預(yù)約全球軟件研發(fā)技術(shù)大會(huì) PPT
」,了解「2024 全球軟件研發(fā)技術(shù)大會(huì)」更多信息!