開源對于計(jì)算產(chǎn)業(yè)很重要,但到底有多重要,,特別是基礎(chǔ)軟件開源,,很少有人能完全解釋清楚。
開源發(fā)展至今,,無數(shù)的參與者為之貢獻(xiàn),,產(chǎn)生了無數(shù)的軟件和庫類,同時(shí)又有無數(shù)人在使用,,其中受益的不僅僅是企業(yè)組織,、開發(fā)者群體,更是這個(gè)世界上的每一個(gè)你我,。
有關(guān)開源的討論實(shí)在太多,,在剛剛結(jié)束的由CCF主辦的計(jì)算領(lǐng)域年度盛會,中國計(jì)算機(jī)大會(CNCC 2020)開源操作系統(tǒng)分論壇上,,由教育部國產(chǎn)基礎(chǔ)軟件工程研究中心主任,、麒麟操作系統(tǒng)常務(wù)副總師吳慶波和openEuler社區(qū)理事長江大勇聯(lián)手主持,來自國內(nèi)頂尖高校和行業(yè)領(lǐng)軍企業(yè)的19位學(xué)術(shù)大咖和資深技術(shù)專家?guī)砹藖碜蚤_源項(xiàng)目一線的干貨分享,。
開源,,一個(gè)沒有結(jié)局的故事
在本次論壇上,,優(yōu)麒麟操作系統(tǒng)負(fù)責(zé)人余杰博士、清華大學(xué)計(jì)算機(jī)系長聘副教授陳渝,、統(tǒng)信軟件副總裁張磊,、華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰分別做了主題演講。
內(nèi)容包括從開源操作系統(tǒng)在產(chǎn)業(yè)實(shí)踐的經(jīng)驗(yàn)體會,,到通用操作系統(tǒng)發(fā)展趨向的探討,,再到開源操作系統(tǒng)推廣及高校人才培養(yǎng)的深入探索。專家們將開源操作系統(tǒng)的現(xiàn)狀,、困境和趨勢以及openEuler如何構(gòu)建最具活力的開源社區(qū)等話題進(jìn)行了深入剖析,。
開源操作系統(tǒng)現(xiàn)狀到底怎樣,行業(yè)中最具分量的Linux內(nèi)核維護(hù)項(xiàng)目很能說明問題,。
在今年7月的線上開源峰會與嵌入式Linux大會上,,Linux締造者Linus Torvalds親口承認(rèn)這個(gè)項(xiàng)目正在面臨著繼任者難尋的窘境。其中很大一個(gè)原因在于隨著Linux系統(tǒng)的不斷成長,,系統(tǒng)內(nèi)核維護(hù)這件事正變得越來越難。
雖然這件事情很難,,但開發(fā)者將其視為提升自己技術(shù)和影響力,、為技術(shù)圈做出一些貢獻(xiàn)的選擇;有企業(yè)和組織將其視為展示公司技術(shù)實(shí)力,、對行業(yè)產(chǎn)生影響力的一種方式,,因而目前仍有21000多人參與Linux內(nèi)核開發(fā),貢獻(xiàn)代碼,,華為就是其中的一員,。
最新發(fā)布的Linux Kernel 5.8版本中,華為成為內(nèi)核代碼貢獻(xiàn)排名第二,。
從公司貢獻(xiàn)角度來說,,華為提交的補(bǔ)丁數(shù)量位列第二名,占比8.6%,,代碼修改行位列第一,,占比達(dá)27.8%。
事實(shí)上,,華為為社區(qū)貢獻(xiàn)代碼已經(jīng)足足10年時(shí)間了,,目前華為在社區(qū)已經(jīng)擁有20+Maintainer,在容器所使用的核心功能Cgroup,,軟硬件解耦A(yù)CPI on ARM64,,文件系F2FS/EROFS,RAS EDAC框架,,Media子系統(tǒng),,IIO子系統(tǒng),,以及Perfon ARM64等子系統(tǒng)上,華為都為社區(qū)貢獻(xiàn)了代碼,。
此次發(fā)布的Linux Kernel 5.8版本,,華為貢獻(xiàn)的1399個(gè)補(bǔ)丁中,除了前文中提及的系統(tǒng)特性外,,還有包括網(wǎng)絡(luò),、文件系統(tǒng)、perf調(diào)測,、安全等關(guān)鍵子系統(tǒng)的200+的bugfix補(bǔ)丁,,這些都是Linux能夠正常運(yùn)行所需的基礎(chǔ)軟件系統(tǒng),對于Linux是非常重要的,。
華為持續(xù)釋放著自己在基礎(chǔ)軟件上的實(shí)力,。去年年底宣布Linux內(nèi)核開發(fā)的服務(wù)器操作系統(tǒng)EulerOS正式開源,在本次開源操作系統(tǒng)論壇上,,華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰詳細(xì)講解了openEuler當(dāng)前的能力建設(shè)與未來展望,,分享了華為構(gòu)建最具活力開源社區(qū)的經(jīng)驗(yàn)與方法。
很明顯,,通過openEuler,,華為又開啟了一段新的開源征程。
打造最具活力的開源社區(qū),,openEuler是如何做到的,?
openEuler開源之前,華為在這個(gè)項(xiàng)目上的技術(shù)投入和積累已經(jīng)超過10年,,當(dāng)時(shí)這套操作系統(tǒng)就能夠滿足企業(yè)全云化,、多場景業(yè)務(wù)、智能化彈性部署等一系列ICT產(chǎn)業(yè)變革需求,。
2019年華為全聯(lián)接大會上,,華為首次宣布了計(jì)算產(chǎn)業(yè)“硬件開放、軟件開源”的核心戰(zhàn)略,,openEuler成為軟件開源的第一站,。同年12月,openEuler操作系統(tǒng)源代碼正式上線,,宣布開源之路啟動,。今年3月,openEuler開源社區(qū)發(fā)布o(jì)penEuler 20.03 LTS版本,,9月發(fā)布o(jì)penEuler 20.09創(chuàng)新版,。如今,openEuler開源社區(qū)已經(jīng)取得了階段性成果。openEuler吸引到越來越多的全球開發(fā)者參與,,社區(qū)整體朝向“共建,、共享、共治”的目標(biāo)穩(wěn)健發(fā)展,。
在分論壇的演講中,,華為計(jì)算產(chǎn)品線鯤鵬openEuler操作系統(tǒng)首席SE管延杰詳細(xì)解讀了20.09版本的幾大特點(diǎn),其中包括:
1,、支持多處理架構(gòu)
新版本增加了新的架構(gòu)和芯片支持,,除了之前的X86和ARM架構(gòu)之外,還與中科院軟件所合作,,發(fā)布了國內(nèi)首個(gè)RISC-V Linux嘗鮮版,,同時(shí)還增加對中科海光芯片的支持。對于開源開發(fā)者,,20.09版本增加了對樹莓派的支持,。
支持的架構(gòu)和芯片越來越多,在一定程度上說明openEuler正在以更開放的心態(tài)和更低的開發(fā)門檻迎接開發(fā)者們加入項(xiàng)目,。
2,、性能更強(qiáng)
針對目前核與核之間,物理CPU與物理CPU之間,,越來越不均衡的現(xiàn)狀,,新版本為了更好的去釋放這些硬件的算力,對內(nèi)核進(jìn)行了協(xié)同反饋式的調(diào)度,,通過內(nèi)核共享資源并行優(yōu)化等技術(shù)手段,進(jìn)一步釋放多核之間的算力,,實(shí)現(xiàn)性能提升20%,。
新版本在為行業(yè)提供新的多核算力解決方案的同時(shí),也進(jìn)一步在外界展示在華為在開源操作系統(tǒng)領(lǐng)域的硬實(shí)力,。
3,、使用更易
在虛擬化方面,新版本通過StratoVirt+iSula組合構(gòu)建了一個(gè)極致輕量化的安全容器全棧,,甚至可以說是下一代的虛擬化技術(shù),。
通過RUST語言和VMware的接口,針對數(shù)據(jù)的遷移,,包括鏡像的構(gòu)建,,提供了比較豐富應(yīng)用的一個(gè)工具,通過這些構(gòu)建,,讓容器使用起來更加簡單,。
這個(gè)方案既有虛擬機(jī)的隔離性,又有相關(guān)實(shí)時(shí)和輕量化,,面對未來的Severless計(jì)算平臺,,特別是函數(shù)計(jì)算這一方面,,是一個(gè)非常完美的選擇。
4,、效率更高
為了更好地對OS進(jìn)行基于業(yè)務(wù)場景的調(diào)優(yōu),,新版本的A-Tune工具針對于應(yīng)用業(yè)務(wù)場景進(jìn)行了系統(tǒng)畫像,把所支持的應(yīng)用場景擴(kuò)大到了10大類20多款應(yīng)用,,可以調(diào)節(jié)的對象參數(shù)達(dá)到200多個(gè),。
由于A-Tune是對運(yùn)行在操作系統(tǒng)上的業(yè)務(wù)建立精準(zhǔn)模型,動態(tài)感知業(yè)務(wù)特征并推理出具體應(yīng)用,,根據(jù)業(yè)務(wù)負(fù)載情況動態(tài)調(diào)節(jié)給出最佳的參數(shù)配置組合,,從而使業(yè)務(wù)運(yùn)行于最佳系統(tǒng)性能狀態(tài)下,大大提升了調(diào)優(yōu)效率,。
總的來說,,除了增加新的架構(gòu)和芯片支持之外,新版本的大多數(shù)升級都是圍繞提升易用性展開的,,其目的也是為了降低了開發(fā)者參與到openEuler開源項(xiàng)目的門檻,。
2020年9月30日,openEuler開源社區(qū)發(fā)布o(jì)penEuler 20.09創(chuàng)新版,。本次版本發(fā)布是openEuler社區(qū)中的多個(gè)公司,、團(tuán)隊(duì)、獨(dú)立開發(fā)者協(xié)同開發(fā)的成果,,在openEuler社區(qū)的發(fā)展進(jìn)程中具有里程碑式的意義,,也是中國開源歷史上具有標(biāo)志性的事件。比如此次新版本的更新中:中科院軟件所貢獻(xiàn)了RISC-V新指令集架構(gòu)支持,;麒麟軟件為社區(qū)共享了賞心悅目的桌面UKUI系統(tǒng),;云原生虛擬化平臺StratoVirt和iSula容器升級版,兩者的結(jié)合重構(gòu)了輕量級云原生基礎(chǔ)架構(gòu),;BiSheng JDK為Java應(yīng)用帶來更強(qiáng)的性能,;IMA完整性度量架構(gòu)和secGear機(jī)密計(jì)算框架,給開發(fā)者在多平臺安全應(yīng)用的開發(fā)效率帶來倍級提升,。
從內(nèi)核探索到行業(yè)場景,,一個(gè)更加紛繁壯麗的未來
20.09版本是openEuler開源以來的一個(gè)高峰, 從管延杰在分論壇中的演講內(nèi)容來看,,openEuler未來還將經(jīng)歷更多高峰,。
根據(jù)openEuler的版本發(fā)布規(guī)劃,今后每2年會發(fā)布一個(gè)LTS版本,,每年3月和9月份還會各發(fā)布一個(gè)創(chuàng)新版本,。
對于下一個(gè)21.03版本的展望,管延杰表示,新版本將進(jìn)行更多的內(nèi)核探索,。
比如,,目前Memory最大的變化在于新介質(zhì),以SCM為代表的廉價(jià),,超大容量,,較高性能的存儲介質(zhì)給體系結(jié)構(gòu)也帶來一些變化,21.03版本將對新介質(zhì)的內(nèi)存管理進(jìn)行更加深入的探索,。
再比如,,Linux Kernel代碼快速增長,CVE數(shù)量也同步走高,,而這些CVE只有不到20%的CVE能夠用熱補(bǔ)丁來進(jìn)行修復(fù),,超過80%只能用冷補(bǔ)丁,冷補(bǔ)丁給大家?guī)淼膯栴}就是整個(gè)系統(tǒng)需要復(fù)位,、重啟,,OS的修復(fù)需要很長一段時(shí)間,或?qū)τ脩魳I(yè)務(wù)造成影響,。
在這一背景下,,21.03版本將推出內(nèi)核熱替換技術(shù),對內(nèi)核熱的替換之后,,系統(tǒng)能夠快速恢復(fù),,包括PCI的設(shè)備狀態(tài),以及內(nèi)存里的業(yè)務(wù)數(shù)據(jù)等,,整個(gè)替換時(shí)間在百毫秒到2秒之間,,用戶業(yè)務(wù)在“飛行途中換引擎”的同時(shí),Bug修復(fù)效率也會有一個(gè)質(zhì)的提升,。
此外,,openEuler 21.03版本還將有麒麟、DDE,、Gnome三個(gè)桌面供使用者選擇,,增加repo倉庫,,讓ISV的發(fā)布,、分發(fā)效率更高,用戶這更容易獲取,。
新版本面向云,、邊緣和端側(cè)將提供一整套完善方案,支持在云上實(shí)現(xiàn)極致性能,、高效運(yùn)維和安全可靠,;在邊緣上提供輕量、敏捷、實(shí)時(shí)的系統(tǒng),;在端側(cè),,提供一整套的工具集,讓用戶可以自由地對OS進(jìn)行定制,。
降低進(jìn)入門檻仍然是21.03版本的重要任務(wù),,除此之外,在用戶體驗(yàn)和落地連接側(cè),,21.03版本則力圖變得更“好用”,,這也讓我們對openEuler明年的這次更新產(chǎn)生了更多的期待。
在整個(gè)項(xiàng)目最難的生態(tài)建設(shè)和人才培養(yǎng)方面,,華為表示將從學(xué)習(xí)扶持,、構(gòu)建扶持、上市扶持全面支持合作伙伴提升商業(yè)競爭力,,同時(shí)聯(lián)合清華大學(xué)發(fā)布o(jì)penEuler,、openGauss專業(yè)技術(shù)書籍,普及操作系統(tǒng)和數(shù)據(jù)庫的基礎(chǔ)知識,,并融入國內(nèi)重點(diǎn)大學(xué)的相關(guān)課程中,,從高校教育開始,賦能個(gè)人開發(fā)者,。
未來復(fù)旦大學(xué),、同濟(jì)大學(xué)、華中科技大學(xué)等十所院校會第一批開設(shè)相關(guān)課程,。此外,,openEuler認(rèn)證計(jì)劃也于10月正式啟動,首批HCIA認(rèn)證開放30位openEuler認(rèn)證,。
openEuler一路走來,,完成了從上線到開源,從社區(qū)建設(shè)到OSV合作體系建設(shè)等一系列工作,,完成了從0到1的起步,,正在進(jìn)行著從1到10,到100,,到1之后無數(shù)個(gè)0的生態(tài)生態(tài)建設(shè),,從上文提到的openEuler版本發(fā)行節(jié)奏以及社區(qū)建設(shè)規(guī)劃來看,openEuler的開源之路還將長期進(jìn)行,。
無論是開發(fā)者,、合作伙伴們還是華為自己,他們都清楚這是一條充滿挑戰(zhàn)且不能回頭的荊棘之路,,如今還算順利的開始,,并不代表著以后也會一帆風(fēng)順,,他們追求的是自我成長的一種可能,也是多樣計(jì)算產(chǎn)業(yè)的一種可能,。
在這個(gè)過程中,,多樣計(jì)算時(shí)代未來模樣逐漸清晰的同時(shí),openEuler的價(jià)值也將得到更大程度的釋放,。