- OpenCAPI：突破傳統(tǒng)計(jì)算世界的維度藩籬
- 2020年01月16日 來(lái)源：中國(guó)第一時(shí)間
提要：云計(jì)算、萬(wàn)物互聯(lián)、大數(shù)據(jù)分析，以及不斷涌現(xiàn)的人工智能等，對(duì)應(yīng)用負(fù)載提出了越來(lái)越高的期待，企業(yè)對(duì)于系統(tǒng)性能的要求自然也是水漲船高。
云計(jì)算、萬(wàn)物互聯(lián)、大數(shù)據(jù)分析，以及不斷涌現(xiàn)的人工智能等，對(duì)應(yīng)用負(fù)載提出了越來(lái)越高的期待，企業(yè)對(duì)于系統(tǒng)性能的要求自然也是水漲船高。
在傳統(tǒng)軌跡上，擠牙膏式地對(duì)處理器進(jìn)行加強(qiáng)是多年來(lái)的不二法門(mén)。然而時(shí)過(guò)境遷，支撐處理器的摩爾定律已經(jīng)接近邊緣盡頭，在多元化且近幾何級(jí)的計(jì)算需求面前，應(yīng)用負(fù)載更需要進(jìn)入全新的、系統(tǒng)級(jí)別的提升。
對(duì)異構(gòu)計(jì)算的探索跋涉就是一種對(duì)于計(jì)算性能瓶頸的突破。異構(gòu)計(jì)算是一種特殊形式的并行和分布式的計(jì)算，它通過(guò)引入GPU、ASIC、FPGA或其它加速器，配合CPU去執(zhí)行各自最擅長(zhǎng)的任務(wù)，從而實(shí)現(xiàn)計(jì)算性能和成本的最優(yōu)化。
以異構(gòu)計(jì)算為基礎(chǔ)的計(jì)算系統(tǒng)能夠打破 CPU 和外圍設(shè)備間數(shù)據(jù)傳輸?shù)钠款i，讓更多的硬件設(shè)備參與計(jì)算，如用專(zhuān)用硬件完成密集計(jì)算或者外設(shè)管理等，從而顯著提高系統(tǒng)性能。
作為異構(gòu)計(jì)算領(lǐng)域的開(kāi)拓者，IBM這些年來(lái)也一直在探索更高帶寬、更低延遲的異構(gòu)計(jì)算接口，減少CPU和異構(gòu)核心之間的接口的傳輸能力對(duì)異構(gòu)計(jì)算性能優(yōu)勢(shì)的限制。
2013年，IBM推出第一代CAPI 1.0接口(Coherent Acceleration Processor Interface 1.0)，同時(shí)，為了加速OpenCAPI的應(yīng)用，IBM與幾家頂級(jí)的國(guó)際化公司(包括AMD、Google、IBM、Mellanox、Micron、Xilinx)建立了獨(dú)立的標(biāo)準(zhǔn)化組織OpenCAPI，在異構(gòu)計(jì)算的潮流中致力于推動(dòng)高速硬件接口設(shè)計(jì)全面進(jìn)入內(nèi)存一致性時(shí)代。如今第三代CAPI接口開(kāi)放給更多的異構(gòu)計(jì)算開(kāi)發(fā)者使用，名為OpenCAPI接口。
需要強(qiáng)調(diào)的是，雖然OpenCAPI首發(fā)于POWER9，但是它的設(shè)計(jì)特性并沒(méi)有綁定在POWER架構(gòu)上，完全可以嵌入到其他種類(lèi)的處理器架構(gòu)之上。
OpenCAPI接口能夠有效地分擔(dān)CPU的負(fù)荷，為客戶提供一種可訂制、高效易用的硬件加速解決方案——這一原始定義非常樸素，但方寸之間，深不見(jiàn)底，它是新一代異構(gòu)計(jì)算的基礎(chǔ)設(shè)施。
從2018年開(kāi)始，通過(guò)在中國(guó)舉辦OpenCAPI異構(gòu)計(jì)算大賽，IBM希望來(lái)自高校的理工學(xué)子能夠通過(guò)了解OpenPOWER和OpenCAPI進(jìn)一步實(shí)踐異構(gòu)計(jì)算，在未來(lái)逐漸成長(zhǎng)為科技創(chuàng)新的儲(chǔ)備軍和中堅(jiān)力量。
2019年鳴鑼的OpenPOWER + OpenCAPI異構(gòu)計(jì)算設(shè)計(jì)大賽則是吸引了來(lái)自14所高校的21支隊(duì)伍。顯然，OpenPOWER + OpenCAPI的組合正在吸引更多的關(guān)注，新的生態(tài)逐漸孵育成熟，正在蓄勢(shì)待發(fā)。
OpenPOWER+OpenCAPI
李孝聰，西安交通大學(xué)在讀碩士。本次大賽中，他和他的隊(duì)友們順利闖過(guò)初賽，與其他9支隊(duì)伍共同殺入到復(fù)賽當(dāng)中。
作為一枚經(jīng)常參加各種校外比賽的“研究僧”，李孝聰表示，在大學(xué)里接觸異構(gòu)計(jì)算的場(chǎng)合并不是很多，此前基本上是通過(guò)閱讀論文、搜索資料這樣遠(yuǎn)距離的學(xué)習(xí)來(lái)獲取理解，而大賽提供了多次與OpenPOWER+OpenCAPI“親密接觸”的機(jī)會(huì)，李孝聰和他的隊(duì)友們也得以與許多共同學(xué)習(xí)OpenCAPI技術(shù)的參賽團(tuán)隊(duì)進(jìn)行深入交流。
遠(yuǎn)超李孝聰預(yù)期的是，主辦方為參賽隊(duì)伍提供了一對(duì)一的企業(yè)導(dǎo)師，導(dǎo)師們傳播知識(shí)、理解應(yīng)用場(chǎng)景，能為參賽方案提出優(yōu)化建議和點(diǎn)睛式的改進(jìn)點(diǎn)撥，這是同類(lèi)賽事其它主辦方難以提供的優(yōu)勢(shì)資源。
此外，主辦方還提供了服務(wù)器與板卡，參賽者不僅可以在理論上討論加速效果，更可以在服務(wù)器上實(shí)現(xiàn)加速效果，親自感受OpenCAPI異構(gòu)計(jì)算的巨大威力。在接下來(lái)的時(shí)間里，李孝聰希望進(jìn)一步改進(jìn)方案，完成最終的設(shè)計(jì)。
李孝聰團(tuán)隊(duì)的方案主要是圍繞密碼學(xué)的算法。由于計(jì)算量非常大，算法也比較復(fù)雜、串行度大，因此團(tuán)隊(duì)的設(shè)計(jì)初衷就是利用FPGA(Field-Programmable Gate Array，現(xiàn)場(chǎng)可編程門(mén)陣列)，更靈活地設(shè)計(jì)邏輯電路，賦予它更強(qiáng)大的加速能力。
相較而言，他的感受是，OpenCAPI有著非常領(lǐng)先的前瞻性和技術(shù)水準(zhǔn)。譬如AES、SM3等算法，它們?cè)谟?jì)算速度上沒(méi)有什么問(wèn)題，但是對(duì)帶寬要求非常高，一般的系統(tǒng)上是很難實(shí)現(xiàn)的。而OpenCAPI則是優(yōu)勢(shì)明顯，第三代協(xié)議的OpenCAPI已經(jīng)能夠提供25GB/s的接口速度。
李孝聰表示，在不占用資源的情況下，團(tuán)隊(duì)會(huì)盡可能使用OpenCAPI的接口帶寬，并根據(jù)FPGA的資源情況適當(dāng)?shù)卣{(diào)整一下它的流水線級(jí)數(shù)，保證更好的工作效率。
在高帶寬之外，OpenCAPI還具有低延時(shí)的特性，能夠?yàn)閿?shù)據(jù)從FPGA端傳送到CPU端或是反向傳輸，提供極好的支撐。
以SM2橢圓曲線公鑰密碼算法為例，如我們所知，這是個(gè)運(yùn)算量比較大的算法，同時(shí)也對(duì)數(shù)據(jù)傳輸有著很高的要求。由于具備低延時(shí)的特點(diǎn)，OpenCAPI不僅能夠加速SM2算法的運(yùn)算，還可以讓數(shù)據(jù)的傳輸更快，整個(gè)系統(tǒng)也由此更具安全優(yōu)勢(shì)。
生態(tài)的“移山”之旅
大賽規(guī)模的擴(kuò)充，一方面令I(lǐng)BM中國(guó)OpenPOWER總經(jīng)理吳偉明欣喜不已，另一方面也令他深陷“煩惱”：與上屆比賽相比，主辦方需要做出更多“痛苦”的決定，比如將21支初賽隊(duì)伍最終縮減為10支挺進(jìn)復(fù)賽的隊(duì)伍。
從2013年一路走來(lái)，OpenCAPI已經(jīng)迭代到第三代，日趨成熟，并且擁有上佳的技術(shù)水準(zhǔn)。然而現(xiàn)實(shí)是以GPU為主的開(kāi)發(fā)，仍未被充分利用，IBM提供開(kāi)源工具套件的初衷，是希望幫助開(kāi)發(fā)者更加快捷、容易地開(kāi)發(fā)應(yīng)用，加速創(chuàng)新。
IBM一貫重視與大學(xué)和科研機(jī)構(gòu)的合作，他們客觀、包容，可以接受新的東西，也樂(lè)于實(shí)現(xiàn)科技的快速落地。吳偉明表示，大賽的目的是把創(chuàng)新技術(shù)展示出來(lái)，讓客戶們看到在單純的CPU加持之外，實(shí)際上還有一條更為可靠的、CPU+加速器的硬件加速解決方案。
他注意到，與上屆相比，本屆大賽的參賽方案出現(xiàn)了一些極具意義的變化：此前的應(yīng)用基本是面向超算中心或是互聯(lián)網(wǎng)公司，而本次則涌現(xiàn)出一批與工業(yè)控制相關(guān)的方案。與此同時(shí)，很多方案也瞄準(zhǔn)了企業(yè)應(yīng)用的實(shí)際方向，這是一個(gè)非常好的跡象。
針對(duì)本次大賽，主辦方的OpenPOWER 基金會(huì)和OpenCAPI 聯(lián)盟，承辦方的IBM，協(xié)辦方的浪潮商用機(jī)器等伙伴，均投入了大量的資源，就是希望為新做開(kāi)發(fā)的年輕人，或是正在做加速應(yīng)用的開(kāi)發(fā)者，開(kāi)啟不同的計(jì)算視角、提供更為務(wù)實(shí)和高效的計(jì)算途徑。
吳偉明指出，大賽的目的是改變整個(gè)以CPU為大腦的現(xiàn)有計(jì)算模式，改變?nèi)瞬诺哪芰Γ@是革命性的創(chuàng)新之舉，也是一次對(duì)原有計(jì)算生態(tài)的“移山”之旅，難度可想而知。
采用全新的異構(gòu)計(jì)算架構(gòu)，要求開(kāi)發(fā)者具有更好的軟硬件協(xié)同開(kāi)發(fā)意識(shí)，能夠清楚了解不同核心之間的性能優(yōu)勢(shì)，通過(guò)CPU協(xié)調(diào)各個(gè)異構(gòu)核心的計(jì)算算力，從而實(shí)現(xiàn)最優(yōu)的異構(gòu)計(jì)算方案。對(duì)于開(kāi)發(fā)者而言，從原先單一挖掘CPU的計(jì)算能力，提升到能夠合理調(diào)度各個(gè)計(jì)算核心的算力，其轉(zhuǎn)變充滿挑戰(zhàn)。
這可能是一個(gè)漫長(zhǎng)的過(guò)程，或許還需要兩到三年才能看到初步成效，但是一旦起步就會(huì)進(jìn)入到加速期，并感染和鼓舞更多的人群，實(shí)現(xiàn)滾雪球式的發(fā)展。千里之行始于足下，新計(jì)算世界的開(kāi)疆拓土勢(shì)在必行，主辦方與IBM愿意為此一盡綿薄之力。
“在現(xiàn)階段，我們希望通過(guò)大賽對(duì)CPU+加速器的模式做出回應(yīng)，將OpenPOWER + OpenCAPI的能力更加真實(shí)和全面地注入市場(chǎng)，帶動(dòng)市場(chǎng)的同步發(fā)展。”吳偉明表示。
迭代：技術(shù)的進(jìn)化
在本次大賽中，IBM中國(guó)系統(tǒng)實(shí)驗(yàn)室芯片研發(fā)工程師錢(qián)晨以企業(yè)導(dǎo)師的身份，與同事一道參與了初賽團(tuán)隊(duì)的參賽方案指導(dǎo)工作。他認(rèn)為，參賽方案涉及到視頻編解碼、深度學(xué)習(xí)以及密碼學(xué)等方面，很多奇異的構(gòu)思和創(chuàng)新的方案都令人拍案叫絕。
應(yīng)該說(shuō)，此次提交的方案都具備較好的落地價(jià)值，與當(dāng)前的網(wǎng)絡(luò)熱點(diǎn)和企業(yè)應(yīng)用相契合。譬如錢(qián)晨負(fù)責(zé)指導(dǎo)的一個(gè)變壓器繞組模型在線監(jiān)測(cè)的課題，非常具有創(chuàng)新性而且貼近生產(chǎn)實(shí)際，可以很好地提升生產(chǎn)效率。
此外，方案的技術(shù)選擇也在某種意義上完成了迭代：復(fù)旦大學(xué)的視頻風(fēng)格遷移方案實(shí)現(xiàn)了CPU和FPGA的聯(lián)合計(jì)算加速，又進(jìn)一步引入了GPU，從而做到了CPU、GPU和FPGA的聯(lián)合加速，為視頻遷移提供了良好的實(shí)時(shí)性，同時(shí)保持了高計(jì)算密度。
在這一方案中，CPU實(shí)際上是GPU與FPGA之間的調(diào)度者。吳偉明認(rèn)為，這也是OpenPOWER + OpenCAPI的發(fā)展愿景，既讓CPU從繁重的計(jì)算處理中解脫出來(lái)，更多地?fù)?dān)當(dāng)調(diào)度的角色，也讓GPU、FPGA等加速器部件發(fā)揮更好的作用。
雖然OpenCAPI非常強(qiáng)大，但是駕馭它并不困難，學(xué)習(xí)和使用非常簡(jiǎn)單、易于上手，對(duì)開(kāi)發(fā)者也很友善。一方面，這是因?yàn)镺penCAPI擁有非常豐富的技術(shù)文檔，另一方面則是由于IBM提供了一套非常成熟的軟硬件開(kāi)發(fā)環(huán)境，這套環(huán)境包括：
基于OpenCAPI C1模式的加速框架oc-accel(OpenCAPI Acceleration Framework);OpenCAPI的FPGA板卡支持套件，OpenCAPI 3.0_Client_Ref Design;OpenCAPI的軟件開(kāi)發(fā)庫(kù)libocxl;OpenCAPI軟硬件協(xié)同仿真引擎OCSE，OpenCAPI Simulation Engine。
這套開(kāi)發(fā)環(huán)境經(jīng)過(guò)IBM工程師的努力，已經(jīng)全部在GitHub上開(kāi)源，全世界所有異構(gòu)計(jì)算的開(kāi)發(fā)者可以快速掌握。
毋庸置疑，大賽的目的是在大學(xué)里培養(yǎng)和引導(dǎo)人才，但是這并不意味著OpenCAPI的推廣會(huì)一直在象牙塔中進(jìn)行。吳偉明表示，在繼續(xù)推動(dòng)大賽的同時(shí)，IBM接下來(lái)也會(huì)在不同的場(chǎng)合，向更多的開(kāi)發(fā)企業(yè)和開(kāi)發(fā)人員推廣OpenCAPI。今年的OpenPOWER中國(guó)高峰論壇就將邀請(qǐng)一大批合作伙伴，并且會(huì)對(duì)部分已有的成果進(jìn)行集中展示。
未來(lái)，IBM將進(jìn)一步加強(qiáng)與OpenPOWER基金會(huì)和OpenCAPI聯(lián)盟的合作，與基金會(huì)會(huì)員和聯(lián)盟成員增進(jìn)互動(dòng)，以異構(gòu)計(jì)算引領(lǐng)計(jì)算的真正嬗變，為目前的計(jì)算世界開(kāi)啟全新的紀(jì)元。(作者：“胖頭陀” 康翔)
