北京2026年4月23日 /美通社/ -- 摘要：上海開(kāi)赟數(shù)字技術(shù)有限公司（下文簡(jiǎn)稱開(kāi)赟）聯(lián)手IBM，基于IBM Spectrum LSF（下文簡(jiǎn)稱LSF）高性能作業(yè)調(diào)度和資源管理平臺(tái)，針對(duì)內(nèi)存資源優(yōu)化，推出了一套 "預(yù)、調(diào)、控、監(jiān)"深度組合拳，助力企業(yè)在算力成本風(fēng)暴中實(shí)現(xiàn)降本增效。
在半導(dǎo)體供應(yīng)鏈劇烈波動(dòng)的今天，服務(wù)器內(nèi)存等核心硬件價(jià)格一路走高。對(duì)于依賴高性能計(jì)算（HPC）的企業(yè)而言，以往那種"硬件不夠就繼續(xù)堆硬件"的粗放模式，已經(jīng)難以為繼。成本壓力之下，如何在不盲目采購(gòu)新設(shè)備的前提下，充分挖掘現(xiàn)有每一根內(nèi)存條的潛力，已成為關(guān)乎企業(yè)核心競(jìng)爭(zhēng)力的關(guān)鍵課題。
上海開(kāi)赟數(shù)字技術(shù)有限公司（下文簡(jiǎn)稱開(kāi)赟）聯(lián)手IBM，基于IBM Spectrum LSF（下文簡(jiǎn)稱LSF）高性能作業(yè)調(diào)度和資源管理平臺(tái)，針對(duì)內(nèi)存資源優(yōu)化，推出了一套 "預(yù)、調(diào)、控、監(jiān)"深度組合拳，助力企業(yè)在算力成本風(fēng)暴中實(shí)現(xiàn)降本增效。
用戶提交作業(yè)時(shí)，常因無(wú)法準(zhǔn)確預(yù)估內(nèi)存消耗而采取"寧多勿少"的策略。這種做法看似穩(wěn)妥，實(shí)則導(dǎo)致大量?jī)?nèi)存資源被申請(qǐng)后長(zhǎng)期閑置，集群無(wú)法接納新作業(yè)，整體利用率低下。
LSF Predictor結(jié)合IBM watsonx的機(jī)器學(xué)習(xí)能力，有效的解決了這一問(wèn)題，系統(tǒng)會(huì)自動(dòng)分析歷史作業(yè)的特征（用戶、提交命令、輸入數(shù)據(jù)等），訓(xùn)練出高精度的預(yù)測(cè)模型。當(dāng)用戶再次提交作業(yè)時(shí)，系統(tǒng)會(huì)智能預(yù)測(cè)出作業(yè)所需要的內(nèi)存資源和運(yùn)行時(shí)間，從源頭上打破資源虛標(biāo)，讓集群內(nèi)存利用率實(shí)現(xiàn)質(zhì)的飛躍。
簡(jiǎn)單的調(diào)度策略容易造成內(nèi)存碎片化，大作業(yè)進(jìn)不來(lái)，小作業(yè)填不滿，集群利用率始終徘徊在低位。就像俄羅斯方塊堆砌不整，需要經(jīng)過(guò)智能編排，才能合理利用空間、減少資源浪費(fèi)。
開(kāi)赟利用 LSF 的高效調(diào)度算法，實(shí)現(xiàn)對(duì)內(nèi)存資源的"顆粒級(jí)"掌控。以回填調(diào)度機(jī)制為例，當(dāng)系統(tǒng)為高優(yōu)先級(jí)的大作業(yè)預(yù)留內(nèi)存時(shí)，調(diào)度器會(huì)自動(dòng)尋找時(shí)間縫隙，安排短小作業(yè)利用等待空窗期運(yùn)行，確保內(nèi)存始終處于滿載狀態(tài)。而親和性調(diào)度則確保計(jì)算核心優(yōu)先訪問(wèn)最近的本地內(nèi)存，通過(guò)提升作業(yè)運(yùn)行速度來(lái)縮短內(nèi)存占用周期，變相提高資源周轉(zhuǎn)率。類似這樣提升內(nèi)存利用率的調(diào)度策略，在LSF中還有很多。開(kāi)赟基于LSF，已經(jīng)積累了豐富的實(shí)踐經(jīng)驗(yàn)。
某些異常作業(yè)或存在內(nèi)存泄露的程序，可能會(huì)吞噬整臺(tái)服務(wù)器的資源，導(dǎo)致系統(tǒng)宕機(jī)，影響其他作業(yè)。為此，LSF 提供了多維度的機(jī)制，來(lái)確保內(nèi)存資源得到合理利用。
LSF提供了兩種內(nèi)存限制策略：軟限制和硬限制。軟限制相當(dāng)于一條"預(yù)警線"，系統(tǒng)會(huì)盡量將作業(yè)的內(nèi)存消耗控制在此范圍內(nèi)，但允許短暫超出，給予一定的緩沖。而硬限制則是一條不可逾越的"紅線"，一旦作業(yè)觸及，LSF會(huì)立即將其終止，防止單個(gè)作業(yè)拖垮整個(gè)節(jié)點(diǎn)。同時(shí)LSF可與Linux底層容器技術(shù)深度集成，為每個(gè)作業(yè)構(gòu)建多層次的內(nèi)存防護(hù)體系，確保集群整體穩(wěn)定。與此同時(shí)，動(dòng)態(tài)搶占機(jī)制還允許核心業(yè)務(wù)在資源緊張時(shí)，"借用"低優(yōu)先級(jí)作業(yè)的內(nèi)存，保障關(guān)鍵任務(wù)優(yōu)先運(yùn)行。通過(guò)這種"軟硬兼施"的策略組合，集群能夠在穩(wěn)定運(yùn)行的前提下，最大化內(nèi)存資源的有效利用。
實(shí)時(shí)"監(jiān)"控讓浪費(fèi)無(wú)處藏身
如果沒(méi)有精細(xì)的監(jiān)控，管理員往往難以直觀發(fā)現(xiàn)集群中哪些作業(yè)占用了大量資源卻幾乎沒(méi)有實(shí)際計(jì)算貢獻(xiàn)，優(yōu)化工作也就缺乏明確的數(shù)據(jù)支撐。
借助LSF監(jiān)控平臺(tái)，系統(tǒng)能實(shí)時(shí)識(shí)別申請(qǐng)了高額內(nèi)存、但負(fù)載極低的作業(yè)，并自動(dòng)生成按部門(mén)、項(xiàng)目組、用戶等多維度劃分的詳細(xì)資源消耗報(bào)告。還可以借助開(kāi)赟ICP智能算力平臺(tái)，以IBM LSF為底層核心引擎，進(jìn)一步實(shí)現(xiàn)調(diào)度、監(jiān)控、分析與優(yōu)化的一體化，為企業(yè)提供從算力分配到資源優(yōu)化的全生命周期管理。
這些報(bào)告清晰展示了每一部分資源的實(shí)際使用效率，幫助管理員快速定位浪費(fèi)源頭，及時(shí)回收閑置內(nèi)存。同時(shí)，這些數(shù)據(jù)也為日常調(diào)度策略的調(diào)整提供了客觀依據(jù)，并為未來(lái)的硬件采購(gòu)、集群擴(kuò)容或架構(gòu)優(yōu)化構(gòu)建了科學(xué)的決策閉環(huán)，讓每一次資源投入都有據(jù)可查、有數(shù)可依。
以某國(guó)內(nèi)領(lǐng)先的芯片設(shè)計(jì)企業(yè)為例，該客戶在EDA仿真場(chǎng)景下面臨嚴(yán)重的內(nèi)存資源浪費(fèi)問(wèn)題，集群整體內(nèi)存利用率長(zhǎng)期不足50%，即便持續(xù)擴(kuò)容硬件，作業(yè)排隊(duì)現(xiàn)象依然嚴(yán)重。
開(kāi)赟基于上述的LSF的"預(yù)、調(diào)、控、監(jiān)"組合拳，為該客戶構(gòu)建了精準(zhǔn)的內(nèi)存資源管理體系。上線后，集群內(nèi)存利用率提升至78%以上，作業(yè)平均等待時(shí)間縮短超過(guò)30%，這意味著，在不新增硬件的情況下，變相釋放出數(shù)十臺(tái)服務(wù)器的算力容量，每年為客戶節(jié)省硬件采購(gòu)成本數(shù)百萬(wàn)元。
用戶對(duì)內(nèi)存的使用率越來(lái)越重視，為了響應(yīng)需求，LSF 即將發(fā)布的新版本中，將新增一項(xiàng)內(nèi)存報(bào)告功能，大幅增強(qiáng)對(duì)作業(yè)內(nèi)存使用情況的統(tǒng)計(jì)能力。該功能不僅可以從作業(yè)粒度查看內(nèi)存數(shù)據(jù)（如申請(qǐng)的內(nèi)存、實(shí)際使用的峰值和平均值，以及 swap 用量），還能提供衍生指標(biāo)（包括內(nèi)存浪費(fèi)或不足、使用壓力、風(fēng)險(xiǎn)等級(jí)、峰值與均值的對(duì)比），并支持按運(yùn)行時(shí)長(zhǎng)加權(quán)計(jì)算整體內(nèi)存使用效率。在統(tǒng)計(jì)總覽中，還可以看到平均內(nèi)存用量、作業(yè)申請(qǐng)的合理性、風(fēng)險(xiǎn)分布，以及整體內(nèi)存預(yù)留、使用、浪費(fèi)與不足的累計(jì)情況，便于全面評(píng)估集群的內(nèi)存利用率和作業(yè)申請(qǐng)的合理性。
在硬件價(jià)格持續(xù)高漲的當(dāng)下，"精耕細(xì)作"已不再是錦上添花，而是HPC持續(xù)發(fā)展的必然選擇。上海開(kāi)赟與IBM聯(lián)合打造的這套組合方案，將AI的智能預(yù)測(cè)、調(diào)度的精細(xì)控制、風(fēng)控的嚴(yán)密邊界與監(jiān)控的透明可視融為一體，形成了一套完整的資源優(yōu)化閉環(huán)。通過(guò)技術(shù)手段，讓企業(yè)每一分硬件投入都轉(zhuǎn)化為實(shí)實(shí)在在的科研產(chǎn)出與生產(chǎn)效率，實(shí)現(xiàn)真正意義上的"降本增效"。
上海開(kāi)赟數(shù)字技術(shù)有限公司副總經(jīng)理楊杰表示："在硬件成本持續(xù)高企的背景下，HPC集群的內(nèi)存利用率，直接決定了企業(yè)的研發(fā)效率與競(jìng)爭(zhēng)力。開(kāi)赟基于LSF打造的‘預(yù)、調(diào)、控、監(jiān)'方案，從AI預(yù)測(cè)到精細(xì)化調(diào)度，再到多層次透明監(jiān)控，真正幫助企業(yè)用好每一字節(jié)內(nèi)存。這不僅是技術(shù)升級(jí)，更是算力管理理念的革新。"
IBM中國(guó)科技事業(yè)部架構(gòu)師何金池表示："LSF的核心優(yōu)勢(shì)不僅在于其強(qiáng)大的調(diào)度能力，更在于它能夠與AI等前沿技術(shù)深度融合，讓資源預(yù)測(cè)從‘憑經(jīng)驗(yàn)'變成‘靠數(shù)據(jù)'，解決用戶最真實(shí)的痛點(diǎn)。此外，LSF通過(guò)智能的數(shù)據(jù)管理機(jī)制，進(jìn)一步優(yōu)化了作業(yè)執(zhí)行過(guò)程中的數(shù)據(jù)訪問(wèn)與遷移效率。LSF還有非常豐富的調(diào)度策略，全方位保障集群的高效運(yùn)行。
IBM大中華區(qū)自動(dòng)化業(yè)務(wù)總經(jīng)理許偉杰表示："當(dāng)前，算力已成為企業(yè)數(shù)智化轉(zhuǎn)型的核心承載力，提效的關(guān)鍵在于資源的精細(xì)化管理。我們攜手開(kāi)赟，基于LSF打造了從調(diào)度、預(yù)測(cè)到監(jiān)控的閉環(huán)方案，幫助企業(yè)在不增購(gòu)硬件的前提下，充分釋放現(xiàn)有算力潛力。未來(lái)，IBM將持續(xù)深耕HPC領(lǐng)域的技術(shù)創(chuàng)新，助力企業(yè)真正實(shí)現(xiàn)降本增效與業(yè)務(wù)增長(zhǎng)的雙贏。"
上海開(kāi)赟數(shù)字技術(shù)有限公司，是一家高科技數(shù)字技術(shù)創(chuàng)新企業(yè)，專精特新企業(yè)，小巨人企業(yè)。我們專注于「先進(jìn)信息技術(shù)服務(wù)」和「智能制造場(chǎng)景軟件研發(fā)」兩個(gè)核心業(yè)務(wù)，為廣大客戶提供先進(jìn)生產(chǎn)力建設(shè)、數(shù)字化轉(zhuǎn)型、大數(shù)據(jù)和人工智能技術(shù)。在「先進(jìn)信息技術(shù)服務(wù)」領(lǐng)域，開(kāi)赟提供包括智能算力、AI、大數(shù)據(jù)、云計(jì)算、信息安全等眾多技術(shù)場(chǎng)景的應(yīng)用、構(gòu)建、運(yùn)維；在「智能制造場(chǎng)景軟件研發(fā)」領(lǐng)域，開(kāi)赟通過(guò)開(kāi)赟ICP智能算力平臺(tái)、CMES智能制造軟件、CCLab-WorkFlow智能工作流軟件等相關(guān)產(chǎn)品，為客戶創(chuàng)造業(yè)務(wù)價(jià)值。
IBM 是全球領(lǐng)先的混合云、人工智能及企業(yè)服務(wù)提供商，幫助超過(guò) 175個(gè)國(guó)家和地區(qū)的客戶，從其擁有的數(shù)據(jù)中獲取商業(yè)洞察，簡(jiǎn)化業(yè)務(wù)流程，降低成本，并獲得行業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)。金融服務(wù)、電信和醫(yī)療健康等關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域的超過(guò) 4000家政府和企業(yè)實(shí)體依靠 IBM 混合云平臺(tái)和紅帽 OpenShift 快速、高效、安全地實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。IBM 在人工智能、量子計(jì)算、行業(yè)云解決方案和企業(yè)服務(wù)方面的突破性創(chuàng)新為我們的客戶提供了開(kāi)放和靈活的選擇。對(duì)企業(yè)誠(chéng)信、透明治理、社會(huì)責(zé)任、包容文化和服務(wù)精神的長(zhǎng)期承諾是 IBM 業(yè)務(wù)發(fā)展的基石。
IBM 媒體聯(lián)絡(luò)人：陳赟，chychen@cn.ibm.com
