本篇文章2971字，讀完約7分鐘

離心機蓋子打不開

最近，匯款技術(shù)mobvista全面升級了saas產(chǎn)品“一站式云原生大數(shù)據(jù)ai平臺”——engineplus 2.0，正式上線亞馬遜云技術(shù)AWS市場平臺。

隨著公司業(yè)務(wù)的迅速擴張，派生數(shù)據(jù)量面臨爆炸式增長，公司對數(shù)據(jù)解決解體的訴求越來越迫切。

在這種背景下，創(chuàng)新技術(shù)和方案成為公司應(yīng)對數(shù)據(jù)智能解決的挑戰(zhàn)所必需的。 快速構(gòu)建湖倉一體大數(shù)據(jù)觀察平臺，高效實時獲取數(shù)據(jù)，通過人工智能模型實現(xiàn)數(shù)據(jù)價值最大化，充分實現(xiàn)業(yè)務(wù)能力。

engineplus 2.0將數(shù)據(jù)湖、計算分解、人工智能集成到統(tǒng)一平臺上，提供了面向多樣化業(yè)務(wù)場景的實時數(shù)據(jù)湖框架starlake、機器學(xué)習(xí)框架mindalpha等自主開發(fā)的開源工具，為service提供了一個平臺。 engineplus 2.0通過開放的產(chǎn)品體系結(jié)構(gòu)解決開發(fā)者智能解決云和數(shù)據(jù)的難題，加速了企業(yè)數(shù)字化轉(zhuǎn)型和業(yè)務(wù)創(chuàng)新。

引擎 2.0三板斧:大數(shù)據(jù)+ ai +云本機

新一代一站式云原生大數(shù)據(jù)ai平臺engineplus 2.0通過融合創(chuàng)新大數(shù)據(jù)和云計算、人工智能等新聞技術(shù)，實現(xiàn)了數(shù)據(jù)采集、數(shù)據(jù)計算、模型培訓(xùn)、開通 在大規(guī)模業(yè)務(wù)的生產(chǎn)驗證下，engineplus 2.0兼具高速訪問、易用性、高性能、高穩(wěn)定性等優(yōu)勢。

/ S2/1./ S2// S2 /開放源代碼/ S2// S2 /數(shù)據(jù)湖框架/ S2// S2///S2 /。

作為核心數(shù)據(jù)存儲的容器，數(shù)據(jù)湖具有高效、高速的特點，但隨之而來的是相當(dāng)高的復(fù)雜度和較高的計算價格。

為了讓顧客更好地使用這種數(shù)據(jù)存儲分解方法，mobvista研究開發(fā)了數(shù)據(jù)湖框架starlake，并將其開源，實現(xiàn)了大數(shù)據(jù)的實時采集和更新。

憑借矩陣upsert功能、高合并入湖、元數(shù)據(jù)管理可擴展性、目標存儲io性能深度優(yōu)化等特點，starlake數(shù)據(jù)湖框架可以有效構(gòu)建湖倉一體化拆解平臺，是開源的同類數(shù)據(jù)湖框架。

(照片: starlake vs. iceberg用于測試)

engineplus 2.0集成了云計算平臺spark on k8s，可實現(xiàn)資源快速擴展、資源高效利用、滿足企業(yè)超大數(shù)據(jù)需求和高效靈活的訴求

2.開放源碼機器學(xué)習(xí)框架 迷你alpha

除了數(shù)據(jù)湖，用人工智能對數(shù)據(jù)進行建模是挖掘數(shù)據(jù)背后價值的重要方法，通過算法對數(shù)據(jù)進行建模，從而激活業(yè)務(wù)，產(chǎn)生價值。

mobvista自研開源機器學(xué)習(xí)框架mindalpha輕松解決大規(guī)模離散的特點，與engineplus 2.0上的spark、starlake無縫結(jié)合，實現(xiàn)從數(shù)據(jù)到智能的一體化、一站式高效體

mindalpha開源參數(shù)服務(wù)器SDK支持千億級大規(guī)模稀疏離散特征，與pytorch、spark mllib無縫連接，特征求解和模型推理的邏輯和參數(shù)完全自動在線服務(wù)器 實際上達到毫秒級的延遲級別，提供實時反饋，并迅速捕獲客戶的行為。 另外，其高性能在線服務(wù)可以橫向分割模型，支持萬億參數(shù)，具有低延遲、自動彈性伸縮的特點，可以進行cpu、gpu異構(gòu)的調(diào)度和負載平衡。

(照片: mindalpha體系結(jié)構(gòu))

.基于spot max的云特定體系結(jié)構(gòu)

輕松利用互聯(lián)網(wǎng)資源，實現(xiàn)管理、業(yè)務(wù)等方面的數(shù)據(jù)化轉(zhuǎn)型，公司內(nèi)部云訴求火爆。 云的原生體系結(jié)構(gòu)也因其高性能、可擴展性、一致性、符合標準、容錯、易于管理、易模糊的支持等特點而受到公司的歡迎。

engineplus 2.0基于spotmax提供云的本機體系結(jié)構(gòu)。 spotmax云的原生系統(tǒng)具有云資源調(diào)度優(yōu)化、容器+服務(wù)網(wǎng)格融合、多云和混合云統(tǒng)一管理、無服務(wù)平臺等特點。 engineplus 2.0是基于spotmax構(gòu)建的云本機基礎(chǔ)架構(gòu)，支持快速部署一鍵，從而大幅降低運輸成本。 在計算存儲隔離的情況下，engineplus 2.0與目標存儲系統(tǒng)進行了優(yōu)化。 另外，所有組件都可以靈活伸縮，從而提高公司的效率，降低系統(tǒng)構(gòu)建的價格。

/ S2// S2/mob vista/S2 /技術(shù)中臺戰(zhàn)術(shù)

在engineplus 2.0一站式云原生大數(shù)據(jù)ai平臺的背后，是整個mobvista技術(shù)的中臺。 打破業(yè)務(wù)界限，mobvista技術(shù)中臺通過聚合協(xié)同作用對外提供能源。

年，mobvista啟動了中臺戰(zhàn)術(shù)，自主開發(fā)了以ai+big data為核心的技術(shù)中臺體系結(jié)構(gòu)。 此時，mobvista旗下的移動計劃廣告平臺mintegral、數(shù)據(jù)觀察平臺gameanalytics的高速發(fā)展，以及集團提出國際化戰(zhàn)術(shù)，進一步擴大了全球業(yè)務(wù)。

年，基于數(shù)據(jù)中心數(shù)據(jù)庫、大數(shù)據(jù)計算平臺引擎、大型機器學(xué)習(xí)中心mindalpha、云本機架構(gòu)開發(fā)的靈活集群管理平臺spotmax mobvista將技術(shù)中臺產(chǎn)品化，對外發(fā)布，目的是以智能技術(shù)驅(qū)動增長。

從自研走向商業(yè)化，mobvista技術(shù)的中臺——為這個企業(yè)整體的各項業(yè)務(wù)提供處理方案的團隊，邁出了對外賦能的越來越多的步驟。 無論是datatory、engineplus、mindalpha還是已成為集團二級企業(yè)品牌的spotmax，這些產(chǎn)品都來自mobvista的大型業(yè)務(wù)實踐。 在深入融合商業(yè)訴求場景的基礎(chǔ)上，mobvista技術(shù)中臺從中沉淀平臺能力，不斷重用，產(chǎn)品化、商業(yè)化，對外創(chuàng)造價值。

這與mobvista提出的“saas工具生態(tài)”戰(zhàn)術(shù)相一致。 互聯(lián)網(wǎng)的“技術(shù)溢出效應(yīng)”正在加速數(shù)字化轉(zhuǎn)型，mobvista從技術(shù)創(chuàng)新者變?yōu)榧夹g(shù)輸出者。

市場訴求爆發(fā)，數(shù)據(jù)技術(shù)不斷更迭。 對于希望加快數(shù)字化轉(zhuǎn)型的企業(yè)來說，engineplus 2.0可以通過一體化的產(chǎn)品處理計劃，幫助企業(yè)數(shù)字化進程，實際上可以推動企業(yè)業(yè)務(wù)的快速發(fā)展。

從網(wǎng)絡(luò)廣告、電子商務(wù)領(lǐng)域到金融監(jiān)管，engineplus 2.0成功地迅速發(fā)展了數(shù)家國內(nèi)公司、海外公司的業(yè)務(wù)。

以mobvista程序化互動廣告平臺mintegral為例，其日均數(shù)據(jù)量達到Pb級，需要調(diào)度數(shù)萬cpu核心。 采用engineplus 2.0后，mintegral可以實時解決顧客的行為特征，進行毫秒級的反饋。 在日千億次dnn模型預(yù)測要求下，滿足萬億級排序量的排序業(yè)務(wù)服務(wù)，較有效地奠定了mintegral在全球的領(lǐng)先地位。 另外，由于engineplus 2.0的效果，一家網(wǎng)絡(luò)進軍海外的金融企業(yè)的業(yè)務(wù)成績指標迅速上升了20%+。

“engineplus 2.0融合了豐富的領(lǐng)域工具包、開源代碼和數(shù)據(jù)算法模型，幫助開發(fā)者在數(shù)據(jù)觀察、技術(shù)開發(fā)和業(yè)務(wù)的快速發(fā)展中提供可靠、準確的分解應(yīng)用能力。 讓顧客站在大家的肩膀上，快速建立從數(shù)據(jù)采集、分解到ai模型離線培訓(xùn)、在線預(yù)測的一體化能力。 ”mobvista集團副總裁朱亞東博士說。

“當(dāng)然，經(jīng)過業(yè)務(wù)的大規(guī)模實踐和可行性驗證，我們積累了越來越多的經(jīng)驗和專業(yè)信息，為用戶提供部署服務(wù)，讓他們以最小的技術(shù)門檻、最小的價格、最小的風(fēng)險進行數(shù)字化轉(zhuǎn)型、智能化升級。 我們希望成為中國版ai承載的數(shù)據(jù)積木，跨越數(shù)據(jù)爆炸性增長到智能解決的鴻溝，構(gòu)建新一代的基礎(chǔ)設(shè)施體系。 ”

數(shù)字化快速發(fā)展前景廣闊。 結(jié)合多年的技術(shù)經(jīng)驗和領(lǐng)域積累，mobvista為越來越多的公司組織構(gòu)建了saas工具生態(tài)，以技術(shù)產(chǎn)品、實踐經(jīng)驗使領(lǐng)域的智能化升級成為可能。