11月8日，2022vivo開發(fā)者大會(huì)以線上直播的形式召開，此次大會(huì)以“MORE，近你所想”為主題。在次日的云與基礎(chǔ)架構(gòu)分會(huì)場，vivo介紹了近年來其在云原生和容器技術(shù)層面的最新探索和實(shí)踐。vivo互聯(lián)網(wǎng)容器技術(shù)負(fù)責(zé)人潘良彪、互聯(lián)網(wǎng)容器研發(fā)高級工程師束迎亞等6位專家分別在現(xiàn)場做了主題演講。

　　擁抱云原生，助力算法降本提效

　　2018年起，vivo以容器作為基礎(chǔ)底座，打造了vivo的一站式云原生機(jī)器學(xué)習(xí)平臺(tái)。向上支撐了算法中臺(tái)，為算法工程師提供數(shù)據(jù)管理、模型訓(xùn)練、模型管理、模型部署等能力，為廣告、推薦和搜索等業(yè)務(wù)賦能，成功為算法實(shí)現(xiàn)了降本、提效，讓云原生和容器價(jià)值初露鋒芒。

　　基于機(jī)器學(xué)習(xí)平臺(tái)的試點(diǎn)成果，經(jīng)過算法場景的試點(diǎn)實(shí)踐和價(jià)值分析，vivo對內(nèi)部戰(zhàn)略做了升級。確定基于云原生理念去構(gòu)建行業(yè)一流的容器生態(tài)，實(shí)現(xiàn)規(guī)�；�的降本提效目標(biāo)。為了更好匹配戰(zhàn)略落地?fù)肀г圃�生，vivo還對內(nèi)部技術(shù)架構(gòu)重新規(guī)劃和升級，新增引入統(tǒng)一流量接入平臺(tái)、容器運(yùn)維管理平臺(tái)、統(tǒng)一名字服務(wù)、容器監(jiān)控等平臺(tái)和能力，支撐容器生態(tài)在公司內(nèi)部的全面建設(shè)和推廣。

　　對此，vivo互聯(lián)網(wǎng)容器技術(shù)負(fù)責(zé)人潘良彪也詳細(xì)介紹了vivo在容器集群高可用建設(shè)中的具體實(shí)踐，包括在容器集群高可用建設(shè)、容器集群自動(dòng)化運(yùn)維、容器平臺(tái)架構(gòu)升級、容器平臺(tái)能力增強(qiáng)、容器生態(tài)打通等層面的打磨和建設(shè)。目前，vivo容器產(chǎn)品能力矩陣逐漸趨于完善，并將圍繞全面容器化、擁抱云原生和在離線混部三個(gè)方向繼續(xù)發(fā)力。

　　vivo互聯(lián)網(wǎng)容器技術(shù)負(fù)責(zé)人潘良彪

　　不懼千錘百煉，Kubernetes集群升級推動(dòng)平臺(tái)能力躍升

　　vivo在云原生技術(shù)領(lǐng)域已經(jīng)深耕多年。從2017年開始接觸并積累容器技術(shù)，之后搭建與運(yùn)維Kubernetes集群，到如今提供成熟的容器化平臺(tái)解決方案，并在公司內(nèi)部推廣接入在線業(yè)務(wù)和離線訓(xùn)練任務(wù)。對于vivo而言，業(yè)務(wù)全面容器化可以說是公司級別戰(zhàn)略，在平臺(tái)能力陸續(xù)更新上線的背景下，容器化集群無損升級則成了重要課題。

　　針對這一課題，vivo互聯(lián)網(wǎng)容器研發(fā)高級工程師束迎亞在演講中分享了vivo在容器化集群無損升級過程中的一些實(shí)踐經(jīng)驗(yàn)。

　　在滿足API兼容性、控制邏輯一致性以及Kubelet穩(wěn)定性三個(gè)關(guān)注點(diǎn)的前提下，vivo最終選擇將1.10版本升級到1.17版本。升級后，容器化平臺(tái)充分利用高版本Kubernetes以及第三方控制器新特性，功能矩陣持續(xù)完善。對用戶，需求能高效得到建設(shè)且穩(wěn)定性更好，收益顯著；對運(yùn)維同事，統(tǒng)一的內(nèi)部集群Kubernetes版本使得運(yùn)維復(fù)雜度大大降低，工作效率顯著提高。接下來，vivo將圍繞效率建設(shè)、自動(dòng)化建設(shè)、標(biāo)準(zhǔn)化建設(shè)繼續(xù)進(jìn)行Kubernetes集群的升級管理。

　　vivo互聯(lián)網(wǎng)容器研發(fā)高級工程師束迎亞

　　保持監(jiān)控系統(tǒng)能力穩(wěn)步提升，為業(yè)務(wù)服務(wù)提供長效保障

　　vivo自2018年開啟了監(jiān)控系統(tǒng)的自研之路，期間不斷轉(zhuǎn)型、升級，系統(tǒng)服務(wù)能力漸趨成熟。從2022年開始，vivo建設(shè)了統(tǒng)一監(jiān)控平臺(tái)，將基礎(chǔ)監(jiān)控、應(yīng)用監(jiān)控和自定義監(jiān)控進(jìn)行統(tǒng)一，包含統(tǒng)一配置服務(wù)和統(tǒng)一檢測服務(wù)。從監(jiān)控的建設(shè)歷程來看，vivo一路覆蓋了IaaS、PaaS、DaaS、CaaS等平臺(tái)，其職能也從DevOps向AIOps邁進(jìn)。

　　vivo將基礎(chǔ)設(shè)施層、系統(tǒng)服務(wù)器層、系統(tǒng)服務(wù)層、業(yè)務(wù)應(yīng)用層、客戶體驗(yàn)層視為系統(tǒng)的監(jiān)控對象，通過不同的服務(wù)體系達(dá)成監(jiān)控全覆蓋，以滿足各類環(huán)境部署訴求。此外，系統(tǒng)還支持多種采集方式，SDK和API采集主要應(yīng)用在自定義監(jiān)控場景，Agent主要采集主機(jī)類指標(biāo)，由此建立起一套完備的監(jiān)控體系。

　　vivo互聯(lián)網(wǎng)監(jiān)控服務(wù)架構(gòu)師陳寧寧在演講中表示，隨著公司業(yè)務(wù)發(fā)展，業(yè)務(wù)模型、部署架構(gòu)越來越復(fù)雜，故障定位很困難，定位問題成本高，而監(jiān)控系統(tǒng)在面對復(fù)雜、異構(gòu)、調(diào)用關(guān)系冗長的系統(tǒng)時(shí)，就起到了重要作用。未來，vivo將在場景串聯(lián)、可觀測性、服務(wù)能力化等層面進(jìn)一步探索，深挖產(chǎn)品價(jià)值，并構(gòu)建其統(tǒng)一可觀測平臺(tái)，通過多維能力的提升，保障業(yè)務(wù)的可用性，提升業(yè)務(wù)服務(wù)質(zhì)量。

　　vivo互聯(lián)網(wǎng)監(jiān)控服務(wù)架構(gòu)師陳寧寧

　　加速數(shù)據(jù)庫服務(wù)建設(shè)，讓云原生時(shí)代數(shù)據(jù)運(yùn)維難題迎刃而解

　　2020年左右進(jìn)入后移動(dòng)互聯(lián)網(wǎng)時(shí)代，社會(huì)數(shù)字化程度進(jìn)一步加深，云原生的概念應(yīng)運(yùn)而生，微服務(wù)架構(gòu)，資源彈性，容器等云原生技術(shù)廣為傳播。數(shù)據(jù)庫的穩(wěn)定性方面，因?yàn)殚_源數(shù)據(jù)庫的高可用體系普遍成熟而大大緩解。數(shù)據(jù)庫規(guī)模方面，實(shí)例數(shù)量和品類都進(jìn)一步大增。數(shù)據(jù)庫安全方面，2021年8月我國正式出臺(tái)了個(gè)人信息保護(hù)法，個(gè)人隱私數(shù)據(jù)保護(hù)成為了數(shù)據(jù)庫運(yùn)維的時(shí)代重點(diǎn)。

　　在以上時(shí)代背景下，vivo互聯(lián)網(wǎng)云平臺(tái)架構(gòu)師鄧松認(rèn)為，數(shù)據(jù)庫運(yùn)維面臨著大規(guī)模數(shù)據(jù)庫實(shí)例難以有效運(yùn)維、數(shù)據(jù)庫難以做好資源彈性伸縮以及個(gè)人隱私數(shù)據(jù)安全難以保障這三個(gè)方面的挑戰(zhàn)。對此，vivo也給出了自身的應(yīng)對方案。

　　首先，vivo自研了數(shù)據(jù)庫運(yùn)維平臺(tái)DaaS來支撐數(shù)據(jù)庫運(yùn)維工作。在規(guī)模覆蓋、效率提升、故障告警處理等層面均衡發(fā)力，保障了數(shù)據(jù)的穩(wěn)定性，以工單自助，故障自愈為核心，實(shí)現(xiàn)了數(shù)據(jù)庫的高效運(yùn)維。

　　其次，在數(shù)據(jù)庫資源彈性管理層面，vivo重視資源成本優(yōu)化。圍繞資源分配、資源彈性伸縮、資源隔離分別給出了智能化解決方案，并通過套餐自動(dòng)優(yōu)化，進(jìn)一步降低了管理成本。最后，基于個(gè)人隱私數(shù)據(jù)，平臺(tái)也提供了對業(yè)務(wù)幾乎無影響的MySQL的透明加密方案，來減輕因?yàn)殡[私數(shù)據(jù)加密帶來的研發(fā)和運(yùn)維工作量。

　　vivo互聯(lián)網(wǎng)云平臺(tái)架構(gòu)師鄧松

　　步履不停，vivo持續(xù)探索消息平臺(tái)新可能

　　長期以來，vivo在超大規(guī)模消息中間件方面也是動(dòng)作頻頻。在線業(yè)務(wù)側(cè)，vivo選擇RocketMQ構(gòu)建消息平臺(tái)，意在依托其豐富的功能特性滿足業(yè)務(wù)間削峰、解耦、異步化的需求。大數(shù)據(jù)側(cè)，vivo選擇具備高并發(fā)、高可用、高吞吐的消息流組件Kafka構(gòu)建超大規(guī)模數(shù)據(jù)處理能力的數(shù)據(jù)接入服務(wù)。在大數(shù)據(jù)業(yè)務(wù)全鏈路中，Kafka作為統(tǒng)一數(shù)據(jù)接入服務(wù)和實(shí)時(shí)數(shù)倉服務(wù)，是大數(shù)據(jù)生態(tài)體系建設(shè)中不可或缺的重要組件之一。

　　基于此，vivo互聯(lián)網(wǎng)中間件架構(gòu)師羅明波從資源隔離、流量均衡、限流、集群治理四個(gè)維度分享了Kafka在vivo的最佳實(shí)踐。vivokafka消息中間件團(tuán)隊(duì)在三年時(shí)間內(nèi)，根據(jù)實(shí)際的業(yè)務(wù)場景和生產(chǎn)數(shù)據(jù)規(guī)模沉淀了較多的實(shí)踐經(jīng)驗(yàn)。未來，也將以項(xiàng)目啟動(dòng)、穩(wěn)定性建設(shè)、能力進(jìn)階、穩(wěn)定運(yùn)營四個(gè)階段為基準(zhǔn)，展開對Pulsar組件的長續(xù)規(guī)劃和建設(shè)。

　　vivo互聯(lián)網(wǎng)中間件架構(gòu)師羅明波

　　除此之外，vivo基于RocketMQ的消息中間件平臺(tái)建設(shè)也有著豐富的實(shí)踐經(jīng)驗(yàn)。在會(huì)上，vivo互聯(lián)網(wǎng)中間件架構(gòu)師劉潤云分享了保障消息平臺(tái)高可用落地的三個(gè)方面，包括集群部署架構(gòu)和平臺(tái)系統(tǒng)架構(gòu)、日常運(yùn)維操作平臺(tái)化以及構(gòu)建集群的監(jiān)控大盤和完善平臺(tái)的的監(jiān)控告警能力。以高可用建設(shè)落地為基礎(chǔ)，vivo通過建設(shè)AMQP消息網(wǎng)關(guān)的方式完成了在線業(yè)務(wù)超過1000個(gè)服務(wù)從RabbitMQ到RocketMQ的無縫遷移，實(shí)現(xiàn)了在線業(yè)務(wù)消息中間件組件的統(tǒng)一。

　　圍繞在線業(yè)務(wù)消息平臺(tái)的未來發(fā)展方向，vivo也有著十分明確的規(guī)劃。在新特性引入層面，vivo表示希望可以調(diào)研升級到RocketMQ5.0版本架構(gòu)，力求借該版本的存算分離架構(gòu)來更好的解決其當(dāng)前遇到的存儲(chǔ)瓶頸問題；通過Pop消費(fèi)實(shí)現(xiàn)更好的消費(fèi)負(fù)載均衡；并基于gRPC協(xié)議建設(shè)統(tǒng)一的消息網(wǎng)關(guān)能力。此外，在平臺(tái)能力提升層面，vivo則希望可以探索消息中間件容器化部署，提供消息中間件的快速彈性擴(kuò)縮容能力，更好的支持業(yè)務(wù)需求。

　　vivo互聯(lián)網(wǎng)中間件架構(gòu)師劉潤云

　　vivo將在消息中間件運(yùn)維領(lǐng)域繼續(xù)深入研究，期望可以建設(shè)擁有更高性能、更豐富功能特性的消息平臺(tái)，為各位開發(fā)者與合作伙伴提供更優(yōu)質(zhì)的服務(wù)！