1
2019年的春節期間,想必很多人都參加了幾十個億的“大項目”,成為幾百億次互動的一分子。
2014年起,移動手機版紅包就成為每年除夕春節聯歡晚會“全家桶”的重要“小食”之一。近幾年,隨著移動互聯網的極速發展,除夕夜的“互聯網味道”愈加濃烈。除了央視的春節聯歡晚會,就是“紅包大戰”響應最為熱烈。
2019年“春晚紅包”的旋風依舊如故,不同的是,春晚紅包戰場進來一位新的攪局者——百度。2019年1月17日下午,百度宣布與中央電視臺達成深度合作。由此,百度成為了2019年央視春節聯歡晚會的獨家互動合作伙伴。
百度的集好運卡和團圓紅包兩個主題從1月28日小年開始,一直持續到2月4日除夕。除百度APP以外,包括好看視頻、全民小視頻、百度貼吧、百度極速版、百度網盤、百度地圖、寶寶知道等多個百度產品矩陣,均可在其APP首頁上找到活動入口。
從雷鋒網的實際體驗中了解到,百度紅包貫穿了整個春晚、以及整個春節假期,甚至在元宵節又補發了一輪數額達兩億的紅包,彌補未搶上紅包的用戶的遺憾。近日,在主題為“揭秘春晚紅包背后的技術”的第七屆百度技術開放日上,百度高級副總裁、AI技術平臺體系(AIG)和基礎技術體系(TG)總負責人王海峰、百度副總裁侯震宇、百度多位架構師為在校學生、碼農揭秘了百度首次參與央視春晚紅包的背后故事。

雷鋒網了解到,每年春晚的紅包環節,涉及數億用戶參與互動。多場景互動,每秒鐘千萬級并發請求,相應地在極短的時間內帶來高需求量、大流量、數據風暴、高并發等巨大挑戰。每年雙十一都帶給服務器巨大的流量沖擊,侯震宇在開放日上稱,在春晚面前雙十一的流量可能還是小了很多。
搖紅包搖不出來、搖紅包搖出來一個空白頁,或者搖出來一個503出來是不行的,這是我們應對的幾個比較大的挑戰。對于廣大網民、廣大的老百姓而言,春節是一個非常祥和歡樂的場景,百度沒有給他們添堵。侯震宇笑稱。

根據百度官方披露的數據顯示,春節期間全球觀眾參與百度紅包互動次數達到208億次,1000多名工程師在百度的工作園區加班。百度春晚紅包項目涉及數十個產品和平臺,110+種場景,280+個預案,百余團隊參與,上千人協同,平均每天新增需求和任務千余個,自動化測試上萬次。
那么百度在春晚期間究竟用到了哪些技術,這些技術細節如何?

全系統全鏈路的優化設計:整體架構設計與優化、統一前端接入優化、極端并發的數據庫優化
百度架構師介紹,春晚紅包項目架構設計中采用的是以大化小、隔離、彈性、智能、動態、自愈,同時高效控制總成本的設計理念。在架構設計方面,將整體系統拆解成四大業務系統和大量基礎設施與服務。提出了多項具有針對性的優化方案。用戶可以通過搖一搖、信息流、視頻、語音、搜索等多樣化形式參與。

有統一前端接入優化、安全防攻擊、資源協調和動態調度能力,全鏈路壓測與攻防,以及內測、預案與劇本等關鍵技術和方案。雷鋒網了解到,BFE(百度統一前端)是百度統一的七層流量轉發平臺。在春晚紅包項目中,BFE是IDC流量的統一入口,提供流量調度、接入轉發、限流、應用層防火墻等能力。每日轉發請求數接近1萬億。基于BFE的快速開發能力,可以通過將部分業務邏輯前置到BFE,降低了整體的系統開銷。同時基于自研專用流式計算系統,提供實時報表能力,在億級別流量下可以實時反饋系統狀況。

此外,由于數據庫服務處于業務鏈路的最底層,具有相當重要的作業,對其穩定性、可靠性及并發能力提出了更高的要求和需求。 百度通過set化等關鍵技術方案,達到對業務透明且靈活擴展、故障最小化隔離能力;在流量管控上,基于流量畫像能力,結合安全檢測及攔截能力、多維度多層級流控能力,達到對整體服務的過載保護和安全防護能力,能有效保障整體服務的可用性、數據的安全性,達到數據庫千萬級QPS處理能力;最后結合近百項的劇本及自動監控預案措施,進一步加固了春晚數據庫服務保障能力。
技術積累:服務的混部調度、彈性的資源供給、穩定的CDN服務
百度春晚紅包業務覆蓋了搜索、推薦、語音、視頻等多個業務,不僅僅是簡單的“搖一搖”。當億級用戶同時啟動,并與百度云建連時,對服務器部署的要求較高。

技術方案上,重點通過百度云集群內部全混部,利用集群流轉支持,滿足活動的資源需求。百度服務混部調度則采用了BestEffort(BE)模式,彈性使用全百度云的集群資源。BE模式對原正常業務實現了無侵入使用,滿足了春晚服務提前進場與快速便捷退場的需求。圍繞潛在問題場景,設計了秒級彈性伸縮的方案,以防備意想不到的“狀況”出現。

百度官方稱,百度云的媒體云平臺涵蓋視頻/圖片類數據的采集、生產、上傳、存儲、處理、分發、播放的一體基礎設施云平臺。具備萬億文件千P數據的存儲、每天千萬級媒資處理、數百節點50T+帶寬的分發網絡和一站式智能視頻解決方案。
大規模工程能力保障:工程能力、自動化、自助化壓測平臺、全要素鏈路壓測與攻防
百度春晚藍軍負責為春晚系統制造各種麻煩,進行“戰場”的真實規模演練。首先是,全要素全鏈路壓測,用來模擬真實用戶行為,構造大于春晚極限并發的壓力洪峰,驗證從供電、網絡等基礎設施,到上層軟件架構的服務能力。

此前,雷鋒網報道中,百度安全對雷鋒網介紹稱,在此次活動中壓力頗大的風控環節,使用了業務安全風控平臺“昊天鏡”,基于5層復合機器學習和威脅情報大腦,發揮了對規模化深層黑產感知、人機識別、群控加代理集群攔截及黑產溯源的功能。
此外,百度此前和與運營商形成聯合預案,預防DNS攻擊,并通過獵鷹監控與運營商刷新DNS,防止 DNS 劫持,針對四層攻擊(SYN Flood、ACK Flood、UDP Flood)等,實行 GTC 流量調度、智云盾發現、運營商黑洞、清洗(UDP)策略等,過濾惡意用戶,攔截DDos攻擊、打擊隱私竊取等。
開放日上,侯震宇分享了一個關于百度貼吧的“題外話”。2005年,侯震宇負責百度貼吧。當年是湖南衛視的《超級女生》選秀節目最為火爆的一年。所有關于超女的各種粉絲、各種熱情在互聯網上,都體現在了百度貼吧上。百度貼吧也正是從05年打的那場仗之后,才正式成為中國當時乃至現在最火爆、最大的一個論壇。
侯震宇認為,百度處理高并發能力也是從那時積累起來的經驗。而談及百度服務的穩定性,“我們從成立的第一天開始,百度后端服務器的數量,就要超過了前臺的服務器,從第一天開始就這樣。所以,百度從一開始就是一家基于數據分析、基于云計算作為底層基礎的一家公司。很長一段時間里面,包括現在。大家在檢查自己的網絡是否正常的時候,都是打開百度的首頁。”侯震宇說。

2018年,百度公布第四季度財報時,也首次披露了百度云的具體營收數字。2018Q4財報顯示,百度云第四季度營收達11億元人民幣,比2017年第四季度營收的兩倍還要多,同比增長超過100%。躋身中國云計算市場前三名,至此,BAT云計算占據了國內公有云業務的前三名。
2018年12月18日,百度架構調整,同時也為加快AI與產業結合,承載AI to B和云業務的發展。百度將智能云事業部(ACU)升級為智能云事業群組(ACG)。百度高級副總裁、AI技術平臺體系(AIG)和基礎技術體系(TG)總負責人王海峰在開放日致辭中也提到了這次重要的技術架構調整。
“百度技術的平臺,不是從去年12月才開始。我們技術積累,從百度公司成立起就開始做。而從2010年初,我們就開始就打造AI技術平臺和AI方方面面的一個完整的學習。從2013年開始的百度就開始強調平臺化。”王海峰說,同時,我們也逐漸把這些技術開放出來,供社會各界來使用。12月份的調整以后,意味著我們更強化了平臺化以及技術平臺的能力。
2018年、2019年無論是互聯網廠商,還是ICT廠商,都將AI融入云計算,智能+云成為趨勢。2018年,全聯接大會上,華為輪值董事長徐直軍正式公布了華為的AI發展戰略:投資基礎研究、打造全棧方案、投資開放生態和人才培養、解決方案增強、內部效率提升。
其中,全棧方案囊括了,打造面向云、邊緣和端等全場景的、獨立的以及協同的、全棧解決方案。此次,大會也標志著“+智能”深度融入了華為云計算的業務發展中。國慶期間,騰訊時隔六年的架構再調整。新成立了“云與智慧產業事業群”CSIG。騰訊也落實了2017年“AI in All”的口號。2018年11月26日,阿里巴巴組織架構調整宣布,阿里云事業群升級為阿里云智能事業群。
在前不久,阿里云主題為“十年再出發”大會上,阿里云數十款重磅產品,也圍繞著“智能”展開。應用的數據化、智能化是阿里云的核心之一。由此可見,“智能”+云已成為行業共識。百度作為云計算市場的“后進者”,在短短幾年內,迅速“上位”。
一方面,來自于百度內部對云計算市場的重視。另一方面,云計算作為企業戰略“必爭之地”,在百度整體AI戰略的大框架下,百度對智能云的重視勢必將與日俱增。春晚紅包也是百度展示其云計算實力最佳的時機。全球信息技術研究和顧問公司Gartner預測,2019年全球公有云服務市場將從2018年的1758億美元,增長17.3%,達2062億美元。
Gartner預計,到2022年,90%購買公有云IaaS的企業機構將從集成IaaS和平臺即服務PaaS供應商購買,使用其提供的IaaS和PaaS功能。集成IaaS和PaaS產品的需求正在推動下一波云基礎設施的采用。而國內云計算市場,未來在5G、產業互聯網、物聯網、AI多種技術的驅動下,也將走向綜合能力的競爭。
無論是百度智能云、抑或阿里、華為、騰訊,挑戰與機遇并存。
雷峰網原創文章,未經授權禁止轉載。詳情見轉載須知。