在數據驅動的時代,如何有效地利用大數據已經成為了各個行業的重要課題。而隨著云計算、人工智能等新興技術的蓬勃發展,數據技術也隨之不斷生長并呈現出新的趨勢與特點,企業該如何把握數據技術的新脈絡,從而洞察數據背后的價值?

2023 年 8 月 19 日,由騰訊云 TVP 主辦的第八屆 Techo TVP 開發者峰會——“數據驅動智能,智能賦能未來”圓滿落下帷幕,本屆峰會聚集了 6 位來自數據技術行業的領袖和專家,圍繞數據技術的最新進展、方向趨勢、創新應用進行了精彩分享及深入交流,為廣大開發者提供思想和實踐的啟示。

主持人開場

▲《明說三人行》創始人、騰訊云TVP盧東明開場致辭

本次峰會由騰訊云 TVP 盧東明老師擔任主持人,盧東明也是專注于大數據及 AI 領域的訪談欄目《明說三人行》的創始人兼主持人,被人稱為”明叔”。峰會伊始,明叔借用英國著名小說家狄更斯在《雙城記》中的經典語錄做了開場:這是中國數據技術最好的時代,也是最壞的時代。這是中國歷史上數據庫和大數據技術發展周期最繁榮的時刻,但眼花繚亂的技術體系和不斷更迭的產品,也為開發者和企業帶來了前所未有的挑戰。面對眾多的數據庫技術該如何選擇,又該如何組合來應對不同的目標,是企業和開發者們需要去思考和厘清的重要議題。

AI全民化下數據平臺的四大趨勢

▲《精益數據方法論》作者&創始人、騰訊云TVP史凱演講

《精益數據方法論》作者&創始人、騰訊云 TVP 史凱老師帶來了《AI 全民化下數據平臺的四大趨勢》的主題分享。

史老師指出我們正在由“數據全民化”快速邁入“AI 全民化”時代,在數據全民化的時代,所有人都能夠被數據所賦能,通過對數據的運用和分析獲得實時的反饋與洞見。而隨著 ChatGPT 的出現,AI 全民化的時代正在迅速到來。在未來,人工智能將普惠每一個人,同時也將給企業數據平臺帶來巨大挑戰,即無限增長的數據應用需求,與有限割裂的數據生產力之間的矛盾。但大模型的出現,給予了數據人員新的想象空間,大家都寄希望于 AI 技術能夠幫助數據生產、數據分析,并加速數據源到價值的產生。

為此,史老師提出了數據平臺未來發展的四大趨勢:

●數據平臺價值顯性化,隨著企業對于數據的投資越來越大,更多的企業希望數據能夠直接為業務產生價值,這對于數據平臺也帶來了新的挑戰,那就是如何將數據平臺的價值直接關聯到業務價值;

●數據平臺架構現代化,數據平臺將朝著融合分析、易用、可信、去中心化的方向發展,以 Data Fabric/Data Mesh 等為代表的新數據架構實踐正在逐漸興起;

●AIGC 賦能的數據價值鏈,數據平臺將融合 AIGC 的新技術消除企業數據生產價值鏈里的浪費;

●AIGC 能力平臺化、服務化,AIGC 將成為企業隨用隨調的能力,一般的企業不需要搭建自己的大模型,而應關注如何融合大模型的能力深化數據的價值挖掘。

分享最后,史凱老師為大家總結了一句話:“數字化轉型源于問題,始于業務,成于數據,落于場景,量于價值,終于組織。”無論數據平臺如何演進,如何從業務中成長,用數據灌溉,在場景中落地,并最終呈現業務價值,推動企業的整體數字化才是企業關注的核心命題。

兼具成本和易用—騰訊云ES云原生Serverless演進之路

▲ 騰訊云ES研發總監高攀演講

從技術暢想,回歸企業數據治理的現實情況,在粗放型增長向集約型增長轉變的今天,如何降本增效,提高數據效能,是企業和開發者關注的重心。騰訊云 ES 研發總監高攀老師分享了《兼具成本和易用——騰訊云 ES 云原生 Serverless 演進之路》。

高攀老師介紹道,騰訊云 ES是在騰訊云云原生一站式的全托管的 ELKB 服務,基于開源 ES,圍繞成本、性能、穩定性、擴展性等方面進行自研內核改造,實現成本下降 50～80%,查詢性能提升 3～10 倍,寫入性能提升 2 倍,SLA 到 99.99%,擴展性提升 10 倍以上。

騰訊云大數據 ES 的服務場景非常豐富,日志是其中最常見、規模最大的場景,由于日志價值密度相對較低,但規模通常較大,因此企業在日志場景下的關注重點在于成本控制,因此騰訊云大數據 ES 圍繞成本進行了大量優化改進,通過鏈路集成、索引自治、存算分離等技術大幅降低接入成本、運維成本、資源成本。

成本問題迎刃而解,高攀老師還希望在易用性上持續提升,為用戶提供一項一站式的大數據分析服務。雖然各廠商基于最底層的 ES 內核,提供了 PaaS 化的 ES 服務,但用戶在集群創建、數據鏈路配置、索引生命周期管理等運維工作上仍需耗費精力。因此他和團隊在騰訊云 PaaS 版 ES 服務的基礎上加以改進,推出了不需要關心集群和節點,免運維的 Serverless ES 服務。在成本上,也進一步做了優化, Serverless 區別于原來 PaaS 服務按節點的計費形式,將依據寫入量和查詢量收費,真正做到按需收費。在穩定性上,采用集群索引后臺統一運維調優的方式,避免因使用不當造成的故障,同時也 100% 兼容開源 ES API,100% 兼容 ELK 生態。

構建企業級實時數倉:基于Apache Doris打造穩定可靠的數據倉庫TCHouse-D

▲ 騰訊云Doris研發技術負責人李德演講

Apache Doris 是 ASF 知名的開源數倉項目,并以其簡單易用靈活的優勢收獲了不少開發者的青睞。騰訊云 Doris 研發技術負責人、Apache Doris 社區 PMC 李德老師,為大家帶來了題為《構建企業級實時數倉:基于 Apache Doris 打造穩定可靠的數據倉庫 TCHouse-D》的分享。

分享伊始,李德老師先向大家簡要介紹了騰訊云大數據 TCHouse-D,TCHouse-D是騰訊云基于 Apache Doris 打造的實時數據倉庫服務,100% 兼容 Apache Doris,兼容 MySQL 協議,支持并發、多維分析、交互式分析、實時數倉,湖倉聯邦分析等多種業務場景,簡單易用,彈性伸縮,安全可靠,生態兼容、功能全面。隨即,李德老師分享了他對企業級實時可更新數倉的理解:

●實時寫入和增刪改查,數據可以實時和批量寫入、增刪改查實時可見,可以對接 Flink、Kafka 等實時系統;

●實時同步數據變化,支持整庫同步和增量同步,流式寫入背壓自動調速,表結構變更實時無阻塞自動同步;

●企業級穩定可靠,認證、權限和審計功能完備,監控、告警、巡檢完善,全托管服務,讀寫高可用。

TCHouse-D 正是基于上述標準嚴格設計的,在保障實時寫入和增刪改查上,借鑒了Google Mesa 的預聚合模型,存儲引擎通過類似 LSM 的數據結構提供快速的數據導入支持。在實時同步上,MySQL Binlog 能夠實時同步,整庫增量,segment 變更都能實現自動同步,另外有兩階段提交,能夠實現 Exactly Once 語義。作為云上產品,TCHouse-D 在穩定性上的投入毋庸置疑,支持運維和用戶兩級告警體系、定時巡檢、實時寫入背壓自動限流,還有 Tablet 和 Compaction 健康檢查。除此之外,基于角色的權限體系、白名單、元數據雙備份等機制設計也為服務的安全可靠保駕護航。

伴隨著大家的期待,李德老師分享了 TCHouse-D 未來的規劃和展望:冷熱分層、計算節點、跨集群同步復制、存算分離等功能正在研發中,有望在今年 Q4 或明年初與大家見面。

DataOps探索:Apache十大DataOps頂級項目選型分析

▲ Apache Software Foundation Member、騰訊云TVP郭煒演講

在大數據領域,企業往往關注數據提取和高效挖掘的結果,但對數據從產生、存儲、整合、流轉、再產生的閉環流程的探索卻淺嘗輒止。Apache Software Foundation Member、騰訊云 TVP 郭煒老師進行了《DataOps 探索:Apache 十大 DataOps 頂級項目選型分析》的主題分享。

為了幫助大家更直觀地了解 DataOps,郭老師將其精煉地總結為:把數據存到庫里,構建儀表盤,整合到數據湖建立數據模型,然后做挖掘,最后再到預測結果并重新產生新數據的這一整個閉環流程。Gartner 曾經在 2019 年把 IT 技術分為了 IT 工匠、IT 工業化、IT 數字化 3 個時代。而郭老師提出,隨著 AI 技術的突飛猛進和大模型的出現,我們正面臨第四個時代 —— IT 智能化時代,DataOps 也將隨之呈現從 BI 到 AI 的發展趨勢。隨后,郭老師對Apache SeaTunnel、 Apache Airflow、Apache DolphinScheduler、Apache Nifi 等 ASF 十個比較流行的 DataOps 開源項目進行了詳細的介紹與選型分析,以進一步幫助企業和開發者量體裁衣,找到適合項目從而順利打造出公司自己的 DataOps 平臺。

而說到大家都感興趣的大模型與 DataOps 的碰撞以及未來的趨勢,郭老師表示,企業通過開源大模型重新訓練自己的模型是大勢所趨,并用一段《用一杯星巴克的錢,訓練自己私有化的 ChatGPT》的案例視頻,生動地展示訓練大模型的可行性。而 DataOps 的最終目標就是讓數據生成更加快速,大模型和 DataOps 的結合更是每個公司、每位個體都應該大膽去嘗試的事情。

最后,郭老師帶領大家共同展望,Ops 的本質是提高人和人的效率,提高業務和技術的效率,提高設計和研發的效率,提高不同水平人之間的效率,相信在 DataOps 領域,也將出現“類 ChatGPT”應用,讓大家通過自然語言的方式了解數據。

騰訊云智能存儲在AIGC場景的架構與落地實踐

▲騰訊云智能存儲研發負責人王淼演講

當下,AIGC 作為大模型一個重要的應用場景,受到眾多行業追捧,有機構預測 AIGC 場景未來會在 5-10 年成為萬億市場。來自騰訊云的智能存儲研發負責人 王淼老師也向我們分享了《騰訊云智能存儲在 AIGC 場景的架構與落地實踐》,詳細介紹了騰訊云智能儲存的技術架構與主要能力,以及在 AIGC 場景下能夠幫助企業解決的針對性難題。

王淼老師首先詳細介紹了智能存儲系統在接入層、邏輯處理層、數據處理層、存儲層,以及底層基礎服務的技術架構。隨后王淼老師總結了 AIGC 場景的核心要素,即內容生成、內容安全、內容智理,圍繞這三個核心要素,結合 AIGC 場景涉及到的所有流程,從數據采集、數據預處理、特征工程、模型訓練,到推理應用,內容審核、內容智理,騰訊云提供了端到端的智能存儲解決方案。

在騰訊云智能存儲解決方案中,COS 作為數據湖的統一存儲底座,在對帶寬訴求強烈的數據訓練階段,提供了數據加速器 GooseFS 和 GooseFSx,通過分布式的換成加速服務,豐富的協議支持,可以極大地提升數據讀寫效率和接入的便利。在內容安全上,騰訊云將基于數據萬象豐富的內容審核能力,結合 AIGC 的特殊場景,提供了從輸入到輸出,通過定制化模型提供一體化的存儲內容安全方案,另外面對版權保護問題,王淼老師也詳細介紹了數據萬象數字水印功能的技術原理:通過離散傅里葉變換算法,將圖片、視頻幀進行頻域/時域的轉換,在轉換過程中嵌入數字水印信息,以達到隱藏水印,保護數字產品的版權的效果。此外,AIGC 的產物,必然有分發的場景,騰訊云智能存儲還提供了極智壓縮服務,可以在不改變圖片格式的前提下,對 JPG、PNG 圖片提供 50% 以上的體積壓縮,極大程度節省分發流量。

最后,王淼老師分享了一個專注文生圖領域的客戶案例,騰訊云智能存儲團隊通過協助客戶在訓練節點部署 GooseFS,構建了 TB/s 的吞吐能力,大幅提升了訓練效率,提高了客戶的模型迭代效率。隨著業務上線,面對海量請求和 AIGC 產物,客戶通過數據萬象的 AIGC 自動審核功能,每日審核文本&圖片數千萬次,完美解決了內容安全問題。在分發圖片的時候,通過 AVIF 自適應、極智壓縮搭配結合,針對不同平臺智能分發體積最小的圖片,降低了 50% 的圖片下載帶寬,節省了運營成本,提高了訪問速度。

圓桌對話環節

▲圓桌對話環節

在干貨滿滿的大咖分享環節結束之后,接踵而至的是本屆峰會特別策劃的圓桌環節。與以往不同的是,本次圓桌討論在明叔的主持下以辯論的形式開展,史凱、高攀、李德、郭煒、王淼五位嘉賓圍繞議題各抒己見,輸出自己的不同觀點與獨到見解,幾乎在每個問題上都出現了正反兩方觀點的碰撞,一時間精彩紛呈,觀眾們大呼過癮的同時也學習到了大咖們思辨的精神。

AI全民化的時代到來,大數據是否會更繁榮?

史凱、高攀及王淼三位老師持正方立場,他們均認為AI 會讓未來各行各業變得更加繁榮,數據量更會急劇增加,未來市場對大數據的算力、效率等方面都會有更高的要求,這也將進一步推動技術更新,促進大數據往更高的層次發展。

而李德老師則持相反意見,他在提問“操作系統在 20 年前火還是現在更火”后,表達了自己的觀點,他認為當 AI 真正迭代到極度成熟時,數據庫和大數據會藏在應用的背后,大家對數據庫或大數據的需求量可能會降低。郭煒老師也贊成李德老師的觀點,他相信在未來,大數據會成為基礎設施,真正所有的業務邏輯將由 AI 大模型來做。

主持人明叔也分享了自己的觀點,在他看來,我們對數據的理解和探索還不夠深入,隨著 AI 的發展,數據需求也在發生變化,在未來很可能會出現新的數據類型或者數據特征,在那個時候的數據工程師可能要解決全新的挑戰。從測試(Test)到大文本(Text),再到圖片(Image),再到視頻(Video)是一個演進,視頻(Video)后邊是什么,想象空間非常大。

中國數據技術未來發展的成功路徑是“大而全”還是“小而美”?

王淼老師傾向于小而美,他認為一些垂直場景的公司具備足夠深入的專業領域知識,在和大數據技術做結合后,可以快速響應一些垂直領域的需求。同時他也建議小而美的公司能夠站在巨人的肩膀上,底層技術上可以考慮使用開源技術或云服務,聚焦精力和資源快速把自己的產品推出來。高攀老師則認為該議題屬于分工問題,小而美專注自身領域深入挖掘,做好自身產品,再和大公司合作;大而全的云廠商則應做好整合,為客戶提供整套的解決方案。

郭煒、史凱、李德老師認為大而全更好。郭煒老師提出,甲方企業的需求是多元化的,20% 的企業選擇用小而美的單一工具自己組裝,而 80% 的公司可能更依賴一站式的解決方案。史凱老師表示,在如今的激烈的市場環境下,不做大而全的公司可能會面臨生存問題,甲乙方之間對于技術和業務目標的認知存在信息差,作為數據庫產品公司,需宣稱自己大而全,強調自身產品的優勢,才能提升行業認知度。李德老師持相似觀點,在他看來小而美是理想愿景,大而全是現實路徑。如果從商業成功的角度來看,產品的定位和營銷很重要,很多小而美公司在定位和宣傳上不如大而全的公司可以做到家喻戶曉。

明叔則表示,小而美的公司是創新的根源,他期望看到小而美的公司成功,但大而全的公司在整合資源與成本控制上更有優勢,綜合目前的商業環境來看,大而全的公司更可能成功。

在多兵器時代,幫助開發者提升戰斗力的“兵器”是什么?

高攀老師從兵器角度分享了自己的建議,技術產品雖然紛繁復雜,但開發者只要根據自身場景需要,在每個領域選擇一個備受認可的產品深入研究即可,比如離線場景的 Spark、TP 場景的 MySQL、PG,AP 場景的 ES、Doris 都可以,剩下的產品可以舉一反三。

史凱老師認為越是在技術滿天飛的時代,越要守住核心能力,因此史老師提出了作為開發者需要具備的三個重要的能力:學習能力、邏輯能力、溝通能力。學習能力保障更快成長,邏輯能力幫助更好地解決問題,溝通能力能打造非常好的氛圍、環境,讓自己走得更遠更穩更快。

李德老師也分享了三項能力:一是利用工具的能力,比如通過 ChatGPT、成熟“輪子”等工具或組件完成業務需求;二是參與開源,利用開源代碼去學習研究可以更快進步;最后是總結能力,總結是逼迫自己思考的過程,善于總結可以提升自己的思考維度。

參與開源也是郭煒老師對開發者的建議之一,除此之外,郭煒老師提醒開發者要重視大模型,尤其私有化的模型在輔助編程上的表現會超出預期。其次,是否深入理解對業務流程與需求往往是區分優秀的程序員和一般程序員的標準。進階優秀開發者,一定不能光會寫代碼,而要理解業務,參與業務流程,從而更好地掌控業務需求。

王淼老師著重強調了開發者需要有經營意識,在架構設計、技術選型的時候,用經營的意識去權衡投入產出比,去決策事情該不該做,該投入多少資源去做,這是開發者更進一步成為綜合性人才非常需要具備的素質。

最后,主持人明叔為參會者們總結了三個字的建議:異、理、說。“異”既是差異的異,也是變異的異,在同質化嚴重的當下,開發者一定要求異,觀察市場變化,抓住機遇,才能在下一個輪回里搶占先機;“理”是理解力,理解一個系統,理解一個業務會愈加重要;而“說”代表說服力,真正成功的開發者最后往往在帶領團隊,在此路徑上說服力必不可少。

結語

▲ 峰會現場

觀大咖共話,曉數字未來,至此,本屆峰會也正式落下帷幕。峰會中 6 位專家就數據技術的最新進展和未來趨勢敞開思想、深入交流,不僅帶來了數據技術的趨勢展望,也分享了可落地的實踐經驗。

未來,騰訊云 TVP 將始終與時俱進,秉持“用科技影響世界”的初心,持續為開發者打造“最有料、有趣、且有用”的開發者峰會,讓我們共同期待下一次 Techo TVP 開發者峰會的到來。