【FFA 2026】Real-Time Analysis 2 Flink CDC 在騰訊云WeData 數(shù)據(jù)集成平臺的應(yīng)用與實(shí)踐

演講人范佳騰訊研發(fā)工程師演講人騰訊云WeData介紹騰訊云WeData數(shù)據(jù)開發(fā)治理平臺云端一站式數(shù)據(jù)開發(fā)治理平臺異構(gòu)數(shù)據(jù)源的深度適配兼容各種數(shù)據(jù)源變動的復(fù)雜場景源端不停變動的情況下，能夠正常提供服務(wù)復(fù)雜的網(wǎng)絡(luò)環(huán)境環(huán)境下，提供開箱即用的數(shù)據(jù)集成服務(wù)多種數(shù)據(jù)同步方式運(yùn)維監(jiān)控WeData實(shí)時(shí)集成模塊架構(gòu)和原理基本架構(gòu)和原理接入層接入層版本管理任務(wù)開發(fā)任務(wù)運(yùn)維版本管理任務(wù)開發(fā)管控層關(guān)鍵事件展示任務(wù)渲染數(shù)據(jù)源管理告警監(jiān)控關(guān)鍵事件展示任務(wù)渲染數(shù)據(jù)源管理資源層OceanusServerless集群基本架構(gòu)和原理任務(wù)配置信息任務(wù)配置信息FlinkSQLFlink任務(wù)Oceanus集群整庫同步整庫同步分庫分表數(shù)據(jù)湖數(shù)據(jù)庫消息隊(duì)列數(shù)據(jù)湖數(shù)據(jù)庫消息隊(duì)列增量加表關(guān)鍵事件上報(bào)事件重放數(shù)據(jù)轉(zhuǎn)換增量/全量同步evolutionschema資源動態(tài)檢查優(yōu)化實(shí)時(shí)數(shù)據(jù)集成任務(wù)一般具有如下特性?實(shí)時(shí)數(shù)據(jù)集成任務(wù)一般具有如下特性?全量階段數(shù)據(jù)的多，需要快速同步完成消耗資源大?增量階段消耗資源小幫助節(jié)約成本Savepoint+RestoreReportOceanus資源組Query&ConsumeMetricsSystemEventBusResourceManagerAutoScale管控層增量加表全量同步和增量資源隔離痛點(diǎn)：痛點(diǎn)：一個(gè)常見的操作。量同步的性能和延遲ReportStatusNewSnapshotSplitNewSnapshotSplitNewSnapshotSplitNewSnapshotSplitSnapshotSplitSnapshotSplitSnapshotSplitSnapshotSplit只下發(fā)給非增量ReaderStreamSplit補(bǔ)充問題上下文獲取任務(wù)補(bǔ)充問題上下文獲取任務(wù)ID獲取任務(wù)配置獲取任務(wù)日志基于知識庫檢索歷史問題檢索問題結(jié)論生成任務(wù)怎么失敗了？問題類型判斷建議：SkillSkill流程設(shè)計(jì)Skill流程設(shè)計(jì)問題識別與分類匹配專家SkillSkill內(nèi)部維護(hù)排查流程知識庫搭建歷史工單案例知識結(jié)構(gòu)化/標(biāo)簽化DataBuddy+實(shí)時(shí)集成DataBuddyDataBuddy實(shí)時(shí)集成端到端數(shù)據(jù)分析端到端數(shù)據(jù)分析自動化的數(shù)據(jù)治理AI實(shí)現(xiàn)的數(shù)據(jù)工程部分功能后續(xù)推出智能問數(shù)報(bào)告生成AI診斷全鏈路交付指標(biāo)分析可視化看板搭建代碼生成任務(wù)分析任務(wù)開發(fā)性能分析穩(wěn)定性分析鏈路分析多模態(tài)數(shù)據(jù)Reader多模態(tài)數(shù)據(jù)FilePartIndexFileContentMetadata下發(fā)分片給Reader實(shí)時(shí)監(jiān)控文件變更確保所有文件快速同步到下游MM流式傳輸文件，解流式傳輸文件，解決大文件傳輸內(nèi)存消耗和性能問題TC-Lake多模態(tài)數(shù)據(jù)湖WeData實(shí)時(shí)集成場景的產(chǎn)品化案例分享利用利用WeData實(shí)時(shí)集成提供的