您的位置：
網(wǎng)站首頁 > 產(chǎn)品與服務(wù) > 產(chǎn)品展示
互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)
來源：中電科大數(shù)據(jù)院
發(fā)布時間：2023年05月06日
瀏覽次數(shù)：
產(chǎn)品簡介：適用于各級政府機關(guān)和企事業(yè)單位中存在PC端網(wǎng)頁、微信公眾號、小程序和手機瀏覽器等內(nèi)容采集的需求，提供數(shù)據(jù)爬蟲的自動化配置，解決數(shù)據(jù)采集困難的問題。
互聯(lián)網(wǎng)數(shù)據(jù)采集平臺基于分布式架構(gòu)實現(xiàn)，支持多實例分布式部署，包含了數(shù)據(jù)采集，數(shù)據(jù)處理（過濾、去重）、數(shù)據(jù)分發(fā)整套流程，采用多進程的方式對任務(wù)進行處理。
產(chǎn)品定位：實現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)多渠道數(shù)據(jù)采集、實現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)無侵入式采集、實現(xiàn)數(shù)據(jù)采集階段的過濾、去重和清洗。
核心功能：互聯(lián)網(wǎng)采集模板配置、互聯(lián)網(wǎng)采集任務(wù)配置、互聯(lián)網(wǎng)采集任務(wù)監(jiān)控
典型場景：以多彩云媒體業(yè)務(wù)場景為例：基于分布式數(shù)據(jù)采集架構(gòu)采集和匯聚各級融媒體中心數(shù)據(jù)，構(gòu)建政務(wù)領(lǐng)域互聯(lián)網(wǎng)數(shù)據(jù)湖和數(shù)據(jù)倉庫，為媒體數(shù)據(jù)融合分析以及各類宣傳文化云業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。
落地案例：多彩貴州宣傳文化云
