互聯(lián)網(wǎng)數(shù)據(jù)采集系統(tǒng)
產(chǎn)品簡(jiǎn)介:適用于各級(jí)政府機(jī)關(guān)和企事業(yè)單位中存在PC端網(wǎng)頁、微信公眾號(hào)、小程序和手機(jī)瀏覽器等內(nèi)容采集的需求,提供數(shù)據(jù)爬蟲的自動(dòng)化配置,解決數(shù)據(jù)采集困難的問題。
互聯(lián)網(wǎng)數(shù)據(jù)采集平臺(tái)基于分布式架構(gòu)實(shí)現(xiàn),支持多實(shí)例分布式部署,包含了數(shù)據(jù)采集,數(shù)據(jù)處理(過濾、去重)、數(shù)據(jù)分發(fā)整套流程,采用多進(jìn)程的方式對(duì)任務(wù)進(jìn)行處理。
產(chǎn)品定位:實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)多渠道數(shù)據(jù)采集、實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)無侵入式采集、實(shí)現(xiàn)數(shù)據(jù)采集階段的過濾、去重和清洗。
核心功能:互聯(lián)網(wǎng)采集模板配置、互聯(lián)網(wǎng)采集任務(wù)配置、互聯(lián)網(wǎng)采集任務(wù)監(jiān)控
典型場(chǎng)景:以多彩云媒體業(yè)務(wù)場(chǎng)景為例:基于分布式數(shù)據(jù)采集架構(gòu)采集和匯聚各級(jí)融媒體中心數(shù)據(jù),構(gòu)建政務(wù)領(lǐng)域互聯(lián)網(wǎng)數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù),為媒體數(shù)據(jù)融合分析以及各類宣傳文化云業(yè)務(wù)應(yīng)用提供數(shù)據(jù)支撐。
落地案例:多彩貴州宣傳文化云