亚洲爆乳中文字幕无码专区网站-黄页网站视频-暖暖 免费 高清 日本 在线-97亚洲熟妇自偷自拍另类图片-国产av久久久久精东av

EN

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

2024-01-12

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

本發(fā)明涉及一種基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進(jìn)入map處理階段,根據(jù)輸入分隔符分隔數(shù)據(jù)記錄,并判斷待篩選數(shù)據(jù)是否包含篩選條件信息,若包含則進(jìn)行數(shù)據(jù)篩選并獲得對(duì)應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;判斷待篩選數(shù)據(jù)是否包含抽取字段信息,若包含則對(duì)對(duì)應(yīng)數(shù)據(jù)字段進(jìn)行抽取并輸出至輸出路徑。本發(fā)明通過(guò)統(tǒng)一的輸入格式接口,高效的實(shí)現(xiàn)了用戶數(shù)據(jù)篩選需求,針對(duì)各種復(fù)雜多樣的數(shù)據(jù)篩選需求,避免開發(fā)人員頻繁的編寫不同的篩選抽取程序,提高數(shù)據(jù)處理任務(wù)效率,節(jié)省開發(fā)成本。

一種基于MapReduce的數(shù)據(jù)篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數(shù)據(jù)的輸入路徑、篩選需求信息、數(shù)據(jù)的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預(yù)設(shè)規(guī)范,若符合,則繼續(xù)判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說(shuō)明所述篩選抽取信息是合法的;數(shù)據(jù)篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數(shù)據(jù)中每一行數(shù)據(jù)記錄并進(jìn)入map處理階段,根據(jù)所述輸入分隔符分隔所述數(shù)據(jù)記錄,并判斷所述待篩選數(shù)據(jù)是否包含所述篩選條件信息,若包含則進(jìn)行數(shù)據(jù)篩選并獲得對(duì)應(yīng)的數(shù)據(jù)字段,若不包含則不篩選;數(shù)據(jù)抽取步驟,判斷所述待篩選數(shù)據(jù)是否包含所述抽取字段信息,若包含則對(duì)對(duì)應(yīng)所述數(shù)據(jù)字段進(jìn)行抽取并輸出至所述輸出路徑。

基于MapReduce的數(shù)據(jù)篩選抽取方法及系統(tǒng)

申請(qǐng)?zhí)枺篊N202110563545.3
申請(qǐng)(專利權(quán))人:北京明略軟件系統(tǒng)有限公司
公開日期(公開):2021.08.03
公開日期(授權(quán)):2024.01.12

信息填寫

*手機(jī)號(hào)碼:

請(qǐng)選協(xié)議

主站蜘蛛池模板: 国产成人精品日本亚洲77美色| 欧美亚洲日本国产综合在线美利坚 | 久久视频这里只精品99| 国产精品爽爽ⅴa在线观看| 国产精品a国产精品a手机版| 国产午夜毛片v一区二区三区 | 特黄特色大片免费播放器| 无码av天天av天天爽| 国产成人综合色视频精品| 色综合天天综合天天更新| 欧美日韩在大午夜爽爽影院| 麻豆文化传媒精品一区二区| 亚洲成αv人片在线观看| 久久97久久97精品免视看| 精品国产av色欲果冻传媒| 亚洲精品久久久久国产剧8| 久久人妻少妇嫩草av| 免费一区二区三区成人免费视频| 亚洲人成网网址在线看 | 久久午夜夜伦鲁鲁片免费无码| 欧美黑人大战白嫩在线| 国产乱子伦农村叉叉叉| 亚洲高清无码在线观看| 久久国产福利国产秒拍飘飘网| 国产免费一区二区三区在线观看| 少妇一夜三次一区二区| 精品无人区一区二区三区在线| 性夜影院爽黄e爽| 亚洲www啪成人一区二区麻豆| 亚洲熟妇无码八v在线播放| 国产精品186在线观看在线播放| 亚洲精品动漫免费二区| 亚洲人成人无码www| 无码av波多野结衣| 亚洲精品天堂无码中文字幕| 日本高清中文字幕免费一区二区| 风流少妇又紧又爽又丰满| 少妇人妻中文字幕污| 无码精品a∨在线观看十八禁| 久久精品视频在线看99| 精品国产av色欲果冻传媒|