亚洲爆乳中文字幕无码专区网站-黄页网站视频-暖暖 免费 高清 日本 在线-97亚洲熟妇自偷自拍另类图片-国产av久久久久精东av

EN

基于MapReduce的數據篩選抽取方法及系統

2024-01-12

基于MapReduce的數據篩選抽取方法及系統

本發明涉及一種基于MapReduce的數據篩選抽取方法及系統。其中,該方法包括:輸入篩選抽取信息,判斷篩選抽取信息是否合法,在MapReduce框架下,初始化并解析篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據輸入分隔符分隔數據記錄,并判斷待篩選數據是否包含篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;判斷待篩選數據是否包含抽取字段信息,若包含則對對應數據字段進行抽取并輸出至輸出路徑。本發明通過統一的輸入格式接口,高效的實現了用戶數據篩選需求,針對各種復雜多樣的數據篩選需求,避免開發人員頻繁的編寫不同的篩選抽取程序,提高數據處理任務效率,節省開發成本。

一種基于MapReduce的數據篩選抽取方法,其特征在于,包括以下步驟:篩選抽取信息輸入步驟,輸入篩選抽取信息,所述篩選抽取信息包括:數據的輸入路徑、篩選需求信息、數據的輸出路徑,所述篩選需求信息包括輸入分隔符、篩選條件信息、抽取字段信息和輸出分隔符;合法性判斷步驟,判斷所述篩選需求信息是否為空,若不為空,則判斷所述篩選需求信息是否為json格式,若為json格式,則判斷所述篩選需求信息是否符合預設規范,若符合,則繼續判斷所述輸入路徑是否存在,若存在,則判斷所述輸出路徑是否不存在,若不存在則說明所述篩選抽取信息是合法的;數據篩選步驟,在MapReduce框架下,初始化并解析所述篩選抽取信息,讀取待篩選數據中每一行數據記錄并進入map處理階段,根據所述輸入分隔符分隔所述數據記錄,并判斷所述待篩選數據是否包含所述篩選條件信息,若包含則進行數據篩選并獲得對應的數據字段,若不包含則不篩選;數據抽取步驟,判斷所述待篩選數據是否包含所述抽取字段信息,若包含則對對應所述數據字段進行抽取并輸出至所述輸出路徑。

基于MapReduce的數據篩選抽取方法及系統

申請號:CN202110563545.3
申請(專利權)人:北京明略軟件系統有限公司
公開日期(公開):2021.08.03
公開日期(授權):2024.01.12

信息填寫

*手機號碼:

請選協議

主站蜘蛛池模板: 东北老女人高潮大叫对白| 国产精品va无码免费| 337p日本欧洲亚洲高清鲁鲁| 日韩欧美高清dvd碟片| 日日碰狠狠躁久久躁综合小说| 日韩精品无码一区二区三区| 久久www免费人成人片| 亚洲国产综合精品一区| 中文字幕人妻被公上司喝醉506| 国产成人精彩在线视频| 自偷自拍亚洲综合精品| 五月天中文字幕mv在线| 国产一区二区无码蜜芽精品| 亚洲国产成人精品无码区在线| 国产免费无遮挡吸乳视频下载| 国产成人亚洲综合色就色| 中文精品一卡2卡3卡4卡| 国产精品高潮呻吟久久影视a片| 日韩免费无码视频一区二区三区| 国产三级精品三级在线专区1| 在线观看免费人成视频| 国产精品国产三级在线专区| 国产粗话肉麻对白在线播放| 中文乱码人妻系列一区二区| 欧美又大又硬又粗bbbbb| 国产乱人伦中文无无码视频试看 | 精品人妻无码一区二区三区性| 午夜自产精品一区二区三区| 国内精品久久久久影院蜜芽 | 丰满少妇高潮惨叫正在播放| 久久久久久免费毛片精品| 自拍偷自拍亚洲精品第1页| 在线看片人成视频免费无遮挡| 亚洲成av人片在线观看www| 人妻少妇乱子伦无码专区| 看成年全黄大色黄大片| 久久人人爽人人爽人人爽| 五月婷之久久综合丝袜美腿 | 99re66久久在热青草| 精品国产精品国产偷麻豆| 欧美亚洲日本日韩在线|