爬蟲接入規(guī)范

1、第3頁 共3頁爬蟲接入標準爬蟲接入標準 修訂歷史 日期 修改說明 部門 修改人 2022.06.12 大數(shù)據(jù)中心 李永波 數(shù)據(jù)接入需求 基于數(shù)據(jù)采集需求，初步判斷數(shù)據(jù)的接入是否從業(yè)務數(shù)據(jù)庫中獲取。 聯(lián)絡技術研發(fā)部同事，懇求數(shù)據(jù)接入的位置參數(shù)，通過配置化方式到達將數(shù)據(jù)從業(yè)務系統(tǒng)拉取、裝載到數(shù)據(jù)倉庫貼層的目的。 數(shù)據(jù)接入流程 1. 與爬蟲組和平臺組進展溝通，確定提供數(shù)據(jù)的方式數(shù)據(jù)庫、文件、接口等，讓需求發(fā)起人補充詳細的數(shù)據(jù)口徑，補充到需求要求里面，指定數(shù)據(jù)倉庫組或平臺組的一個人進展轉發(fā)。 2. 數(shù)據(jù)倉庫組或平臺組根據(jù)需求描繪。跟數(shù)據(jù)提供方可以是需求發(fā)起方、也可以是技術研發(fā)部門溝通，讓其補充模板里的

2、位置參數(shù)。 3. 數(shù)據(jù)提供方根據(jù)模板要求，提供位置配置參數(shù)。 4. 數(shù)據(jù)倉庫組或平臺組根據(jù)已經(jīng)得到的位置參數(shù)、需求數(shù)據(jù)指標等信息，設計接入模型和抽取參數(shù)。 5. 數(shù)據(jù)倉庫組或平臺組在接入數(shù)據(jù)后，整理數(shù)據(jù)格式，制定清洗轉換規(guī)那么，并補充裝載目的表信息。 ？ 提供數(shù)據(jù)方式： 數(shù)據(jù)庫、文件、接口 詳細的數(shù)據(jù)口徑：？ 位置配置參數(shù)平臺部補充 配置參數(shù) 參數(shù)取值 效勞器地址 必填 數(shù)據(jù)庫端口 必填 數(shù)據(jù)庫名稱 必填 用戶名 必填 密碼 必填 表名 必填，test1 必填，test2 取數(shù)口徑sql或者文字說明 選填，單表局部字段、多表關聯(lián)的請?zhí)顚憽?接入模型字段倉庫組補填 字段名 注釋 字段類型 表字段

3、 必填 必填 必填 必填 必填 必填 必填 必填 抽取參數(shù)倉庫組補填 配置參數(shù) 參數(shù)取值 抽數(shù)周期 每天 抽數(shù)時間 7:00 增量標識 1：全量，2：增量 數(shù)據(jù)日期格式 增量數(shù)據(jù)，需要提供數(shù)據(jù)日期格式，可選如下。 時間戳 Yyyymmdd Yyyy-mm-dd 清洗轉換規(guī)那么倉庫組補填 由倉庫組補充，不限于數(shù)據(jù)清洗過濾、字段編碼轉換、敏感信息轉換、接入閥值設置等等。 裝載目的表倉庫組補填 配置參數(shù) 參數(shù)取值 stg層表名稱 必填 stg層表描繪 必填 ods層表名稱 必填 ods層表描繪 必填 取數(shù)位置平臺組組補充，倉庫組驗收 密碼等驗證信息私下提供。 數(shù)據(jù)庫方式： 數(shù)據(jù)庫連接方式： 表名： 字段名 注釋 字段類型 必填 必填 必填