104 次代碼提交 6c3587feca ... 76fcfb9617

作者 SHA1 備註 提交日期
  晏永年 76fcfb9617 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  晏永年 ec488ddfaf Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  晏永年 d04ee73abd Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  晏永年 be84ff5859 土地等6个维度的去重字段修改 4 年之前
  晏永年 cd1bcbbedf 行政处罚修改去重字段 4 年之前
  许家凯 05df9739e0 fix: kafka数据合并flag 4 年之前
  xufei fe0c294716 增量加入flag 4 年之前
  许家凯 5deba8a8ac feat: 添加企业银行帐户增量任务 4 年之前
  许家凯 95ef0cffe5 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 8822161a7e feat: 添加企业银行帐户kafka合并任务 4 年之前
  许家凯 9a2b2d0acb Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 d6404772e7 fix: 融资历史去重字段 4 年之前
  许家凯 7bcfe277a5 feat: 减资记录 4 年之前
  许家凯 014951650f feat: 添加短信提醒 4 年之前
  许家凯 cd276a6f6b Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 885676871a feat: 添加司法协助(股权冻结)job 4 年之前
  许家凯 5213f30511 feat: kafka加入执行人 4 年之前
  许家凯 2d0145a492 feat: 加入查老赖job 4 年之前
  xufei 1d12f105b7 司法案件处理 4 年之前
  lyb 2cb8d2f4de 被执行人和终本增量数据配置, 个人 4 年之前
  许家凯 88ea241e3f feat: 加入失信人个人处理 4 年之前
  晏永年 a841d6755f Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  晏永年 fcc12d3af5 fix 4 年之前
  晏永年 ef7ff075b4 fix 4 年之前
  晏永年 0293caec14 fix 4 年之前
  晏永年 f198101160 fix:身份证补全从step03挪到step01 4 年之前
  晏永年 c6ad52268a feat:step03中添加自然人身份证补全步骤 4 年之前
  许家凯 a9a47e2203 feat: 加入失信人kafka数据合并 4 年之前
  许家凯 ce877d6d9d fix: 跨业务时间下的并发提交job问题 4 年之前
  许家凯 e8ff5c04ab Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 b7f6dc9120 feat: 添加失信人个人job 4 年之前
  许家凯 97f614fe4f Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 135a089bec feat: 企业动态调整 4 年之前
  许家凯 3845265244 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 d450df56c5 feat: 土地抵押和土地转让添加摘要节点 4 年之前
  许家凯 6b0db6239d feat: 企业动态上线 4 年之前
  xufei 1fc8424125 法院公告 4 年之前
  许家凯 fce81490cd Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 840f9a0de3 feat: 指定job结束后发送状态通知 4 年之前
  许家凯 5ee33c3a9b feat: 添加主要成员增量job 4 年之前
  许家凯 fb3159541b feat: 添加股东job 4 年之前
  许家凯 175533cf5c Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 777490fdc9 feat: 添加年报job 4 年之前
  许家凯 eecb54cb2a fix: 修复odpscmd问题 4 年之前
  许家凯 4bd036fcff ci: 发布启动脚本 4 年之前
  许家凯 658efac060 feat: 启用守护进程 4 年之前
  许家凯 c3f4404137 feat: 切换big_data帐号key和secret 4 年之前
  许家凯 ad91861745 fix: 多工作空间同时守护相互覆盖问题 4 年之前
  许家凯 0e24e635a7 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 be566fff56 feat: 全任务job触发 4 年之前
  许家凯 a7038fbbbb Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 c85b7e6b00 fix: information_schema延时问题 4 年之前
  许家凯 f3a85df875 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 876e385960 ci: 调整启动脚本,发布运行 4 年之前
  许家凯 145de8a128 feat: 添加企业失信被执增量job 4 年之前
  许家凯 540f40962a feat: 添加融资历史增量job 4 年之前
  许家凯 c61882d9cd feat: 添加严重违法增量job 4 年之前
  许家凯 b47cf59f3b Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 3e5cd4cd5d feat: 添加变更信息增量job 4 年之前
  许家凯 6a12c4203f ci: start.sh添加等待上游数据同步 4 年之前
  许家凯 719c585acd Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 3835b4f0a4 feat: 加入上游数据同步通知 4 年之前
  晏永年 c3812c941a step02中添加公示催告 4 年之前
  晏永年 8feb2139bc 添加step01,目前为公示催告维度做step02之前的ods层数据预处理 4 年之前
  许家凯 ba17019e6c ci: 拉取job后退回上级目录 4 年之前
  许家凯 8085751f70 ci: 自动同步git上的job任务 4 年之前
  许家凯 097d2701d9 ci: 任务的yml提到一级目录 4 年之前
  许家凯 fc335dc2cb feat: 添加法院公告 4 年之前
  许家凯 4ccaee61c7 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 b6d5fc427b feat: 添加company_mapping任务 4 年之前
  许家凯 902970d230 添加股权出质 4 年之前
  许家凯 01f1f5d3ae 添加资治证书 4 年之前
  许家凯 d1c263415b 添加经营导常 4 年之前
  许家凯 806c107ca0 add 4 年之前
  许家凯 58b4d763d0 run 4 年之前
  许家凯 8230635c19 Merge remote-tracking branch 'origin/master' 4 年之前
  许家凯 7d0701b74f 扩展 4 年之前
  晏永年 e978dcea19 debug 4 年之前
  晏永年 ed5247efb7 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  晏永年 9e6d07be7e 招投标、土地相关(4个)、行政处罚、行政处罚-信用中国、环保处罚共8个维度的增量同步配置 4 年之前
  许家凯 0824601406 完善参数提示 4 年之前
  许家凯 8346908bf7 加入动态配制文件 4 年之前
  晏永年 a88348e7a2 案源机会的利好消息的4个维度:招投标、购地信息、地块公示、土地转让 4 年之前
  许家凯 76b09d92ff 增量空数据查询,各人任务配制分离 4 年之前
  许家凯 26102ee6d1 add 4 年之前
  许家凯 8e541caabe 任务长时间未结束发送通知 4 年之前
  许家凯 0a8925c49c Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  许家凯 88bd370eae 启用通知 4 年之前
  许家凯 9edfb2c2c1 fix bug 4 年之前
  许家凯 e29e6e240a Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  许家凯 19677e636e 添加钉钉机器人 4 年之前
  许家凯 e9f4896f7b fix bugs 4 年之前
  许家凯 422f7edc44 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch 4 年之前
  许家凯 cf736c17d4 添加多任务并行调度 4 年之前
  许家凯 db67315a36 调通 4 年之前
  许家凯 f3fc8d14b9 参数扩充 4 年之前
  许家凯 4cb46b91d8 调度company_icp 4 年之前
  许家凯 6de12216cf add toNodePara 4 年之前
  许家凯 337ec3510e add table bean 4 年之前
  许家凯 e38753901e add query 4 年之前
  yongnian 0722df68ce 添加触发并传参ODPS SQL手动业务流程的节点 4 年之前
  许家凯 e56064b53f add 4 年之前
  许家凯 ab40900e44 add package 4 年之前
  许家凯 62ede23593 init 4 年之前
共有 1 個文件被更改,包括 12 次插入12 次删除
  1. 12 12
      jobs/task-step02.yaml

+ 12 - 12
jobs/task-step02.yaml

@@ -145,13 +145,13 @@ job:
           - _nodeId: 700003375026
             project: winhc_eci_dev
             tableName: company_env_punishment
-            dupliCols: new_cid,name,source_url,punish_number
+            dupliCols: new_cid,name,punish_number
             flag: cid
           - _nodeId: 700003380225
             project: winhc_eci_dev
-            tableName: company_land_publicity
+            tableName: company_env_punishment
             cidField: new_cid
-            dupliCols: new_cid,title,project_name,source_url
+            dupliCols: new_cid,name,punish_number
       #------>
       #------<购地信息:Spark
       - taskName: company_land_announcement
@@ -159,13 +159,13 @@ job:
           - _nodeId: 700003375026
             project: winhc_eci_dev
             tableName: company_land_announcement
-            dupliCols: new_cid,source_url,e_number,project_name
+            dupliCols: new_cid,e_number,project_name
             flag: cid
           - _nodeId: 700003380225
             project: winhc_eci_dev
             tableName: company_land_announcement
             cidField: new_cid
-            dupliCols: new_cid,source_url,e_number,project_name
+            dupliCols: new_cid,e_number,project_name
       #------>
       #------<地块公示:Spark
       - taskName: company_land_publicity
@@ -173,13 +173,13 @@ job:
           - _nodeId: 700003375026
             project: winhc_eci_dev
             tableName: company_land_publicity
-            dupliCols: new_cid,title,project_name,source_url
+            dupliCols: new_cid,title,project_name
             flag: cid
           - _nodeId: 700003380225
             project: winhc_eci_dev
             tableName: company_land_publicity
             cidField: new_cid
-            dupliCols: new_cid,title,project_name,source_url
+            dupliCols: new_cid,title,project_name
       #------>
       #------<行政处罚-信用中国:SPARK
       - taskName: company_punishment_info_creditchina
@@ -262,8 +262,8 @@ job:
             PROJECT: winhc_eci_dev
             DIM_TABLE: company_land_transfer
             DIM_COLUMS: type,id,mark,num,location,aministrative_area,user_pre,user_now,area,use_for,use_type,years_of_use,situation,level,merchandise_type,merchandise_price,merchandise_time,url,create_time,update_time,deleted
-            DUPLI_COLS: new_cid,type,num,location,url
-            MD5_COLS: type,num,location,url
+            DUPLI_COLS: new_cid,type,num,location
+            MD5_COLS: type,num,location
             DS: 20200717
           - _nodeId: 700003421692
             PROJECT: winhc_eci_dev
@@ -273,7 +273,7 @@ job:
             project: winhc_eci_dev
             tableName: company_land_transfer
             cidField: new_cid
-            dupliCols: new_cid,type,num,location,url
+            dupliCols: new_cid,type,num,location
   #------>
   #------<公示催告:Spark
   - project: winhc_test
@@ -354,13 +354,13 @@ job:
           - _nodeId: 700003375026
             project: winhc_eci_dev
             tableName: company_send_announcement
-            dupliCols: new_cid,litigant_cids,start_date,case_no
+            dupliCols: new_cid,court,start_date,title
             flag: cids
           - _nodeId: 700003380225
             project: winhc_eci_dev
             tableName: company_send_announcement_list
             cidField: new_cid
-            dupliCols: new_cid,litigant_cids,start_date,case_no
+            dupliCols: new_cid,court,start_date,title
   #------>
   #------<年报-对外担保:Spark
   - project: winhc_test