Inicio Explorar Axuda
Iniciar sesión
bigdata
/
DataWorks-flow-touch
3
0
Fork 0

104 Achegas 6c3587feca ... 76fcfb9617

Autor SHA1 Mensaxe Data
  晏永年 76fcfb9617 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=4) %!d(string=hai) anos
  晏永年 ec488ddfaf Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=4) %!d(string=hai) anos
  晏永年 d04ee73abd Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=4) %!d(string=hai) anos
  晏永年 be84ff5859 土地等6个维度的去重字段修改 %!s(int64=4) %!d(string=hai) anos
  晏永年 cd1bcbbedf 行政处罚修改去重字段 %!s(int64=4) %!d(string=hai) anos
  许家凯 05df9739e0 fix: kafka数据合并flag %!s(int64=4) %!d(string=hai) anos
  xufei fe0c294716 增量加入flag %!s(int64=4) %!d(string=hai) anos
  许家凯 5deba8a8ac feat: 添加企业银行帐户增量任务 %!s(int64=4) %!d(string=hai) anos
  许家凯 95ef0cffe5 Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 8822161a7e feat: 添加企业银行帐户kafka合并任务 %!s(int64=4) %!d(string=hai) anos
  许家凯 9a2b2d0acb Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 d6404772e7 fix: 融资历史去重字段 %!s(int64=4) %!d(string=hai) anos
  许家凯 7bcfe277a5 feat: 减资记录 %!s(int64=4) %!d(string=hai) anos
  许家凯 014951650f feat: 添加短信提醒 %!s(int64=4) %!d(string=hai) anos
  许家凯 cd276a6f6b Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 885676871a feat: 添加司法协助（股权冻结）job %!s(int64=4) %!d(string=hai) anos
  许家凯 5213f30511 feat: kafka加入执行人 %!s(int64=4) %!d(string=hai) anos
  许家凯 2d0145a492 feat: 加入查老赖job %!s(int64=4) %!d(string=hai) anos
  xufei 1d12f105b7 司法案件处理 %!s(int64=4) %!d(string=hai) anos
  lyb 2cb8d2f4de 被执行人和终本增量数据配置， 个人 %!s(int64=4) %!d(string=hai) anos
  许家凯 88ea241e3f feat: 加入失信人个人处理 %!s(int64=4) %!d(string=hai) anos
  晏永年 a841d6755f Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=4) %!d(string=hai) anos
  晏永年 fcc12d3af5 fix %!s(int64=4) %!d(string=hai) anos
  晏永年 ef7ff075b4 fix %!s(int64=4) %!d(string=hai) anos
  晏永年 0293caec14 fix %!s(int64=4) %!d(string=hai) anos
  晏永年 f198101160 fix:身份证补全从step03挪到step01 %!s(int64=4) %!d(string=hai) anos
  晏永年 c6ad52268a feat:step03中添加自然人身份证补全步骤 %!s(int64=4) %!d(string=hai) anos
  许家凯 a9a47e2203 feat: 加入失信人kafka数据合并 %!s(int64=4) %!d(string=hai) anos
  许家凯 ce877d6d9d fix: 跨业务时间下的并发提交job问题 %!s(int64=4) %!d(string=hai) anos
  许家凯 e8ff5c04ab Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 b7f6dc9120 feat: 添加失信人个人job %!s(int64=4) %!d(string=hai) anos
  许家凯 97f614fe4f Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 135a089bec feat: 企业动态调整 %!s(int64=4) %!d(string=hai) anos
  许家凯 3845265244 Merge remote-tracking branch 'origin/master' %!s(int64=4) %!d(string=hai) anos
  许家凯 d450df56c5 feat: 土地抵押和土地转让添加摘要节点 %!s(int64=4) %!d(string=hai) anos
  许家凯 6b0db6239d feat: 企业动态上线 %!s(int64=5) %!d(string=hai) anos
  xufei 1fc8424125 法院公告 %!s(int64=5) %!d(string=hai) anos
  许家凯 fce81490cd Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 840f9a0de3 feat: 指定job结束后发送状态通知 %!s(int64=5) %!d(string=hai) anos
  许家凯 5ee33c3a9b feat: 添加主要成员增量job %!s(int64=5) %!d(string=hai) anos
  许家凯 fb3159541b feat: 添加股东job %!s(int64=5) %!d(string=hai) anos
  许家凯 175533cf5c Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 777490fdc9 feat: 添加年报job %!s(int64=5) %!d(string=hai) anos
  许家凯 eecb54cb2a fix: 修复odpscmd问题 %!s(int64=5) %!d(string=hai) anos
  许家凯 4bd036fcff ci: 发布启动脚本 %!s(int64=5) %!d(string=hai) anos
  许家凯 658efac060 feat: 启用守护进程 %!s(int64=5) %!d(string=hai) anos
  许家凯 c3f4404137 feat: 切换big_data帐号key和secret %!s(int64=5) %!d(string=hai) anos
  许家凯 ad91861745 fix: 多工作空间同时守护相互覆盖问题 %!s(int64=5) %!d(string=hai) anos
  许家凯 0e24e635a7 Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 be566fff56 feat: 全任务job触发 %!s(int64=5) %!d(string=hai) anos
  许家凯 a7038fbbbb Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 c85b7e6b00 fix: information_schema延时问题 %!s(int64=5) %!d(string=hai) anos
  许家凯 f3a85df875 Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 876e385960 ci: 调整启动脚本，发布运行 %!s(int64=5) %!d(string=hai) anos
  许家凯 145de8a128 feat: 添加企业失信被执增量job %!s(int64=5) %!d(string=hai) anos
  许家凯 540f40962a feat: 添加融资历史增量job %!s(int64=5) %!d(string=hai) anos
  许家凯 c61882d9cd feat: 添加严重违法增量job %!s(int64=5) %!d(string=hai) anos
  许家凯 b47cf59f3b Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 3e5cd4cd5d feat: 添加变更信息增量job %!s(int64=5) %!d(string=hai) anos
  许家凯 6a12c4203f ci: start.sh添加等待上游数据同步 %!s(int64=5) %!d(string=hai) anos
  许家凯 719c585acd Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 3835b4f0a4 feat: 加入上游数据同步通知 %!s(int64=5) %!d(string=hai) anos
  晏永年 c3812c941a step02中添加公示催告 %!s(int64=5) %!d(string=hai) anos
  晏永年 8feb2139bc 添加step01，目前为公示催告维度做step02之前的ods层数据预处理 %!s(int64=5) %!d(string=hai) anos
  许家凯 ba17019e6c ci: 拉取job后退回上级目录 %!s(int64=5) %!d(string=hai) anos
  许家凯 8085751f70 ci: 自动同步git上的job任务 %!s(int64=5) %!d(string=hai) anos
  许家凯 097d2701d9 ci: 任务的yml提到一级目录 %!s(int64=5) %!d(string=hai) anos
  许家凯 fc335dc2cb feat: 添加法院公告 %!s(int64=5) %!d(string=hai) anos
  许家凯 4ccaee61c7 Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 b6d5fc427b feat: 添加company_mapping任务 %!s(int64=5) %!d(string=hai) anos
  许家凯 902970d230 添加股权出质 %!s(int64=5) %!d(string=hai) anos
  许家凯 01f1f5d3ae 添加资治证书 %!s(int64=5) %!d(string=hai) anos
  许家凯 d1c263415b 添加经营导常 %!s(int64=5) %!d(string=hai) anos
  许家凯 806c107ca0 add %!s(int64=5) %!d(string=hai) anos
  许家凯 58b4d763d0 run %!s(int64=5) %!d(string=hai) anos
  许家凯 8230635c19 Merge remote-tracking branch 'origin/master' %!s(int64=5) %!d(string=hai) anos
  许家凯 7d0701b74f 扩展 %!s(int64=5) %!d(string=hai) anos
  晏永年 e978dcea19 debug %!s(int64=5) %!d(string=hai) anos
  晏永年 ed5247efb7 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=5) %!d(string=hai) anos
  晏永年 9e6d07be7e 招投标、土地相关（4个）、行政处罚、行政处罚-信用中国、环保处罚共8个维度的增量同步配置 %!s(int64=5) %!d(string=hai) anos
  许家凯 0824601406 完善参数提示 %!s(int64=5) %!d(string=hai) anos
  许家凯 8346908bf7 加入动态配制文件 %!s(int64=5) %!d(string=hai) anos
  晏永年 a88348e7a2 案源机会的利好消息的4个维度：招投标、购地信息、地块公示、土地转让 %!s(int64=5) %!d(string=hai) anos
  许家凯 76b09d92ff 增量空数据查询，各人任务配制分离 %!s(int64=5) %!d(string=hai) anos
  许家凯 26102ee6d1 add %!s(int64=5) %!d(string=hai) anos
  许家凯 8e541caabe 任务长时间未结束发送通知 %!s(int64=5) %!d(string=hai) anos
  许家凯 0a8925c49c Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=5) %!d(string=hai) anos
  许家凯 88bd370eae 启用通知 %!s(int64=5) %!d(string=hai) anos
  许家凯 9edfb2c2c1 fix bug %!s(int64=5) %!d(string=hai) anos
  许家凯 e29e6e240a Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=5) %!d(string=hai) anos
  许家凯 19677e636e 添加钉钉机器人 %!s(int64=5) %!d(string=hai) anos
  许家凯 e9f4896f7b fix bugs %!s(int64=5) %!d(string=hai) anos
  许家凯 422f7edc44 Merge branch 'master' of http://139.224.213.4:3000/bigdata/DataWorks-flow-touch %!s(int64=5) %!d(string=hai) anos
  许家凯 cf736c17d4 添加多任务并行调度 %!s(int64=5) %!d(string=hai) anos
  许家凯 db67315a36 调通 %!s(int64=5) %!d(string=hai) anos
  许家凯 f3fc8d14b9 参数扩充 %!s(int64=5) %!d(string=hai) anos
  许家凯 4cb46b91d8 调度company_icp %!s(int64=5) %!d(string=hai) anos
  许家凯 6de12216cf add toNodePara %!s(int64=5) %!d(string=hai) anos
  许家凯 337ec3510e add table bean %!s(int64=5) %!d(string=hai) anos
  许家凯 e38753901e add query %!s(int64=5) %!d(string=hai) anos
  yongnian 0722df68ce 添加触发并传参ODPS SQL手动业务流程的节点 %!s(int64=5) %!d(string=hai) anos
  许家凯 e56064b53f add %!s(int64=5) %!d(string=hai) anos
  许家凯 ab40900e44 add package %!s(int64=5) %!d(string=hai) anos
  许家凯 62ede23593 init %!s(int64=5) %!d(string=hai) anos
Modificáronse 1 ficheiros con 12 adicións e 12 borrados
Dividir vista Mostrar estatísticas de Diff
  1. 12 12
      jobs/task-step02.yaml

+ 12 - 12
jobs/task-step02.yaml
Ver ficheiro 

@@ -145,13 +145,13 @@ job:
 
           - _nodeId: 700003375026
 
             project: winhc_eci_dev
 
             tableName: company_env_punishment
 
-            dupliCols: new_cid,name,source_url,punish_number
 
+            dupliCols: new_cid,name,punish_number
 
             flag: cid
 
           - _nodeId: 700003380225
 
             project: winhc_eci_dev
 
-            tableName: company_land_publicity
 
+            tableName: company_env_punishment
 
             cidField: new_cid
 
-            dupliCols: new_cid,title,project_name,source_url
 
+            dupliCols: new_cid,name,punish_number
 
       #------>
 
       #------<购地信息:Spark
 
       - taskName: company_land_announcement
 
@@ -159,13 +159,13 @@ job:
 
           - _nodeId: 700003375026
 
             project: winhc_eci_dev
 
             tableName: company_land_announcement
 
-            dupliCols: new_cid,source_url,e_number,project_name
 
+            dupliCols: new_cid,e_number,project_name
 
             flag: cid
 
           - _nodeId: 700003380225
 
             project: winhc_eci_dev
 
             tableName: company_land_announcement
 
             cidField: new_cid
 
-            dupliCols: new_cid,source_url,e_number,project_name
 
+            dupliCols: new_cid,e_number,project_name
 
       #------>
 
       #------<地块公示:Spark
 
       - taskName: company_land_publicity
 
@@ -173,13 +173,13 @@ job:
 
           - _nodeId: 700003375026
 
             project: winhc_eci_dev
 
             tableName: company_land_publicity
 
-            dupliCols: new_cid,title,project_name,source_url
 
+            dupliCols: new_cid,title,project_name
 
             flag: cid
 
           - _nodeId: 700003380225
 
             project: winhc_eci_dev
 
             tableName: company_land_publicity
 
             cidField: new_cid
 
-            dupliCols: new_cid,title,project_name,source_url
 
+            dupliCols: new_cid,title,project_name
 
       #------>
 
       #------<行政处罚-信用中国:SPARK
 
       - taskName: company_punishment_info_creditchina
 
@@ -262,8 +262,8 @@ job:
 
             PROJECT: winhc_eci_dev
 
             DIM_TABLE: company_land_transfer
 
             DIM_COLUMS: type,id,mark,num,location,aministrative_area,user_pre,user_now,area,use_for,use_type,years_of_use,situation,level,merchandise_type,merchandise_price,merchandise_time,url,create_time,update_time,deleted
 
-            DUPLI_COLS: new_cid,type,num,location,url
 
-            MD5_COLS: type,num,location,url
 
+            DUPLI_COLS: new_cid,type,num,location
 
+            MD5_COLS: type,num,location
 
             DS: 20200717
 
           - _nodeId: 700003421692
 
             PROJECT: winhc_eci_dev
 
@@ -273,7 +273,7 @@ job:
 
             project: winhc_eci_dev
 
             tableName: company_land_transfer
 
             cidField: new_cid
 
-            dupliCols: new_cid,type,num,location,url
 
+            dupliCols: new_cid,type,num,location
 
   #------>
 
   #------<公示催告:Spark
 
   - project: winhc_test
 
@@ -354,13 +354,13 @@ job:
 
           - _nodeId: 700003375026
 
             project: winhc_eci_dev
 
             tableName: company_send_announcement
 
-            dupliCols: new_cid,litigant_cids,start_date,case_no
 
+            dupliCols: new_cid,court,start_date,title
 
             flag: cids
 
           - _nodeId: 700003380225
 
             project: winhc_eci_dev
 
             tableName: company_send_announcement_list
 
             cidField: new_cid
 
-            dupliCols: new_cid,litigant_cids,start_date,case_no
 
+            dupliCols: new_cid,court,start_date,title
 
   #------>
 
   #------<年报-对外担保:Spark
 
   - project: winhc_test