144 Commits 38b9d5fc6c ... 19f756b5d3

Auteur SHA1 Message Date
  yandawei 19f756b5d3 Merge remote-tracking branch 'origin/master' il y a 4 ans
  yandawei 9de873e615 公司动态-招聘 il y a 4 ans
  晏永年 b10f91b2ec 企业公告维度的业务日期的兜底用update_time il y a 4 ans
  晏永年 e93baf59e5 动产抵押表中若公示日期为null则用登记日期 il y a 4 ans
  晏永年 4aa01443bd fix il y a 4 ans
  晏永年 d59a98ceb8 添加企业动态:企业公告 il y a 4 ans
  xufei 721c97919c 司法拍卖前置增加 il y a 4 ans
  许家凯 3e55dbcd88 feat: 存量企业动态从存量变更信息中提取 il y a 4 ans
  许家凯 77c242924a fix: 企业动态唯一id采用新md5 il y a 4 ans
  许家凯 0a30636155 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 55f0189580 feat: 添加摘要计算通用程序 il y a 4 ans
  许家凯 5270d444db feat: 企业动态添加维一标识 il y a 4 ans
  许家凯 79ab0c2427 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 4455c0a22b fix: 过滤银行和保险机构 il y a 4 ans
  许家凯 e5b3a417d4 feat: 工商信息变更及动态 il y a 4 ans
  晏永年 17ad1dab48 针对2.3类的案源机会过滤掉银行、保险企业 il y a 4 ans
  晏永年 b186d36957 公示催告 il y a 4 ans
  许家凯 202bc037bd feat: 企业动态风险等级抽取统一映射 il y a 4 ans
  许家凯 b70f5857f5 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 c556c2fedc feat: 主要成员企业动态 il y a 4 ans
  许家凯 20c8424683 feat: 主要成员变更提取 il y a 4 ans
  许家凯 e69a151f52 fix: 主要成员增量 il y a 4 ans
  许家凯 675f6c0cde Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 1dfbe8e709 feat: 变更和动态主函数入口参数调整 il y a 4 ans
  许家凯 b482d4862f Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 f49bd3920e fix: phoenix加入超时配制 il y a 4 ans
  许家凯 d832c12dfd Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 aea1077d14 feat: 主要成员增量和存量处理 il y a 4 ans
  许家凯 cfcd864234 feat: 存量cid通用spark程序加入自动建表 il y a 4 ans
  许家凯 45e3b9ce96 feat: 企业动态股权出质融入框架 il y a 4 ans
  许家凯 b0a8903811 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 50ac3b8230 feat: 企业变更通用程序修改 il y a 4 ans
  许家凯 4b1f265d00 fix: 企业变更及动态调整 il y a 4 ans
  许家凯 9d64faa7f4 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 64cc4c48b8 add:cid与new_cid的mapping表 il y a 4 ans
  晏永年 c3cb5f8c33 补全企业动态预备表的cname字段数据 il y a 4 ans
  xufei 83ec3fd3a4 增量计算补充 il y a 4 ans
  晏永年 09181e597e fix增量维度同步更换new_cid导致与老数据比较误判为insert数据 il y a 4 ans
  许家凯 ce51cfd574 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 da36b407bb add:股权出质 il y a 4 ans
  许家凯 c7ea469bc6 style il y a 4 ans
  许家凯 79cd017511 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 daef91ca81 fix bugs il y a 4 ans
  许家凯 1a0b844d32 fix bugs il y a 4 ans
  许家凯 d36d594d22 添加企业动态启动参数 il y a 4 ans
  许家凯 abd7de490c Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 5d1246ec18 添加企业动态 il y a 4 ans
  许家凯 33837bf012 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 8893fcc727 add il y a 4 ans
  许家凯 2a7365f911 公司动态通用程序init il y a 4 ans
  许家凯 1bc8911ea6 公司变更动态加字段,phoenix不输出id il y a 4 ans
  许家凯 4f57a575db Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 5d8395dfb0 企业债权关系表调参 il y a 4 ans
  许家凯 17e1014dc5 run il y a 4 ans
  许家凯 1d475cb37f Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 4fe19da806 企业动态,利好消息只取指定维度的动态 il y a 4 ans
  许家凯 77f1af0123 增量索引、企业债权关系、人员表增量 il y a 4 ans
  许家凯 d7bf2abd8d add il y a 4 ans
  许家凯 d4ec5db2e9 fix bugs il y a 4 ans
  晏永年 dd8c8ba212 生成rowkey il y a 4 ans
  晏永年 861dc4bb0c fix il y a 4 ans
  晏永年 71f4559997 添加人与公司表增量同步 il y a 4 ans
  许家凯 f9b705f3e6 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 b3216d1694 公司基本信息索引部分调整输出 il y a 4 ans
  许家凯 884acfbab6 利好消息tags加参 il y a 4 ans
  许家凯 8289e52153 利好消息配置 il y a 4 ans
  xufei da507b43fc merge il y a 4 ans
  xufei bd1947c5a2 Merge remote-tracking branch 'origin/master' il y a 4 ans
  xufei 49ce50b82d 地块公示,购地信息修改 il y a 4 ans
  许家凯 5864d5dc50 利好消息 il y a 4 ans
  许家凯 e96ebbe75f Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 95bc6051a0 加入别名 il y a 4 ans
  许家凯 94d105bf87 加入九大类type自动推测 il y a 4 ans
  许家凯 30d0358c11 add il y a 4 ans
  许家凯 e93c568347 Merge remote-tracking branch 'origin/master' il y a 4 ans
  许家凯 6969da8e2a Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 0569194c60 知识产权处理程序 il y a 4 ans
  xufei cf0dc616b5 Merge remote-tracking branch 'origin/master' il y a 4 ans
  xufei bf7f5b4208 add il y a 4 ans
  xufei 5ac259c122 法院公告计算 il y a 4 ans
  许家凯 ea4583e4d0 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 6b045b8056 全量写出索引,企业债权关系表增量 il y a 4 ans
  许家凯 eeca257202 加入es client il y a 4 ans
  许家凯 a1a02793ba 扩充变更字段 il y a 4 ans
  许家凯 60c7004d74 提取动态 il y a 4 ans
  许家凯 d534fff6ff add il y a 4 ans
  许家凯 c221b903d1 fix bug il y a 4 ans
  许家凯 3ce3b62429 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 1177b509e8 动态提到,pom更新 il y a 4 ans
  许家凯 eea45f2525 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 8aeb70be1d phoenix batchsize il y a 4 ans
  许家凯 7886470b9c Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 dc96700725 公司基本信息 il y a 4 ans
  许家凯 84776f7d24 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 3bb5d4b7f9 add il y a 4 ans
  许家凯 cf827cf81e 整理package il y a 4 ans
  许家凯 883b17a97c Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 bd41fa12b4 摘要写出到hbase,公司基本信息更新到ads hbase和es il y a 4 ans
  许家凯 6f69375a53 添加环境切换 il y a 4 ans
  许家凯 455d676beb Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 f188f2bb81 add il y a 4 ans
  许家凯 aa86eb7b01 摘要 il y a 4 ans
  许家凯 6db783b08c 增量数据结合调度 il y a 4 ans
  xufei 95d3848b79 增量cids生成 il y a 4 ans
  yongnian b567fae904 fix il y a 4 ans
  yongnian 146b9fcc49 增量单表(Type1)维度的复制方案 il y a 4 ans
  xufei 120168df92 增量数据更新 il y a 4 ans
  许家凯 044c2fef7a fix:jdbc phoenix il y a 4 ans
  许家凯 e57fb79980 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 0fd6f59d2d add il y a 4 ans
  xufei 7e888e1f26 Merge remote-tracking branch 'origin/master' il y a 4 ans
  xufei 072d10626b 增加知识产权处理逻辑 il y a 4 ans
  许家凯 c001fb1a34 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 51612201b5 加入工具类,优化写出es il y a 4 ans
  许家凯 6862604a91 写出索引到es il y a 4 ans
  xufei 1cb7989763 Merge remote-tracking branch 'origin/master' il y a 4 ans
  xufei 4a9c209180 新增模型字段 il y a 4 ans
  许家凯 acc7d7770a 加入隐式转换,写出phoenix两种方式。jdbc和in-memory il y a 4 ans
  许家凯 e85368defd fix bugs il y a 4 ans
  许家凯 c56a8ccbc4 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 863d0e998a odpsOps方式写入phoenix il y a 4 ans
  yongnian 076e6ef15d 另一种spark读取phoenix方式绕开阿里云的bug il y a 4 ans
  许家凯 58bf807021 add phoenix il y a 4 ans
  许家凯 663dabba20 add phoenix test il y a 4 ans
  许家凯 9d73ec20da 代码和依赖分离 il y a 4 ans
  许家凯 86c6c195df Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 df5c5ab443 hbase 依赖 il y a 4 ans
  许家凯 0d5b27e6c1 修改groupid 精简项目 il y a 4 ans
  xufei c2603b0992 软件著作权 il y a 4 ans
  许家凯 1c365c5664 local模式下读写hbase il y a 4 ans
  xufei 2ab43f0b0b 基本信息评分修改版 il y a 4 ans
  许家凯 3cfbd0efe5 Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 de4438f583 公司名称映射关系计算 il y a 4 ans
  许家凯 d83bc175d2 更新mongodb il y a 4 ans
  许家凯 da73f5b922 修复异常 il y a 4 ans
  许家凯 99acb8f87b a il y a 4 ans
  许家凯 157bf5a727 fix bugs il y a 4 ans
  许家凯 06d991e03c Merge branch 'master' of http://139.224.213.4:3000/bigdata/Spark_Max il y a 4 ans
  许家凯 9b18b48c04 add il y a 4 ans
  许家凯 6ea56f908e alter sparkUtils il y a 4 ans
  许家凯 95e6684aa4 添加摘要计算 il y a 4 ans
  许家凯 b5c40d8963 add appName il y a 4 ans
  许家凯 e6102fdbc6 alter name il y a 4 ans
  xufei 0a9880c83f init commit il y a 4 ans

+ 2 - 1
src/main/scala/com/winhc/bigdata/spark/jobs/chance/ChangeExtract.scala

@@ -292,7 +292,8 @@ object ChangeExtract {
     , Args(tableName = "company_land_announcement", primaryFields = "e_number,project_name")
     , Args(tableName = "company_bid_list", primaryFields = "title")
     , Args(tableName = "company_land_transfer", primaryFields = "num,location")
-    , Args(tableName = "company_employment", primaryFields = "source")
+    , Args(tableName = "company_employment", primaryFields = "title,cid,url_path")
+    , Args(tableName = "company_brief_cancel_announcement_result", primaryFields = "cid,main_id")
     , Args(tableName = "company_env_punishment", primaryFields = "punish_number")
     , Args(tableName = "company_icp", primaryFields = "domain")
     , Args(tableName = "company_punishment_info", primaryFields = "punish_number")

+ 24 - 0
src/main/scala/com/winhc/bigdata/spark/jobs/chance/table/company_brief_cancel_announcement_result.scala

@@ -0,0 +1,24 @@
+
+package com.winhc.bigdata.spark.jobs.chance.table
+
+import com.winhc.bigdata.spark.jobs.chance.CompanyChangeHandle
+import com.winhc.bigdata.spark.utils.ChangeExtractUtils
+
+/**
+ * @Author: XuJiakai
+ * @Date: 2020/7/9 16:44
+ * @Description:
+ */
+
+
+//
+
+case class company_brief_cancel_announcement_result(equCols: Seq[String]) extends CompanyChangeHandle {
+  override def getUpdateTitle(newMap: Map[String, String]): String = getValueOrNull(newMap("title"), s"${newMap("title")}简易注销信息发生变更")
+
+  override def getInsertTitle(newMap: Map[String, String]): String = getValueOrNull(newMap("title"), s"新增${newMap("title")}简易注销信息")
+
+  override def getLabel(oldMap: Map[String, String], newMap: Map[String, String]): String = ChangeExtractUtils.getTags(newMap, "简易注销", Array("cname", "brief_cancel_result"))
+
+  override def getBizTime(newMap: Map[String, String]): String = newMap("start_date")
+}

+ 1 - 0
src/main/scala/com/winhc/bigdata/spark/jobs/dynamic/CompanyDynamic.scala

@@ -184,6 +184,7 @@ object CompanyDynamic {
     , Args(tableName = "bankruptcy_open_case", bName = 1)
     , Args(tableName = "company_illegal_info", bName = 0)
     , Args(tableName = "company_land_publicity", bName = 1)
+    , Args(tableName = "company_employment", bName = 1)
     , Args(tableName = "company_land_announcement", bName = 1)
     , Args(tableName = "company_bid_list", bName = 1)
     , Args(tableName = "company_land_transfer", bName = 1)

+ 3 - 3
src/main/scala/com/winhc/bigdata/spark/jobs/dynamic/CompanyDynamicHandle.scala

@@ -23,7 +23,7 @@ trait CompanyDynamicHandle {
     , "company_abnormal_info" -> "eci_exception" //经营异常
     , "" -> "eci_zscq" //知识产权
     , "" -> "eci_wenshu" //裁判文书
-    , "company_court_announcement_list" -> "court_announcement" //法院公告
+    , "" -> "court_announcement" //法院公告
     , "" -> "" //对外投资
     , "company_punishment_info" -> "punishment_info" //行政处罚
     , "company_punishment_info_creditchina" -> "punishment_info_creditchina" //行政处罚-信用中国
@@ -37,7 +37,7 @@ trait CompanyDynamicHandle {
     , "company_tax_contravention" -> "tax_illegal" //税收违法
     , "company_own_tax" -> "tax_owenotice" //欠税公告
     , "company_judicial_sale_combine_list" -> "judicial" //司法拍卖
-    , "" -> "recruit" //招聘信息
+    , "company_employment" -> "recruit" //招聘信息
     , "" -> "liquidation_information" //清算信息
     , "" -> "investor_equity_change" //大股东变更
     , "" -> "actual_controller_change" //实际控制人变更
@@ -69,7 +69,7 @@ trait CompanyDynamicHandle {
     , "company_land_transfer" -> "11-3" // 土地信息-土地转让
     , "company_land_mortgage" -> "11-4" // 土地信息-土地抵押
     , "company_bid_list" -> "12" // 中标信息
-    , "" -> "13" // 招聘信息
+    , "company_employment" -> "13" // 招聘信息
     , "company_punishment_info" -> "14-1" // 行政处罚
     , "company_punishment_info_creditchina" -> "14-2" // 行政处罚-信用中国
     , "company_public_announcement2_list" -> "15" // 公示催告

+ 35 - 0
src/main/scala/com/winhc/bigdata/spark/jobs/dynamic/tables/company_brief_cancel_announcement_result.scala

@@ -0,0 +1,35 @@
+package com.winhc.bigdata.spark.jobs.dynamic.tables
+
+import com.winhc.bigdata.spark.implicits.MapHelper._
+import com.winhc.bigdata.spark.jobs.dynamic.CompanyDynamicHandle
+
+case class company_brief_cancel_announcement_result()  extends CompanyDynamicHandle {
+  /**
+    * 信息描述
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_rta_desc(old_map: Map[String, String], new_map: Map[String, String]): String = new_map.getOrElse("name", null)
+
+
+  /**
+    * 风险等级
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_info_risk_level(old_map: Map[String, String], new_map: Map[String, String]): String = "高风险"
+
+  /**
+    * 变更内容
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_change_content(old_map: Map[String, String], new_map: Map[String, String], cname: String): String = new_map.toJson(Seq("cname->公司名称", "brief_cancel_result->简易注销结果", "announcement_apply_date->公告申请日期"))
+
+}

+ 38 - 0
src/main/scala/com/winhc/bigdata/spark/jobs/dynamic/tables/company_employment.scala

@@ -0,0 +1,38 @@
+package com.winhc.bigdata.spark.jobs.dynamic.tables
+
+import com.winhc.bigdata.spark.implicits.MapHelper._
+import com.winhc.bigdata.spark.jobs.dynamic.CompanyDynamicHandle
+
+/**
+  * 招聘信息
+  * @Author ydw
+  */
+case class company_employment() extends CompanyDynamicHandle {
+  /**
+    * 信息描述
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_rta_desc(old_map: Map[String, String], new_map: Map[String, String]): String = new_map.getOrElse("name", null)
+
+
+  /**
+    * 风险等级
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_info_risk_level(old_map: Map[String, String], new_map: Map[String, String]): String = "提示"
+
+  /**
+    * 变更内容
+    *
+    * @param old_map
+    * @param new_map
+    * @return
+    */
+  override protected def get_change_content(old_map: Map[String, String], new_map: Map[String, String], cname: String): String = new_map.toJson(Seq("city->地区", "description->招聘描述", "source->招聘来源", "employ_num->招聘人数", "start_date->职位发布日期", "ori_salary->薪资", "education->学历", "experience->工作经验", "title->职位"))
+}