|
@@ -43,11 +43,10 @@ case class NgCompanyDynamic(s: SparkSession,
|
|
|
| ,dynamic_info STRING COMMENT '动态展示层的相关数据,json格式'
|
|
|
| ,agg_detail_text STRING COMMENT '聚合类型的json数据,规范优先'
|
|
|
| ,agg_detail_rowkey STRING COMMENT '聚合类型rowkey的多项rowkey字段,结构:tn@@rowkey,tn@@rowkey'
|
|
|
- |--- ,old_record STRING COMMENT '上一个版本数据json格式'
|
|
|
- |--- ,new_record STRING COMMENT '当前版本数据json格式'
|
|
|
- | ,collapse_key STRING COMMENT '用于折叠的字段,concat_ws("_",tn,change_time)'
|
|
|
- | ,change_time string COMMENT '变更时间(业务展示 yyyy-MM-dd)'
|
|
|
- | ,update_time STRING COMMENT '更新时间'
|
|
|
+ | ,collapse_key STRING COMMENT '用于折叠的字段,concat_ws("_",tn,dynamic_time)。跟据动态时间来折叠'
|
|
|
+ | ,biz_time string COMMENT '业务上的变更时间(业务展示 yyyy-MM-dd)'
|
|
|
+ | ,dynamic_time STRING COMMENT '动态时间,用于业务展示(yyyy-MM-dd HH:mm:ss 存量数据为业务变更时间,增量数据为当前动态新建时间)'
|
|
|
+ | ,update_time STRING COMMENT '更新时间'
|
|
|
| ,create_time STRING COMMENT '创建时间'
|
|
|
| ,deleted BIGINT COMMENT '非0删除'
|
|
|
|)
|
|
@@ -184,8 +183,8 @@ object NgCompanyDynamic {
|
|
|
"spark.hadoop.odps.spark.local.partition.amt" -> "1000000"
|
|
|
)
|
|
|
val spark = SparkUtils.InitEnv(this.getClass.getSimpleName, config)
|
|
|
-
|
|
|
- NgCompanyDynamic(spark, NgCompanyDynamicArgs.getStartArgs, NgCompanyDynamicArgs.getAggArgs, inc = false).calc()
|
|
|
+ val inc = false
|
|
|
+ NgCompanyDynamic(spark, NgCompanyDynamicArgs.getStartArgs(inc), NgCompanyDynamicArgs.getAggArgs, inc = inc).calc()
|
|
|
spark.stop()
|
|
|
}
|
|
|
|