|
@@ -32,21 +32,20 @@ object NgChangeExtract {
|
|
|
@(transient@getter) val spark: SparkSession = s
|
|
|
|
|
|
val target_tab = "bds_change_extract"
|
|
|
- init()
|
|
|
|
|
|
def init() {
|
|
|
sql(
|
|
|
s"""
|
|
|
|CREATE TABLE IF NOT EXISTS `$project`.`$target_tab` (
|
|
|
| `rowkey` STRING COMMENT '该行数据主键',
|
|
|
- | `company_id` STRING '公司id',
|
|
|
- | `table_name` STRING 'hbase表名',
|
|
|
+ | `company_id` STRING comment '公司id',
|
|
|
+ | `table_name` STRING comment 'hbase表名',
|
|
|
| `update_type` STRING comment '数据展示层面的变更类型,insert、update、deleted、other',
|
|
|
- | `old_data` MAP<STRING,STRING> COMMENT '原数据'),
|
|
|
+ | `old_data` MAP<STRING,STRING> COMMENT '原数据',
|
|
|
| `new_data` MAP<STRING,STRING> COMMENT '新数据',
|
|
|
| `change_fields` STRING comment '哪些字段发生变更',
|
|
|
| `biz_date` STRING comment '数据变更的时间',
|
|
|
- | `update_time` STRING comment '当前计算时间'
|
|
|
+ | `update_time` STRING comment '当前计算时间')
|
|
|
| COMMENT '变更动态'
|
|
|
|PARTITIONED BY (
|
|
|
| `ds` STRING COMMENT '时间分区',
|