소스 검색

feat: deleted为9的直接上传,不进行过滤

保证删除通道畅通
许家凯 1 년 전
부모
커밋
5393f9b732
1개의 변경된 파일17개의 추가작업 그리고 0개의 파일을 삭제
  1. 17 0
      data_clean/dim_handle_registry.py

+ 17 - 0
data_clean/dim_handle_registry.py

@@ -16,6 +16,20 @@ def get_dim_handle(tn: str):
     return __class_dict[tn]
 
 
+def _get_deleted(row_data: dict):
+    del_val = 0
+    if 'deleted' in row_data:
+        del_val = row_data['deleted']
+
+    if 'DELETED' in row_data:
+        del_val = row_data["DELETED"]
+
+    if type(del_val) is not int:
+        del_val = int(del_val)
+    return del_val
+    pass
+
+
 class DimHandleRegistry:
     def __init__(self, name=None):
         if name is None:
@@ -102,6 +116,9 @@ class DimHandleRegistry:
 
     @exception_handle
     async def _exec_row(self, row_data: dict, session_id=None, original_data=None) -> dict:
+        del_val = _get_deleted(row_data)
+        if del_val == 9:
+            return row_data
         for func in self._row_func:
             row_data = await func(row_data)
             if row_data is None: