参考：https://help.aliyun.com/knowledge_detail/137548.html?spm=a1z3jh.13523495.0.0.689762428L6Zxe

增量配置

1
2
3
4
5
6
7
8
9
10
11
12
# 源表过滤条件
convert(varchar(100),[Update_Date],120)>'${keys1} ${keys2}'
convert(varchar(100),[update_date],120)>'${keys1} ${keys2}'
 
每10分钟调度一次
# 自定义变量
keys1=$[yyyy-mm-dd] keys2=$[hh24:mi:ss -12/24/60]
 
 
每小时调度一次
# 自定义变量
keys1=$[yyyy-mm-dd] keys2=$[hh24:mi:ss -1/24]

注意点

调度资源有最大线程数限制，需求对象超出最大线程数，需要规划业务流。

  • 强要求按照分钟频率
  • 其他按小时频率，并错开起始时间
表名 opt前置库表行数 明珠塔表行数 全量迁移时长 全量同步是否有问题 数据是否异常 备注 增量同步 增量频率 增量调度起始时间 全量调度日期 全量调度时间 全量调度周期
dic 0 0 1min 否 否 incr_2 1h 0:10 2020-07-28 ~ 2020-07-29 23:20 日调度