上次更新时间:2021 年 2 月 16 日
我为 AWS Glue 作业启用了作业书签,但该作业仍在重新处理数据。
解决方法以下是在启用作业书签后,提取、转换和加载 (ETL) 作业可能会重新处理数据的一些常见原因:
您有多个带有作业书签的并发作业,最大并发率未设置为 1。 job.init() 对象缺失。 job.commit() 对象缺失。 formation_ctx 参数缺失。 表的主键未按顺序排列(仅限 JDBC 连接)。 上次作业运行后,源数据已被修改。有关上述各个问题的详细信息,请参阅错误:启用作业书签后,作业在重新处理数据。