MySQL中的大表每次都基于CSV更新行

2022-03-02 00:00:00 python csv data-science mysql

我有一个包含50万行的表,我假设我每小时都会收到CSV文件,我需要根据CSV更新我的MySQL表。它可能包含新行,或者某些行可能会被修改。该表有一个主键(名为SKU)

Product表列:

  1. SKU
  2. 产品详情
  3. 价格

我希望尽快完成此操作,其中一个条件是我不能删除表并再次加载,因为我的主要要求是";支持将给定文件常规非阻塞并行接收到表";中。

我可以使用Python等脚本语言。

我有一个解决方案,就是创建一个临时表并将数据导入到表中,然后更新我的主表。

如有任何帮助或建议,我们将不胜感激


解决方案

如果新数据是整个集合,请执行以下操作:

  1. CREATE TABLE new LIKE real;
  2. LOAD DATA INFILE INTO new ...这是唯一较慢的步骤,但不会影响real表。
  3. 如果您需要清理数据,请执行此步骤。否则,您不需要Python。
  4. RENAME TABLE real TO old, new TO real;此步骤速度很快。
  5. DROP TABLE old;

如果传入数据不包含所有SKU,请参阅此处的技术:http://mysql.rjweb.org/doc.php/staging_table

相关文章