MySQL中的大表每次都基于CSV更新行
我有一个包含50万行的表,我假设我每小时都会收到CSV文件,我需要根据CSV更新我的MySQL表。它可能包含新行,或者某些行可能会被修改。该表有一个主键(名为SKU)
Product表列:
- SKU
- 产品详情
- 价格
我希望尽快完成此操作,其中一个条件是我不能删除表并再次加载,因为我的主要要求是";支持将给定文件常规非阻塞并行接收到表";中。
我可以使用Python等脚本语言。
我有一个解决方案,就是创建一个临时表并将数据导入到表中,然后更新我的主表。
如有任何帮助或建议,我们将不胜感激
解决方案
如果新数据是整个集合,请执行以下操作:
CREATE TABLE new LIKE real;
LOAD DATA INFILE INTO new ...
这是唯一较慢的步骤,但不会影响real
表。- 如果您需要清理数据,请执行此步骤。否则,您不需要Python。
RENAME TABLE real TO old, new TO real;
此步骤速度很快。DROP TABLE old;
如果传入数据不包含所有SKU,请参阅此处的技术:http://mysql.rjweb.org/doc.php/staging_table
相关文章