去除重复数据 使用联合唯一索引 关键字INGORE

使用联合唯一索引去除重复数据

联合唯一索引可以确保数据库中多列的组合值唯一，避免重复数据插入。结合IGNORE关键字，可以在插入时自动忽略重复项而不报错。

创建联合唯一索引

ALTER TABLE table_name ADD UNIQUE INDEX idx_name (column1, column2);

使用INSERT IGNORE忽略重复数据

INSERT IGNORE会在遇到唯一键冲突时跳过当前行，继续执行后续插入操作。

INSERT IGNORE INTO table_name (column1, column2) VALUES ('value1', 'value2');

使用REPLACE替代重复数据

REPLACE会在遇到唯一键冲突时删除旧行并插入新数据。

REPLACE INTO table_name (column1, column2) VALUES ('value1', 'value2');

使用ON DUPLICATE KEY UPDATE更新重复数据

此语法在冲突时更新指定列的值而非跳过或替换。

INSERT INTO table_name (column1, column2) 
VALUES ('value1', 'value2')
ON DUPLICATE KEY UPDATE column2 = VALUES(column2);

注意事项

• 联合唯一索引需谨慎选择字段组合，确保业务逻辑合理
• INSERT IGNORE会忽略所有错误，包括非重复键错误
• 大量数据去重时，建议先创建临时表处理后再导入