MySQL避免重复插入记录方法(ignore,Replace,ON DUPLICATE KEY UPDATE)

本文章来给大家提供三种在mysql中避免重复插入记录方法，主要是讲到了ignore,Replace,ON DUPLICATE KEY UPDATE三种方法，各位同学可尝试参考。

案一：使用ignore关键字

如果是用主键primary或者唯一索引unique区分了记录的唯一性,避免重复插入记录可以使用：

这样当有重复记录就会忽略,执行后返回数字0

还有个应用就是复制表,避免重复记录：

方案二：使用Replace

语法格式：

…算法说明：
REPLACE的运行与INSERT很相像,但是如果旧记录与新记录有相同的值，则在新记录被插入之前，旧记录被删除，即：

尝试把新行插入到表中 
当因为对于主键或唯一关键字出现重复关键字错误而造成插入失败时： 
从表中删除含有重复关键字值的冲突行 
再次尝试把新行插入到表中 
旧记录与新记录有相同的值的判断标准就是：
表有一个PRIMARY KEY或UNIQUE索引，否则，使用一个REPLACE语句没有意义。该语句会与INSERT相同，因为没有索引被用于确定是否新行复制了其它的行。

返回值：
REPLACE语句会返回一个数，来指示受影响的行的数目。该数是被删除和被插入的行数的和
受影响的行数可以容易地确定是否REPLACE只添加了一行，或者是否REPLACE也替换了其它行：检查该数是否为1（添加）或更大（替换）。

示例:
# eg:(phone字段为唯一索引)

另外,在 SQL Server 中可以这样处理：

更多信息请看：http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#replace

方案三：ON DUPLICATE KEY UPDATE

如‍上所写，你也可以在INSERT INTO…..后面加上 ON DUPLICATE KEY UPDATE方法来实现。如果您指定了ON DUPLICATE KEY UPDATE，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则执行旧行UPDATE。

例如，如果列a被定义为UNIQUE，并且包含值1，则以下两个语句具有相同的效果：

如果行作为新记录被插入，则受影响行的值为1；如果原有的记录被更新，则受影响行的值为2。

注释：如果列b也是唯一列，则INSERT与此UPDATE语句相当：

如果a=1 OR b=2与多个行向匹配，则只有一个行被更新。通常，您应该尽量避免对带有多个唯一关键字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函数从INSERT…UPDATE语句的INSERT部分引用列值。换句话说，如果没有发生重复关键字冲突，则UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函数特别适用于多行插入。VALUES()函数只在INSERT…UPDATE语句中有意义，其它时候会返回NULL。

本语句与以下两个语句作用相同：

注释：当您使用ON DUPLICATE KEY UPDATE时，DELAYED选项被忽略。

示例：
这个例子是我在实际项目中用到的：是将一个表的数据导入到另外一个表中，数据的重复性就得考虑(如下)，唯一索引为：email：

再贴一个例子：

其它关键：DELAYED  做为快速插入，并不是很关心失效性，提高插入性能。 
IGNORE  只关注主键对应记录是不存在，无则添加，有则忽略。

更多信息请看:  http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#insert

特别说明：在MYSQL中UNIQUE索引将会对null字段失效，也就是说(a字段上建立唯一索引)：

是可以重复插入的（联合唯一索引也一样）。

因工作需要，需要实现如下业务功能：

给定日期范围（开始日期~结束日期），批量将该范围内的日期，按照天把价格存储(insert or update)到数据库(MySQL)中；简化考虑，采用触发器实现；

由于日期设置了唯一索引，因此，insert语句有可能出现唯一索引冲突，因此需要使用 on duplicate key update 语法来实现；该语法的作用：某条件的记录不存在时新增，否则更新。

以下是表结构语句：

CREATE TABLE `price_date` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `travel_date` date NOT NULL COMMENT '日期',
  `price` int(9) NOT NULL COMMENT '价格',
  `price_desc` varchar(100) DEFAULT NULL COMMENT '价格描述',
  PRIMARY KEY (`id`),
  UNIQUE KEY `IDXU_date` (`travel_date`) USING BTREE
) COMMENT='价格表';

为了使用触发器，单独建个无意义的表price_date_batch，目的是为了在此表上建立触发器

以下是trigger的内容：

CREATE TRIGGER `tbi_date_batch` BEFORE INSERT ON `price_date_batch` FOR EACH ROW BEGIN
  declare v_from date default new.`date_from`;
  declare v_to date default new.`date_to`;
  
  loop_label: loop
    if v_from > v_to then
      leave loop_label;
    end if;
    
    insert into price_date(travel_date, price, price_desc)
    values(v_from, new.price, new.price_desc)
    ON DUPLICATE KEY UPDATE price=new.price, price_desc=new.price_desc;
    set v_from = date_add(v_from, interval 1 day);
  end loop;
END;

使用循环语句，则实现了批量新增/更新.

===================================================================================

平时我们在设计数据库表的时候总会设计 unique  或者 给表加上 primary key 的限制条件.

此时 插入数据的时候 ，经常会有这样的情况：

我们想向数据库插入一条记录：

  若数据表中存在以相同主键的记录，我们就更新该条记录。

  否则就插入一条新的记录。

逻辑上我们需要怎么写：

但是这样写有两个问题

1、效率太差，每次执行都要执行2个sql
2、高并发的情况下数据会出问题，不能保证原子性 

$result = mysql_query('select * from xxx where id = 1');
$row = mysql_fetch_assoc($result);
if($row){
mysql_query('update ...');
}else{
mysql_query('insert ...');
}

还好MySQL 为我们解决了这个问题：我们可以通过 ON DUPLICATE KEY UPDATE  达到以上目的, 且能保证操作的原子性和数据的完整性。

ON DUPLICATE KEY UPDATE 可以达到以下目的:

向数据库中插入一条记录：

若该数据的主键值/ UNIQUE KEY 已经在表中存在,则执行更新操作, 即UPDATE 后面的操作。

否则插入一条新的记录。

示例：

Step1 . 创建表，插入测试数据

SET FOREIGN_KEY_CHECKS=0;


-- ----------------------------
-- Table structure for mRowUpdate
-- ----------------------------
DROP TABLE IF EXISTS `mRowUpdate`;
CREATE TABLE `mRowUpdate` (
  `id` int(11) NOT NULL,
  `value` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB;


-- ----------------------------
-- Records of mRowUpdate
-- ----------------------------
INSERT INTO `mRowUpdate` VALUES ('1', 'sss');
INSERT INTO `mRowUpdate` VALUES ('2', 'szh');
INSERT INTO `mRowUpdate` VALUES ('3', '9999');
SET FOREIGN_KEY_CHECKS=1;

Step2 .测试 ON DUPLICATE KEY UPDATE 的使用方法：

INSERT INTO mRowUpdate(id,`value`) VALUES(3, 'SuperMan') ON DUPLICATE KEY UPDATE `value`='SuperMan';

Step3. 查询数据的变化情况

==========================     话外篇   ===============================

技巧:

技巧 1 :

ON DUPLICATE KEY UPDATE 特别适用于多行插入。如:
 

INSERT INTO `table` (`a`, `b`, `c`) VALUES (1, 2, 3), (4, 5, 6) ON DUPLICATE KEY UPDATE `c`=VALUES(`a`)+VALUES(`b`);

 Tips: VALUES()函数只在INSERT…UPDATE语句中有意义，其它时候会返回NULL。

注意事项:

注意 1:

若多个索引都冲突，则只有一条记录被修改。

create table test(
id int not null primary key,
num int not null UNIQUE key,
tid int not null
)

为了测试两个唯一索引都冲突的情况，然后插入下面的数据

insert into test values(1,1,1), (2,2,2);

然后执行：

insert into test values(1,2,3) on duplicate key update tid = tid + 1;

因为a和b都是唯一索引，插入的数据在两条记录上产生了冲突，然而执行后只有第一条记录被修改

PS:关于日期的计算，可以参考

ADDTIME (date2 ,time_interval ) //将time_interval加到date2;

CONVERT_TZ (datetime2 ,fromTZ ,toTZ ) //转换时区;CURRENT_DATE ( ) //当前日期;CURRENT_TIME ( ) //当前时间...

ADDTIME (date2 ,time_interval ) //将time_interval加到date2
CONVERT_TZ (datetime2 ,fromTZ ,toTZ ) //转换时区
CURRENT_DATE ( ) //当前日期
CURRENT_TIME ( ) //当前时间
CURRENT_TIMESTAMP ( ) //当前时间戳

DATE (datetime ) //返回datetime的日期部分
DATE_ADD (date2 , INTERVAL d_value d_type ) //在date2中加上日期或时间
DATE_FORMAT (datetime ,FormatCodes ) //使用formatcodes格式显示datetime
DATE_SUB (date2 , INTERVAL d_value d_type ) //在date2上减去一个时间
DATEDIFF (date1 ,date2 ) //两个日期差

DAY (date ) //返回日期的天
DAYNAME (date ) //英文星期
DAYOFWEEK (date ) //星期(1-7) ,1为星期天
DAYOFYEAR (date ) //一年中的第几天
EXTRACT (interval_name FROM date ) //从date中提取日期的指定部分

MAKEDATE (year ,day ) //给出年及年中的第几天,生成日期串
MAKETIME (hour ,minute ,second ) //生成时间串
MONTHNAME (date ) //英文月份名
NOW ( ) //当前时间
SEC_TO_TIME (seconds ) //秒数转成时间

STR_TO_DATE (string ,format ) //字串转成时间,以format格式显示
TIMEDIFF (datetime1 ,datetime2 ) //两个时间差
TIME_TO_SEC (time ) //时间转秒数]
WEEK (date_time [,start_of_week ]) //第几周
YEAR (datetime ) //年份

DAYOFMONTH(datetime) //月的第几天
HOUR(datetime) //小时
LAST_DAY(date) //date的月的最后日期
MICROSECOND(datetime) //微秒
MONTH(datetime) //月
MINUTE(datetime) //分


date_sub()函数的例子：今天是2013年5月20日。
date_sub('2012-05-25', interval 1 day) 表示 2012-05-24
date_sub(curdate(), interval 1 day) 表示 2013-05-19
date_sub(curdate(), interval 1 month) 表示 2013-04-20
date_sub(curdate(), interval 1 year) 表示 2012-05-20

原文地址：http://www.111cn.net/database/mysql/50135.htm