MySQL 批量插入不插入重復(fù)數(shù)據(jù)的方法

這篇文章主要講解了“MySQL 批量插入不插入重復(fù)數(shù)據(jù)的方法”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來(lái)研究和學(xué)習(xí)“MySQL 批量插入不插入重復(fù)數(shù)據(jù)的方法”吧！

溫故而知新

知識(shí)這個(gè)東西，看來(lái)真的要溫故而知新，一直不用，都要忘記了。

業(yè)務(wù)很簡(jiǎn)單：需要批量插入一些數(shù)據(jù)，數(shù)據(jù)來(lái)源可能是其他數(shù)據(jù)庫(kù)的表，也可能是一個(gè)外部excel的導(dǎo)入。

那么問(wèn)題來(lái)了，是不是每次插入之前都要查一遍，看看重不重復(fù)，在代碼里篩選一下數(shù)據(jù)，重復(fù)的就過(guò)濾掉呢？

向大數(shù)據(jù)數(shù)據(jù)庫(kù)中插入值時(shí)，還要判斷插入是否重復(fù)，然后插入。如何提高效率？

看來(lái)這個(gè)問(wèn)題不止我一個(gè)人苦惱過(guò)。

解決的辦法有很多種，不同的場(chǎng)景解決方案也不一樣，數(shù)據(jù)量很小的情況下，怎么搞都行，但是數(shù)據(jù)量很大的時(shí)候，這就不是一個(gè)簡(jiǎn)單的問(wèn)題了

幾百萬(wàn)的數(shù)據(jù)，不可能查出來(lái)去重處理！

說(shuō)一下我Google到的解決方案。

1、insert ignore into

當(dāng)插入數(shù)據(jù)時(shí)，如出現(xiàn)錯(cuò)誤時(shí)，如重復(fù)數(shù)據(jù)，將不返回錯(cuò)誤，只以警告形式返回。所以使用ignore請(qǐng)確保語(yǔ)句本身沒(méi)有問(wèn)題，否則也會(huì)被忽略掉。例如：

INSERT IGNORE INTO user (name) VALUES ('telami')

這種方法很簡(jiǎn)便，但是有一種可能，就是插入不是因?yàn)橹貜?fù)數(shù)據(jù)報(bào)錯(cuò)，而是因?yàn)槠渌驁?bào)錯(cuò)的，也同樣被忽略了～

2、on duplicate key update

當(dāng)primary或者unique重復(fù)時(shí)，則執(zhí)行update語(yǔ)句，如update后為無(wú)用語(yǔ)句，如id=id，則同1功能相同，但錯(cuò)誤不會(huì)被忽略掉。

例如，為了實(shí)現(xiàn)name重復(fù)的數(shù)據(jù)插入不報(bào)錯(cuò)，可使用一下語(yǔ)句：

INSERT INTO user (name) VALUES ('telami') ON duplicate KEY UPDATE id = id

這種方法有個(gè)前提條件，就是，需要插入的約束，需要是主鍵或者唯一約束（在你的業(yè)務(wù)中那個(gè)要作為唯一的判斷就將那個(gè)字段設(shè)置為唯一約束也就是unique key）。

3、insert … select … where not exist

根據(jù)select的條件判斷是否插入，可以不光通過(guò)primary 和unique來(lái)判斷，也可通過(guò)其它條件。例如：

INSERT INTO user (name) SELECT 'telami' FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)

這種方法其實(shí)就是使用了mysql的一個(gè)臨時(shí)表的方式，但是里面使用到了子查詢(xún)，效率也會(huì)有一點(diǎn)點(diǎn)影響，如果能使用上面的就不使用這個(gè)。

4、replace into

如果存在primary or unique相同的記錄，則先刪除掉。再插入新記錄。

REPLACE INTO user SELECT 1, 'telami' FROM books

這種方法就是不管原來(lái)有沒(méi)有相同的記錄，都會(huì)先刪除掉然后再插入。

實(shí)踐

選擇的是第二種方式

<insert id="batchSaveUser" parameterType="list">
    insert into user (id,username,mobile_number)
    values    <foreach collection="list" item="item" index="index" separator=",">
        (
            #{item.id},
            #{item.username},
            #{item.mobileNumber}
        )
    </foreach>
    ON duplicate KEY UPDATE id = id
</insert>

這里用的是Mybatis，批量插入的一個(gè)操作，mobile_number已經(jīng)加了唯一約束。這樣在批量插入時(shí)，如果存在手機(jī)號(hào)相同的話，是不會(huì)再插入了的。

感謝各位的閱讀，以上就是“MySQL 批量插入不插入重復(fù)數(shù)據(jù)的方法”的內(nèi)容了，經(jīng)過(guò)本文的學(xué)習(xí)后，相信大家對(duì)MySQL 批量插入不插入重復(fù)數(shù)據(jù)的方法這一問(wèn)題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是億速云，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！