溫馨提示×

溫馨提示×

您好，登錄后才能下訂單哦！

密碼登錄×
登錄注冊×
其他方式登錄
點(diǎn)擊 登錄注冊 即表示同意《億速云用戶服務(wù)條款》

python操作mysql數(shù)據(jù)庫(百庫百表)

發(fā)布時間：2020-08-11 19:08:51 來源：ITPUB博客 閱讀：182 作者：Kind0f 欄目：MySQL數(shù)據(jù)庫
問題描述：
    今天下午跑某項目db需求，百庫百表清臟數(shù)據(jù)，然后自己寫了個python腳本，跑完之后通知項目，然后項目給玩家發(fā)獎勵了，結(jié)果悲催了，所有的mysql操作沒有執(zhí)行成功(沒有報錯，因而以為執(zhí)行成功)。

以下是我的python腳本，傳兩個文件作為參數(shù)，host.txt 以及 update.sql
    

點(diǎn)擊(此處)折疊或打開

  1. #!/usr/bin/env python
  2. # -*- coding: UTF-8 -*-


  5. import sys
  6. import MySQLdb
  7. import datetime



  11. dbuser = 'xxx'
  12. dbpwd = 'xxx'

  14. DB_NUM = 100
  15. TB_NUM = 100
  16. args = sys.argv
  17. if len(args)!=3:
  18.                 print "USAGE: %s host.txt update.sql" % args[0]
  19.                 sys.exit()

  21. start = datetime.datetime.now()
  22. print "Start Time : %s " % start.strftime('%Y-%m-%d %H:%M:%S')

  24. hostfile = args[1]
  25. sqlfile = args[2]

  27. rhost = open(hostfile)
  28. hostlist = rhost.readlines()
  29. rhost.close()


  32. rsqls = open(sqlfile)
  33. sqllist = rsqls.readlines()
  34. rsqls.close()

  36. for host in hostlist:
  37.                 host = host.strip()
  38.                 ip = host.split(' ')[0]
  39.                 pt = host.split(' ')[1]
  40.                 conn = MySQLdb.connect(ip,dbuser,dbpwd,port=int(pt))
  41.                 cursor = conn.cursor()
  42.                 cursor.execute('SET NAMES UTF8')

  44.                 sqls = []
  45.                 for i in range(DB_NUM):
  46.                         sqls.append("%s" % str(i).zfill(2))
  47.                 for sql in sqls:
  48.                         db=sql
  49.                         #print 'ip=%s ; port=%s ; db=%s' % (ip,pt,db)
  50.                         for j in range(TB_NUM):
  51.                                 if TB_NUM > 10:
  52.                                         j = str(j).zfill(2)
  53.                                 for sql in sqllist:
  54.                                         ct = sql.strip() % (db,str(j))
  55.                                         cursor.execute(ct)
  56.                                         print ct

  58.                 conn.close()
  59. end= datetime.datetime.now()
  60. print "End Time : %s " % end.strftime('%Y-%m-%d %H:%M:%S')

update.sql如下：

點(diǎn)擊(此處)折疊或打開

  1. delete from XSY_%s.t_xsy_equip_cloth_%s where (clothid >= 201675 and clothid <= 201700) or (clothid >= 201725 and clothid <= 201751);
host.txt如下：

點(diǎn)擊(此處)折疊或打開

  1. 192.168.xx.xx 3306
每執(zhí)行一條語句都print出來，結(jié)果是成功打印出了10000條，但是上庫看binlog日志并沒有任何記錄，數(shù)據(jù)也沒有變化

解決：
    臨時寫了個shell腳本，跑完需求，成功執(zhí)行。
    其中傳入的$1為包含10000條操作的delete語句文件

點(diǎn)擊(此處)折疊或打開

  1. #!/bin/bash
  4. user=xxx
  5. pwd=xxx
  7. while read sql
  8. do
  9. echo $sql
  10. /usr/bin/mysql -h"192.168.xxx.xx" -P3306 -utab -ptab -e "${sql}"
  11. done < $1



發(fā)現(xiàn)問題：

    開始以為自己遠(yuǎn)端沒有執(zhí)行，然后重新在test庫上使用以上python腳本create百表，登上去查看，發(fā)現(xiàn)操作成功。
    但是insert、update、以及delete操作無效。

    查資料得知，mysql的ddl操作是隱式提交的，而dml是需要顯示commit才能提交 成功，而我的這個python腳本沒有調(diào)用cursor.commit()，故而close之后并沒有提交相應(yīng)的操作。

    這里要區(qū)分shell中連接執(zhí)行和python MySQLdb模塊中連接執(zhí)行的區(qū)別：
    
    ①shell中寫的是連接到庫上默認(rèn)autocommit是開啟的，故而執(zhí)行時自動提交的，
    ②而pyrhon的該模塊在dml操作之后調(diào)用conn.commit()顯示提交或者在連接mysql之后執(zhí)行設(shè)置conn.autocommit(1)。這是由于MySQLdb模塊在連接mysql之后關(guān)閉了自動提交。需要注意的是這里針對的是innodb存儲引擎，因?yàn)閙ysaim不支持事務(wù)
    
向AI問一下細(xì)節(jié)

免責(zé)聲明：本站發(fā)布的內(nèi)容（圖片、視頻和文字）以原創(chuàng)、轉(zhuǎn)載和分享為主，文章觀點(diǎn)不代表本網(wǎng)站立場，如果涉及侵權(quán)請聯(lián)系站長郵箱：is@yisu.com進(jìn)行舉報，并提供相關(guān)證據(jù)，一經(jīng)查實(shí)，將立刻刪除涉嫌侵權(quán)內(nèi)容。

AI
助
手