mongodb相關(guān)(單實(shí)例、復(fù)制集、分片集)
1、下載包地址
1、各個版本的下載地址
https://www.mongodb.org/downloads
2、本文安裝最新版本3.6.5
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.6.5.tgz
2、安裝
1、解壓
tar xf mongodb-linux-x86_64-3.6.5.tgz && mv mongodb-linux-x86_64-3.6.5 /usr/local/mongodb-3.6.5
2、創(chuàng)建相關(guān)目錄
mkdir -p /data/mongodb27017/{data,log,conf}
3、參數(shù)文件配置,vim /data/mongodb27017/conf/mongodb-27017.cnf
port=27017
bind_ip=192.168.142.48,127.0.0.1
dbpath=/data/mongodb27017/data
logpath=/data/mongodb27017/log/mongodb.log
pidfilepath=/data/mongodb27017/mongodb.pid
logappend=true
fork=true
auth=true
3、啟動和關(guān)閉
1、啟動mongodb
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27017/conf/mongodb-27017.cnf
2、客戶端命令行首次進(jìn)入
/usr/local/mongodb-3.6.5/bin/mongo --port=27017
3、創(chuàng)建超管用戶
db.createUser(
{
user: "admin",
pwd: "123456",
roles: [ { role: "root", db: "admin" } ]
}
)
4、客戶端命令行再次進(jìn)入
/usr/local/mongodb-3.6.5/bin/mongo 192.168.142.48:27017/admin -u admin -p123456
> db.getCollectionNames()
[ "system.users", "system.version" ]
5、關(guān)閉mongodb
/usr/local/mongodb-3.6.5/bin/mongo 192.168.142.48:27017/admin -u admin -p123456
> db.shutdownServer()
?
二、 mongodb的復(fù)制集搭建
在單實(shí)例的基礎(chǔ)上創(chuàng)建復(fù)制集(已經(jīng)配置超管用戶)
192.168.142.48:27017
192.168.142.48:27018
192.168.142.48:27019
1、新增keyfile文件
1、vim keyfile
123456all
2、設(shè)置權(quán)限
chmod 600 keyfile
2、配置文件,基于單實(shí)例的基礎(chǔ)上額外增加
# /data/mongodb27017/conf/mongodb-27017.cnf
keyFile=/data/mongodb27017/keyfile
oplogSize=1024
replSet=rs_one
# /data/mongodb27018/conf/mongodb-27018.cnf
keyFile=/data/mongodb27018/keyfile
oplogSize=1024
replSet=rs_one
# /data/mongodb27019/conf/mongodb-27019.cnf
keyFile=/data/mongodb27019/keyfile
oplogSize=1024
replSet=rs_one
3、啟動實(shí)例
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27017/conf/mongodb-27017.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27018/conf/mongodb-27018.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27019/conf/mongodb-27019.cnf
4、配置復(fù)制集
1、任意一臺命令行登錄
/usr/local/mongodb-3.6.5/bin/mongo 192.168.142.48:27017/admin -u admin -p123456
2、配置復(fù)制集成員
config = {
"_id":"rs_one",
members:[
{"_id":0,host:"192.168.142.48:27017"},
{"_id":1,host:"192.168.142.48:27018"},
{"_id":2,host:"192.168.142.48:27019",arbiterOnly:true}]
}
3、初始化復(fù)制集
rs.initiate(config)
4、查看復(fù)制集狀態(tài)
rs.conf(),查看副本集的配置
rs.status(),查看副本集的狀態(tài)
rs.printSlaveReplicationInfo(),查看各節(jié)點(diǎn)同步狀態(tài)
rs.printReplicationInfo(),查看同步事件概況
db.isMaster(),查看當(dāng)前復(fù)制集概況
5、復(fù)制集的管理
1、添加副本集成員
使用rs.add(HOST_NAME:PORT)添加新的副本集機(jī)器,例如:rs.add("192.168.142.48:27019")
2、刪除副本集成員
使用rs.remove(HOST_NAME:PORT)刪除副本集機(jī)器,例如:rs.remove("192.168.142.48:27019")
3、副本集參數(shù)配置
對于復(fù)雜的副本集配置,rs.reconfig函數(shù)修改比rs.add和rs.remove更有用
var a = rs.config()
rs.reconfig(a)
4、解決報錯"not master and slaveOk=false"
1).本次生效 rs.slaveOk();
2).永久生效 vim ~/.mongorc.js,增加一行rs.slaveOk(); 這樣的話以后每次通過mongo命令進(jìn)入從庫都可以查詢了
5、對于仲裁節(jié)點(diǎn)修改為副本集普通成員
1、刪除仲裁節(jié)點(diǎn),rs.remove("192.168.142.48:27019")
2、重新啟動仲裁節(jié)點(diǎn)所在實(shí)例(必須)
3、重新添加成員,rs.add("192.168.142.48:27019")
6、手動降級主節(jié)點(diǎn)為普通節(jié)點(diǎn)
PRIMARY> rs.stepDown()
6、復(fù)制集選舉節(jié)點(diǎn)原理
當(dāng)一個備份節(jié)點(diǎn)無法與主節(jié)點(diǎn)聯(lián)通時,他就聯(lián)系并請求其他成員將自己選舉為主節(jié)點(diǎn),其他成員做幾項(xiàng)理性的檢查
1、自身是否能夠與主節(jié)點(diǎn)聯(lián)通
2、希望被選舉為主節(jié)點(diǎn)的備份節(jié)點(diǎn)的數(shù)據(jù)是否是最新
3、有沒有其他更高優(yōu)先級的成員可以被選舉為主節(jié)點(diǎn)
發(fā)生主節(jié)點(diǎn)選舉時,優(yōu)先級priority最高的備份節(jié)點(diǎn)如果數(shù)據(jù)不是最新,必須使用復(fù)制將自己的數(shù)據(jù)更新為最新或最新之一,才能成為新的主節(jié)點(diǎn)
?
三、 mongodb的分片集搭建
分片集的原理
在復(fù)制集搭建的基礎(chǔ)上創(chuàng)建分片集
復(fù)制集rs_one
192.168.142.48:27017
192.168.142.48:27018
192.168.142.48:27019
復(fù)制集rs_two
192.168.142.49:27017
192.168.142.49:27018
192.168.142.49:27019
復(fù)制集rs_three
192.168.142.50:27017
192.168.142.50:27018
192.168.142.50:27019
配置服務(wù)器config server復(fù)制集
復(fù)制集rs_cfg
192.168.142.48:40011
192.168.142.48:40012
192.168.142.48:40013
1、配置文件
1、rs_one,rs_two,rs_three涉及的實(shí)例配置文件需要(在復(fù)制集的基礎(chǔ)上)額外添加
shardsvr=true
2、rs_cfg涉及的實(shí)例配置文件需要(在復(fù)制集的基礎(chǔ)上)額外添加
configsvr=true
3、mongos的配置文件
port=20000
bind_ip=192.168.142.48,127.0.0.1
logpath=/data/mongodb20000/log/mongodb.log
pidfilepath=/data/mongodb20000/mongodb.pid
keyFile=/data/mongodb20000/keyfile
logappend=true
fork=true
configdb=rs_cfg/192.168.142.48:40011,192.168.142.48:40012,192.168.142.48:40013
note:其中rs_cfg/192.168.142.48:40011,192.168.142.48:40012,192.168.142.48:40013為config server復(fù)制集
2、keyfile文件內(nèi)容保持一致
復(fù)制集rs_one,rs_two,rs_three的keyfile文件內(nèi)容
config server復(fù)制集rs_cfg的keyfile文件內(nèi)容
mongos的keyfile文件內(nèi)容
文件內(nèi)容(可更復(fù)雜設(shè)置)
123456all
3、啟動
1、啟動復(fù)制集
rs_one 192.168.142.48
rs_two 192.168.142.49
rs_three 192.168.142.50
分別啟動復(fù)制集
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27017/conf/mongodb-27017.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27018/conf/mongodb-27018.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb27019/conf/mongodb-27019.cnf
2、啟動config server復(fù)制集rs_cfg
rs_cfg 192.168.142.48
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb40011/conf/mongodb-40011.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb40012/conf/mongodb-40012.cnf
/usr/local/mongodb-3.6.5/bin/mongod -f /data/mongodb40013/conf/mongodb-40013.cnf
3、啟動mongos
192.168.142.48
/usr/local/mongodb-3.6.5/bin/mongos -f /data/mongodb20000/conf/mongodb-20000.cnf
4、配置分片
1、命令行進(jìn)入mongos
/usr/local/mongodb-3.6.5/bin/mongo 192.168.142.48:20000/admin -u admin -p123456
note:這里雖然搭建mongos無密碼auth認(rèn)證,但是必須使用密碼認(rèn)證登錄才能添加分片,密碼和config server保持一致
2、將副本集加入集群中
sh.addShard("rs_one/192.168.142.48:27017,192.168.142.48:27018,192.168.142.48:27019")
sh.addShard("rs_two/192.168.142.49:27017,192.168.142.49:27018,192.168.142.49:27019")
sh.addShard("rs_three/192.168.142.50:27017,192.168.142.50:27018,192.168.142.50:27019")
3、查看集群狀態(tài)
sh.status()
4、配置表的分片策略
db.runCommand({enablesharding:"wang"})
db.runCommand({shardcollection:"wang.t1",key:{id:1}})
5、查看表狀態(tài)
use wang
for(var i=0;i<100000;i++) db.t1.insert({"id":i,uname:'wdw'+i});
db.t1.stats()
5、報錯解決,添加addShard沖突
1、報錯信息
mongos> sh.addShard("rs_one/192.168.142.48:27017,192.168.142.48:27018,192.168.142.48:27019")
{
"ok" : 0,
"errmsg" : "E11000 duplicate key error collection: admin.system.version index: _id_ dup key: { : \"shardIdentity\" }",
"code" : 11000,
"codeName" : "DuplicateKey",
......
}
2、解決,連接rs_one主節(jié)點(diǎn),刪除admin.system.version集合中記錄
rs_one:PRIMARY> db.system.version.remove({"_id":"shardIdentity"})
WriteResult({
"writeError" : {
"code" : 13,
"errmsg" : "not authorized on admin to execute command { delete: \"system.version\", ordered: true, $clusterTime: { clusterTime: Timestamp(1528280178, 1), signature: { hash: BinData(0, 914ECCE14D194F41251247EAB282E1F346D4C7D0), keyId: 6563852648502525972 } }, $db: \"admin\" }"
}
})
報錯由于admin用戶的角色是root,不具有修改admin.system.version的權(quán)限,添加對應(yīng)權(quán)限
db.grantRolesToUser("admin", [ { role: "__system", db: "admin" } ])
3、再次刪除
rs_one:PRIMARY> db.system.version.remove({"_id":"shardIdentity"})
WriteResult({
"nRemoved" : 0,
"writeError" : {
"code" : 40070,
"errmsg" : "cannot delete shardIdentity document while in --shardsvr mode"
}
})
刪除時報錯,意思是說不能在分片模式下刪除這張表中的這條記錄,然后我們關(guān)閉rs_one,然后以非shardsvr的方式啟動,刪除這條記錄后,再以shardsvr方式啟動
4、以非shardsvr的方式啟動,刪除這條記錄,再以shardsvr方式啟動
1)配置文件注釋掉 #shardsvr=true
2)重新啟動實(shí)例
3)刪除system.version對應(yīng)記錄,db.system.version.remove({"_id":"shardIdentity"})
4)配置文件開啟 shardsvr=true
5)重新啟動實(shí)例
5、重新addShard
ongos> sh.addShard("rs_one/192.168.142.48:27017,192.168.142.48:27018,192.168.142.48:27019")
{
"shardAdded" : "rs_one",
"ok" : 1,
"$clusterTime" : {
"clusterTime" : Timestamp(1528284663, 7),
"signature" : {
"hash" : BinData(0,"qLejzYtJDR1Bpt84+Hapdi1w1/I="),
"keyId" : NumberLong("6563903792973086740")
}
},
"operationTime" : Timestamp(1528284663, 7)
}