註解第29行的bindIp: 127.0.0.1
將com6的bindIp註解起來，變為#bindIp
將com7的bindIp註解起來，變為#bindIp
將com8的bindIp註解起來，變為#bindIp
取消第36行#replication的註解
將com6的#replication: 取消註解，變成replication:
將com7的#replication: 取消註解，變成replication:
將com8的#replication: 取消註解，變成replication:
在第37行新增Replica Set的名稱( replSetName: )
com6為 replSetName: rs0
com7為 replSetName: rs1
com8為 replSetName: rs2
注意：replSetName前面空兩格，:後面空一格，不然會報錯
#vim /etc/mongod2.conf
修改將第10行的path: /var/log/mongodb/mongod.log
將com6的mongod.log改為mongod2.log
將com7的mongod.log改為mongod2.log
將com8的mongod.log改為mongod2.log
修改第14行的dbPath: /var/lib/mongo
將com6的mongo改為dbPath: /var/lib/mongo2
將com7的mongo改為dbPath: /var/lib/mongo2
將com8的mongo改為dbPath: /var/lib/mongo2
修改第28行的port: 27017
com6改為port: 27018
com7改為port: 27018
註解第29行的bindIp: 127.0.0.1
將com6的bindIp註解起來，變為#bindIp
將com7的bindIp註解起來，變為#bindIp
將com8的bindIp註解起來，變為#bindIp
取消第36行#replication的註解
將com6的#replication: 取消註解，變成replication:
將com7的#replication: 取消註解，變成replication:
將com8的#replication: 取消註解，變成replication:
在第37行新增Replica Set的名稱( replSetName: )
com6為 replSetName: rs0
com7為 replSetName: rs1
com8為 replSetName: rs2
注意：replSetName前面空兩格，:後面空一格，不然會報錯
#vim /etc/mongod3.conf
修改將第10行的path: /var/log/mongodb/mongod.log
將com6的mongod.log改為mongod3.log
將com7的mongod.log改為mongod3.log
將com8的mongod.log改為mongod3.log
修改第14行的dbPath: /var/lib/mongo
將com6的mongo改為dbPath: /var/lib/mongo3
將com7的mongo改為dbPath: /var/lib/mongo3
將com8的mongo改為dbPath: /var/lib/mongo3
修改第28行的port: 27017
com6改為port: 27019
com7改為port: 27019
註解第29行的bindIp: 127.0.0.1
將com6的bindIp註解起來，變為#bindIp
將com7的bindIp註解起來，變為#bindIp
將com8的bindIp註解起來，變為#bindIp
取消第36行#replication的註解
將com6的#replication: 取消註解，變成replication:
將com7的#replication: 取消註解，變成replication:
將com8的#replication: 取消註解，變成replication:
在第37行新增Replica Set的名稱( replSetName: )
com6為 replSetName: rs0
com7為 replSetName: rs1
com8為 replSetName: rs2
注意：replSetName前面空兩格，:後面空一格，不然會報錯
2.2. com9設定
2.2.1. config server
#vim mongo-config.conf
將第10行的path: /var/log/mongodb/mongod 改為path: /var/log/mongodb/mongod-configserv.log
將第14行的dbPath: /var/lib/mongo改為 dbPath: /var/lib/mongo-configserv
將第29行的bindIp: 127.0.0.1註解掉，改為#bindIp: 127.0.0.1
將第38行的#sharding取消註解，變為sharding
在第39行打上
clusterRole: configsvr
(clusterRole前面空兩格，:後空一格，不然會報錯)
2.2.2. routing server(mongos)
#vim /etc/mongo-routingserv.conf
將第10行的path: /var/log/mongodb/mongod 改為path: /var/log/mongodb/mongod-routingserv.log
將13~16行的與storage與旗下之選項全部註解掉
將第28行的，port: 27017改為port: 27018
將第29行的bindIp: 127.0.0.1註解掉，改為#bindIp: 127.0.0.1
將第38行的#sharding取消註解，變為sharding
在第39行打上
configDB: 192.168.1.4:27017
帶第40行打上
chunkSize: 64
(configDB與chunkSize前面空兩格，:後面空一格，不然會報錯)
3. 建立資料庫目錄
3.1. com6, com7, com8
#mv /var/lib/mongo /var/lib/mongo1
#mkdir mongo2
#mkdir mongo3
#chown mongod:mongod mongo2
#chown mongod:mongod mongo3
3.2. com9
#mv /var/lib/mongo /var/lib/mongo-configserv
三、建立Sharding Cluster
1. 建立Replica Set
1.1. 啟動mongod
在com6, com7, com8都要執行mongod
#mongod -f /etc/mongod1.conf
#mongod -f /etc/mongod2.conf
#mongod -f /etc/mongod3.conf
-f 的意思是使用設定檔執行，後面接設定檔路徑
1.2. 初始化Replica Set
假設三組Replica Set皆要以使用27017這個port的mongod作為為Primary
在com6, com7, com8執行mongo客戶端
#mongo --port 27017
--port後面接的port是mongod設定檔中的設定port
所以如果是打27018就是連入使用mongod2.conf這個設定檔的mongod
分別在三台電腦中輸入
>rs.initiate()
輸入完之後如果有顯示{“ok” : 1}表示設定成功
會看到你的輸入欄位由>變為rs0:OTHER>
過幾秒按一下Enter會發現rs0:OTHER>變為rs0>PRIMARY，此時可以知道這個mongod在Replica Set的地位已經是Primary了
1.3. 替mongod加入新成員
在com6中輸入
rs.0:PRIMARY>rs.add(”192.168.1.1:27018”)
rs.0:PRIMARY>rs.add(”192.168.1.1:27019”)
顯示{“ok” : 1}表示新增成功
在com7中輸入
rs.0:PRIMARY>rs.add(”192.168.1.2:27018”)
rs.0:PRIMARY>rs.add(”192.168.1.2:27019”)
顯示{“ok” : 1}表示新增成功
在com8中輸入
rs.0:PRIMARY>rs.add(”192.168.1.3:27018”)
rs.0:PRIMARY>rs.add(”192.168.1.3:27019”)
顯示{“ok” : 1}表示新增成功
新增成功後可以輸入rs.status()查看Replica Set查看狀態
2. Sharding Cluster設定
2.1. 在com9中啟動config server與mongos
#mongod -f /etc/mongod-configserv.conf
#mongos -f /etc/mongod-routingserv.conf
2.2. 將Replica Set轉為Shard
2.2.1. 進入mongos
#mongo --port 27018
2.2.2. 將Replica Set加入Sharding Cluster中
輸入
mongos>sh.shardAdd("rs0/192.168.1.1:27017,192.168.1.1:27018,192.168.1.1:27019”)
回傳{ "shardAdded" : "rs0",
"ok" : 1 }代表成功
mongos>sh.shardAdd("rs1/192.168.1.2:27017,192.168.1.2:27018,192.168.1.2:27019”)
回傳{ "shardAdded" : "rs1",
"ok" : 1 }代表成功
mongos>sh.shardAdd("rs2/192.168.1.3:27017,192.168.1.3:27018,192.168.1.3:27019”)
回傳{ "shardAdded" : "rs2",
"ok" : 1 }代表成功
新增完成後可以輸入
mongos>sh.status()
檢視sharding cluster狀態
做到這邊有三組ReplicaSet作為Shard的Sharding Cluster就建立成功了!!
(導入資料進入Sharding Cluster時，要導入到mongos中)
肆、測試成果
一、Replica Set測試
1. 檢查否有容錯轉移的功能，以rs0為例
關閉Primary的mongod
#mongod -f /etc/mongod1.conf --shutdown
連入使用原先為Primary的mongod
#mongo --port 27017
出現類似以下訊息表示已經成功關閉
exception: connect failed
此時在連上原先為Secondary的mongod
#mongo --port 27018
可以發現輸入指令的地方從原先的 rs0:SECONDARY> 變為 rs0:PRIMARY>
此時再重新啟動剛剛關閉的mongod
#mongod -f /etc/mongod1.conf
連上該mongod
#mongo --port 27017
可以發現輸入指令的地方從原先的 rs0:Primary> 變為 rs0:Secondary>
此時輸入
rs0:SECONDARY>rs.status()
可以發現使用port27018的mongod的"stateStr"已經由"SECONDARY"變為"PRIMARY"
而可以使用port27017的mongod的"stateStr"已經由"PRIMARY"變為"SECONDARY"
證明這個Replica Set具有容錯轉移功能
二、檢查資料是否會正常複製
1. 下載MongoDB所提供的資料及進行測試
#wget https://raw.githubusercontent.com/mongodb/docs-assets/primer-dataset/primer-dataset.json
2. 將資料集導入mongod中
#mongoimport --port 27017 --db rstest --collection restaurants --file primer-dataset.json
(只能將資料導入PRIMARY中，在這個例子中，PRIMARY還是port27017這個mongod)
3. 進入PRIMARY
#mongo --port27017
4. 進入導入的資料庫
rs1:PRIMARY>use rstest
5. 查看資料表是否有導入成功
rs1:PRIMARY>show collections
有顯示restaurants表示導入成功
6. 查看資料表內容
rs1:PRIMARY>db.restaurants.find()
7.離開mongo shell
方法a: Ctrl+C
方法b: rs1:PRIMARY>exit
7. 看看其他Replica Set中的mongod是否有相同的資料
#mongo --port 27018
8. 查看資料庫
rs1:SECONDARY>show databases
此時會報錯
Error: error: { "ok" : 0,
"errmsg" : "not master and slaveOk=false", "code"
: 13435 }
請注意在預設的情況下，即使連結到 Secondary 節點也無法進行查詢的指令，必須透過 rs.slaveOk() 的指令才能宣告此一連線可用來進行查詢，此一設計的目的是為了避免程式誤連到 Secondary 後而不自知。因為 Secondary 節點與 Primary 節點內的資料存在一段的時間差，因此兩邊的資料可能不完全一致，這個現象對於某些應用來說將導致嚴重的不良後果，所以才需透過這種方式來確認程式的意圖。
9. 執行slaveOk
rs1:SECONDARY>rslaveOk()
10. 此時就可以在Secondary執行與Primary相同的查詢
如果查詢發現結果與Primary相同，表示資料可以成功的自動複製
三、測試Sharding Cluster是否會正確切碎資料
1. 下載免費資料集並解壓縮
#wget http://jsonstudio.com/wp-content/uploads/2014/02/companies.zip
#unzip companies.zip
2. 導入資料到mongos(因為在sharding cluster中，mongos負責傳遞所有的請求)
#mongoimport --host 192.168.1.4 --port 27018 --db shtest --collection companies --file companies.json
3. 進入mongos並執行sh.status()
#mongo --port 27018
mongos>sh.status()
可以看到顯示的信息有這樣的東西
databases:
{ "_id" : "shtest", "primary" : "rs2", "partitioned" : false }
4. 讓shtest這個資料庫可以被切割
mongos>sh.enableSharding("shtest")
Enables sharding on the specified database. This does not automatically shard any collections but makes it possible to begin sharding collections using sh.shardCollection().
透過官方解釋可以得知，這個指令並不會讓資料庫裡面的資料表被切割，透過這個指令只是允許透過sh.shardCollection()來讓資料表可以開始被切割
5. 建立資料表索引
mongos>db.companies.ensureIndex({_id:"hashed"})
官方說明中寫道db.collection.ensureIndex()在3.0版後已經被較新的db.collection.createIndex()取代，但是使用較新的反而會無法切割成功，這點我還在研究
6. 開始切割
mongos>sh.shardCollection("shtest.companies", { "_id": "hashed" } )
7. 確認碎片狀態
mongos>sh.status()
可以看到以下訊息
shtest.companies
shard key: { "_id" : "hashed" }
unique: false
balancing: true
chunks:
rs0 1
rs1 1
rs2 1
{ "_id" : { "$minKey" : 1 } } -->> { "_id" : NumberLong("-591762798808544439") } on : rs0 Timestamp(2, 0)
{ "_id" : NumberLong("-591762798808544439") } -->> { "_id" : NumberLong("7934911588406832349") } on : rs2 Timestamp(3, 0)
{ "_id" : NumberLong("7934911588406832349") } -->> { "_id" : { "$maxKey" : 1 } } on : rs1 Timestamp(3, 1)
可以看出每一個Replica Set都已經獲得了一份切片，同時還會告訴用戶哪部分的切片在哪裡
伍、MongoDB相關指令
執行mongod
#mongod -f /etc/mongod.conf
關閉 mongod
#mongod -f /etc/mongod.conf --shutdown
執行config server
#mongod -f /etc/mongod-configserv.conf
關閉config server
#mongod -f /etc/mongod-configserv.conf
--shutdown
執行 mongos
#mongos -f /etc/mongod-routingserv.conf
關閉 mongos instance
#killall mongos
導入資料表
#mongoimport --port port_number --db database_name --collection collection_name [--drop] --file file_name
(使用--drop的話，如果資料庫中有名稱相同的collection，會先將舊的collection刪除，在導入新的collection)
(導入CSV指定有點不同，可以去查閱官方文件)
陸、Q&A
問題一:
執行sh.addShard()時出現類似的錯誤
{ "ok" : 0, "errmsg" : "in seed list
rs0/192.168.1.1:27017,192.168.1.1:27018,192.168.1.1:27019, host
192.168.1.1:27017 does not belong to replica set rs0; found { hosts: [
\"com6:27017\", \"192.168.1.1:27018\",
\"192.168.1.1:27019\" ], setName: \"rs0\", setVersion: 3,
ismaster: true, secondary: false, primary: \"com6:27017\", me:
\"com6:27017\", electionId: ObjectId('7fffffff0000000000000001'),
maxBsonObjectSize: 16777216, maxMessageSizeBytes: 48000000, maxWriteBatchSize:
1000, localTime: new Date(1466274842539), maxWireVersion: 4, minWireVersion: 0,
ok: 1.0 }", "code" : 96}
解決辦法：修改rs0的hostname
1. 進入rs0的Primary並輸入rs.status()，檢查"members"的"name"
{ "_id" : 0, "name" :
"com6:27017", "health" : 1, "state" : 1, "stateStr" :
"PRIMARY", "uptime" :
103335, "optime" : { "ts"
: Timestamp(1466175445, 12359), "t" :
NumberLong(1) }, "optimeDate"
: ISODate("2016-06-17T14:57:25Z"),
"electionTime" : Timestamp(1466171888, 2),
"electionDate" : ISODate("2016-06-17T13:58:08Z"),
"configVersion" : 3, "self" : true }
如果是像這樣"name":"com6:27017"，就要用rs.reconfig()修改"name"
2. 執行以下指令修改"name"
rs0:PRIMARY>
cfg=rs.conf()
rs0:PRIMARY>
cfg.members[0].host="192.168.1.1:27017"
rs0:PRIMARY>
rs.reconfig(cfg)
此時會回傳{
"ok" : 1 }表示修改成功，可以輸入rs.status()檢查成果
此時sh.addShard()應該就可以正常執行
問題二：執行sh.addShard()時出現類似的錯誤
解決辦法一：檢查防火牆設定
解決辦法二：在mongos所在的電腦中的/etc/hosts
例如
192.168.1.1 com6
192.168.1.2 com7
192.168.1.3 com8
問題三：執行rs.initiate()時出現以下錯誤
{ "info2" : "no configuration explicitly specified -- making one", "me" : "0.0.0.0:27017", "errmsg" : "couldn't initiate : can't find self in the replset config", "ok" : 0}
解決辦法：輸入以下指令
>cfg = {"_id" : "rs0","members" : [{"_id" : 0,"host" : "192.168.1.1:27017"}]}
(Primary的資料)
>rs.initiate(cfg)
柒、免費資料集
1. https://raw.githubusercontent.com/mongodb/docs-assets/primer-dataset/primer-dataset.json
2. http://jsonstudio.com/wp-content/uploads/2014/02/companies.zip
(14.8M compressed)
3. http://jsonstudio.com/wp-content/uploads/2014/02/stocks.zip
(1.6M compressed)
4. http://jsonstudio.com/wp-content/uploads/2014/02/enron.zip
(3.9M compressed)
5. http://jsonstudio.com/wp-content/uploads/2014/02/zips.zip
(656K compressed).
6. http://jsonstudio.com/wp-content/uploads/2014/02/world_bank.zip
(436K compressed)
