5大主流方案對比：MySQL千億級數(shù)據(jù)線上平滑擴容實戰(zhàn)
在項目初期，我們部署了三個數(shù)據(jù)庫A、B、C，此時數(shù)據(jù)庫的規(guī)模可以滿足我們的業(yè)務需求。為了將數(shù)據(jù)做到平均分配，我們在Service服務層使用uid%3進行取模分片，從而將數(shù)據(jù)平均分配到三個數(shù)據(jù)庫中。
如圖所示：
后期隨著用戶量的增加，用戶產(chǎn)生的數(shù)據(jù)信息被源源不斷的添加到數(shù)據(jù)庫中，最終達到數(shù)據(jù)庫的最佳存儲容量。如果此時繼續(xù)向數(shù)據(jù)庫中新增數(shù)據(jù)，會導致數(shù)據(jù)庫的CRUD等基本操作變慢，進而影響整個服務的響應速度。
這時，我們需要增加新的節(jié)點，對數(shù)據(jù)庫進行水平擴容，那么加入新的數(shù)據(jù)庫D后，數(shù)據(jù)庫的規(guī)模由原來的3個變?yōu)?個。
如圖所示：
此時由于分片規(guī)則發(fā)生了變化（uid%3 變?yōu)閡id%4），導致大部分的數(shù)據(jù)，無法命中原有的數(shù)據(jù)，需要重新進行分配，要做大量的數(shù)據(jù)遷移處理。
比如之前uid如果是uid=3取模3%3=0， 是分配在A庫上，新加入D庫后， uid=3取模3%4=3，分配在D庫上；
新增一個節(jié)點， 大概會有90%的數(shù)據(jù)需要遷移， 這樣會面臨大量的數(shù)據(jù)壓力，并且對服務造成極大的不穩(wěn)定性。
1. 五個方案
1.1 停機方案
發(fā)布公告：為了進行數(shù)據(jù)的重新拆分，在停止服務之前，我們需要提前通知用戶，比如：我們的服務會在yyyy-MM-dd進行升級，給您帶來的不便敬請諒解。
停止服務：關閉Service
離線數(shù)據(jù)遷移（拆分，重新分配數(shù)據(jù)）：將舊庫中的數(shù)據(jù)按照Service層的算法，將數(shù)據(jù)拆分，重新分配數(shù)據(jù)
數(shù)據(jù)校驗：開發(fā)定制一個程序?qū)εf庫和新庫中的數(shù)據(jù)進行校驗，比對
更改配置：修改Service層的配置算法，也就是將原來的uid%3變?yōu)閡id%4
恢復服務：重啟Service服務
回滾預案：針對上述的每個步驟都要有數(shù)據(jù)回滾預案，一旦某個環(huán)節(jié)（如：數(shù)據(jù)遷移，恢復服務等）執(zhí)行失敗，立刻進行回滾，重新再來
停止服務之后， 能夠保證遷移工作的正常進行， 但是服務停止，傷害用戶體驗， 并造成了時間壓力， 必須在指定的時間內(nèi)完成遷移。
1.2 停寫方案
支持讀寫分離：數(shù)據(jù)庫支持讀寫分離，在擴容之前，每個數(shù)據(jù)庫都提供了讀寫功能，數(shù)據(jù)重新分配的過程中，將每個數(shù)據(jù)庫設置為只讀狀態(tài)，關閉寫的功能
升級公告：為了進行數(shù)據(jù)的重新拆分，在停寫之前，我們需要提前通知用戶，比如：我們的服務會在yyyy-MM-dd進行升級，給您帶來的不便敬請諒解。
中斷寫操作，隔離寫數(shù)據(jù)源（或攔截返回統(tǒng)一提示）：在Service層對所有的寫請求進行攔截，統(tǒng)一返回提示信息，如：服務正在升級中，只對外提供讀服務
數(shù)據(jù)同步處理：將舊庫中的數(shù)據(jù)按照Service層的算法，將數(shù)據(jù)重新分配，遷移（復制數(shù)據(jù)）
數(shù)據(jù)校驗：開發(fā)定制一個程序?qū)εf庫中的數(shù)據(jù)進行備份，使用備份的數(shù)據(jù)和重新分配后的數(shù)據(jù)進行校驗，比對
更改配置：通過配置中心，修改Service層的配置算法，也就是將原來的uid%3變?yōu)閡id%4，這個過程不需要重啟服務
恢復寫操作：設置數(shù)據(jù)庫恢復讀寫功能，去除Service層的攔截提示
數(shù)據(jù)清理：使用delete語句對冗余數(shù)據(jù)進行刪除
回滾預案：針對上述的每個步驟都要有數(shù)據(jù)回滾預案，一旦某個環(huán)節(jié)（如：數(shù)據(jù)遷移等）執(zhí)行失敗，立刻進行回滾，重新再來
缺點：在數(shù)據(jù)的復制過程需要消耗大量的時間，停寫時間太長，數(shù)據(jù)需要先復制，再清理冗余數(shù)據(jù)
1.3 日志方案
核心是通過日志進行數(shù)據(jù)庫的同步遷移， 主要操作步驟如下：
1、數(shù)據(jù)遷移之前， 業(yè)務應用訪問舊的數(shù)據(jù)庫節(jié)點。
2、日志記錄
在升級之前， 記錄“對舊數(shù)據(jù)庫上的數(shù)據(jù)修改”的日志（這里修改包括增、刪、改），這個日志不需要記錄詳細的數(shù)據(jù)信息，主要記錄：
（1）修改的庫；
（2）修改的表；
（3）修改的唯一主鍵；
（4）修改操作類型。
日志記錄不用關注新增了哪些信息，修改的數(shù)據(jù)格式，只需要記錄以上數(shù)據(jù)信息，這樣日志格式是固定的， 這樣能保證方案的通用性。
服務升級日志記錄功能風險較?。?/p>
寫和修改接口是少數(shù)， 改動點少；
升級只是增加了一些日志，采用異步方式實現(xiàn)， 對業(yè)務功能沒有太多影響。
3、數(shù)據(jù)遷移：
研發(fā)定制數(shù)據(jù)遷移工具， 作用是把舊庫中的數(shù)據(jù)遷移至新庫中。
整個過程仍然采用舊庫進行對外服務。
數(shù)據(jù)同步工具實現(xiàn)復雜度不高。
只對舊庫進行讀取操作， 如果同步出現(xiàn)問題， 都可以對新庫進行回滾操作。
可以限速或分批遷移執(zhí)行， 不會有時間壓力。
數(shù)據(jù)遷移完成之后， 并不能切換至新庫提供服務。
因為舊庫依然對線上提供服務， 庫中的數(shù)據(jù)隨時會發(fā)生變化， 但這些變化的數(shù)據(jù)并沒有同步到新庫中， 舊庫和新庫數(shù)據(jù)不一致， 所以不能直接進行切換， 需要將數(shù)據(jù)同步完整。
4、日志增量遷移
研發(fā)一個日志遷移工具，把上面遷移數(shù)據(jù)過程中的差異數(shù)據(jù)追平，處理步驟：
讀取log日志，獲取具體是哪個庫、表和主鍵發(fā)生了變化修改；
把舊庫中的主鍵記錄讀取出來
根據(jù)主鍵ID，把新庫中的記錄替換掉
這樣可以最大程度的保障數(shù)據(jù)的一致性。風險分析：
整個過程， 仍然是舊庫對線上提供服務；
日志遷移工具實現(xiàn)的復雜度較低；
任何時間發(fā)現(xiàn)問題， 可以重新再來，有充分的容錯空間；
可以限速重放處理日志， 處理過程不會因為對線上影響造成時間壓力。
但是， 日志增量同步完成之后， 還不能切換到新的數(shù)據(jù)庫。
因為日志增量同步過程中，舊庫中可能有數(shù)據(jù)發(fā)生變化， 導致數(shù)據(jù)不一致，所以需要進一步讀取日志， 追平數(shù)據(jù)記錄； 日志增量同步過程隨時可能會產(chǎn)生新的數(shù)據(jù)， 新庫與舊庫的數(shù)據(jù)追平也會是一個無限逼近的過程。
5、數(shù)據(jù)校驗
準備好數(shù)據(jù)校驗工具，將舊庫和新庫中的數(shù)據(jù)進行比對，直到數(shù)據(jù)完全一致。
6、切換新庫
數(shù)據(jù)比對完成之后， 將流量轉(zhuǎn)移切換至新庫， 至此新庫提供服務， 完成遷移。
但是在極限情況下， 即便通過上面的數(shù)據(jù)校驗處理， 也有可能出現(xiàn)99.99%數(shù)據(jù)一致， 不能保障完全一致，這個時候可以在舊庫做一個readonly只讀功能， 或者將流量屏蔽降級，等待日志增量同步工具完全追平后， 再進行新庫的切換。
至此，完成日志方案的遷移擴容處理， 整個過程能夠持續(xù)對線上提供服務， 只會短暫的影響服務的可用性。
這種方案的弊端，是操作繁瑣，需要適配多個同步處理工具，成本較高， 需要制定個性化業(yè)務的同步處理， 不具備普遍性，耗費的時間周期也較長。
1.4 雙寫方案（中小型數(shù)據(jù)）
雙寫方案可通過canal或mq做實現(xiàn)。
增加新庫，按照現(xiàn)有節(jié)點， 增加對應的數(shù)量。
數(shù)據(jù)遷移：避免增量影響， 先斷開主從，再導入（耗時較長）， 同步完成并做校驗
增量同步：開啟Canal同步服務， 監(jiān)聽從節(jié)點數(shù)據(jù)庫， 再開啟主從同步，從節(jié)點收到數(shù)據(jù)后會通過Canal服務， 傳遞至新的DB節(jié)點。
切換新庫：通過Nginx，切換訪問流量至新的服務。
修復切換異常數(shù)據(jù)：在切換過程中， 如果出現(xiàn)，Canal未同步，但已切換至新庫的請求（比如下單，修改了資金， 但還未同步 ）， 可以通過定制程序， 讀取檢測異常日志，做自動修復或人工處理。
針對此種情況， 最好是在凌晨用戶量小的時候， 或?qū)ｉT停止外網(wǎng)訪問，進行切換，減少異常數(shù)據(jù)的產(chǎn)生。
數(shù)據(jù)校驗：為保障數(shù)據(jù)的完全一致， 有必要對數(shù)據(jù)的數(shù)量完整性做校驗。
1.5平滑2N方案（大數(shù)據(jù)量）
線上數(shù)據(jù)庫，為了保障其高可用，一般每臺主庫會配置一臺從庫，主庫負責讀寫，從庫負責讀取。下圖所示，A，B是主庫，A0和B0是從庫。
1、當需要擴容的時候，我們把A0和B0升級為新的主庫節(jié)點，如此由2個分庫變?yōu)?個分庫。同時在上層的分片配置，做好映射，規(guī)則如下:
把uid%4=0和uid%4=2的數(shù)據(jù)分別分配到A和A0主庫中
把uid%4=1和uid%4=3的數(shù)據(jù)分配到B和B0主庫中
2、因為A和A0庫的數(shù)據(jù)相同，B和B0數(shù)據(jù)相同，此時無需做數(shù)據(jù)遷移。只需調(diào)整變更一下分片配置即可，通過配置中心更新，不需要重啟。
由于之前uid%2的數(shù)據(jù)是分配在2個庫里面，擴容之后需要分布到4個庫中，但由于舊數(shù)據(jù)仍存在（uid%4=0的節(jié)點,還有一半uid%4=2的數(shù)據(jù)），所以需要對冗余數(shù)據(jù)做一次清理。
這個清理，并不會影響線上數(shù)據(jù)的一致性，可以隨時隨地進行。
3、處理完成之后，為保證數(shù)據(jù)的高可用，以及將來下一步的擴容需求。
可以為現(xiàn)有的主庫再次分配一個從庫。
基于 Spring Boot + MyBatis Plus + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能
2. 平滑2N擴容方案實踐
2.1 實現(xiàn)應用服務級別的動態(tài)擴容
擴容前部署架構(gòu)：
2.1.1 MariaDB服務安裝
切換阿里云鏡像服務（YUM安裝過慢可以切換）
yum-yinstallwget #備份CentOS-Base.repo mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.bak wget-O/etc/yum.repos.d/CentOS-Base.repohttp://mirrors.aliyun.com/repo/Centos-7.repo wget-P/etc/yum.repos.d/http://mirrors.aliyun.com/repo/epel-7.repo yumcleanall yummakecache
配置YUM源
vi/etc/yum.repos.d/mariadb-10.2.repo
增加以下內(nèi)容：
[mariadb] name=MariaDB baseurl=https://mirrors.ustc.edu.cn/mariadb/yum/10.2/centos7-amd64 gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB gpgcheck=1
執(zhí)行安裝
yum-yinstallmariadbmariadb-serverMariaDB-clientMariaDB-common
如果之前已經(jīng)安裝， 需要先刪除（如果之前沒有安裝， 可以忽略此步驟）
停止Mariadb服務
[root@localhostyum.repos.d]#ps-ef|grepmysql root195410Oct04?0043/usr/sbin/mysqld--wsrep-new-cluster--user=root root8952181403007:40pts/00000grep--color=automysql [root@localhostyum.repos.d]#kill1954
卸載Mariadb服務
yum-yremoveMaria*
刪除數(shù)據(jù)與配置：
rm-rf/var/lib/mysql/* rm-rf/etc/my.cnf.d/ rm-rf/etc/my.cnf
啟動MariaDB后，執(zhí)行安全配置向?qū)?，可根?jù)安全配置向?qū)岣邤?shù)據(jù)庫的安全性
systemctlstartmariadb mysql_secure_installation
開啟用戶遠程連接權限
將連接用戶root開啟遠程連接權限；
mysql-uroot-p654321
進入MySQL服務， 執(zhí)行以下操作：
usemysql; deletefromuser; #配置root用戶使用密碼654321從任何主機都可以連接到mysql服務器 GRANTALLPRIVILEGESON*.*TO'root'@'%'IDENTIFIEDBY'654321'WITHGRANTOPTION; FLUSHPRIVILEGES;
2.1.2 MariaDB雙主同步
在Server1增加配置：
在/etc/my.cnf中添加以下配置：
[mysqld] server-id=1 log-bin=mysql-bin relay-log=mysql-relay-bin #忽略mysql、information_schema庫下對表的操作 replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% #默認的情況下mysql是關閉的; log-slave-updates=on #復制過程中，有任何錯誤，直接跳過 slave-skip-errors=all auto-increment-offset=1 auto-increment-increment=2 #binlog的格式：STATEMENT，ROW，MIXED binlog_format=mixed #自動過期清理binlog，默認0天，即不自動清理 expire_logs_days=10
注意， Server1自增為奇數(shù)位：
auto-increment-offset=1 主鍵自增基數(shù), 從1開始。
auto-increment-increment=2 主鍵自增偏移量，每次為2。
在Server2增加配置：
修改/etc/my.cnf:
[mysqld] server-id=2 log-bin=mysql-bin relay-log=mysql-relay-bin replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% log-slave-updates=on slave-skip-errors=all auto-increment-offset=2 auto-increment-increment=2 binlog_format=mixed expire_logs_days=10
Server2自增為偶數(shù)位：
auto-increment-offset=2 主鍵自增基數(shù), 從2開始。
auto-increment-increment=2 主鍵自增偏移量，每次為2。
配置修改完成后， 重啟數(shù)據(jù)庫。
同步授權配置
在Server1創(chuàng)建replica用于主從同步的用戶：
MariaDB[(none)]>grantreplicationslave,replicationclienton*.*to'replica'@'%'identifiedby'replica'; mysql>flushprivileges;
查詢?nèi)罩疚募c偏移量，開啟同步時需使用：
MariaDB[(none)]>showmasterstatus; +------------------+----------+--------------+------------------+ ||Position|Binlog_Do_DB|Binlog_Ignore_DB| +------------------+----------+--------------+------------------+ |mysql-bin.000001|663||| +------------------+----------+--------------+------------------+
同樣， 在Server2創(chuàng)建replica用于主從同步的用戶：
MariaDB[(none)]>grantreplicationslave,replicationclienton*.*to'replica'@'%'identifiedby'replica'; mysql>flushprivileges;
查詢?nèi)罩疚募c偏移量：
MariaDB[(none)]>showmasterstatus; +------------------+----------+--------------+------------------+ ||Position|Binlog_Do_DB|Binlog_Ignore_DB| +------------------+----------+--------------+------------------+ |mysql-bin.000001|663||| +------------------+----------+--------------+------------------+
配置主從同步信息
在Server1中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.141',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000007',master_log_pos=374,master_connect_retry=30;
在Server2中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.140',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000015',master_log_pos=374,master_connect_retry=30;
開啟雙主同步
在Server1和Server2中分別執(zhí)行：
MariaDB[(none)]>startslave; QueryOK,0rowsaffected(0.00sec)
在Server1查詢同步信息：
MariaDB[(none)]>showslavestatusG; ***************************1.row*************************** Slave_IO_State:Waitingformastertosendevent Master_Host:10.10.20.126 Master_User:replica Master_Port:3306 Connect_Retry:30 Master_Log_:mysql-bin.000001 Read_Master_Log_Pos:663 Relay_Log_:mysql-relay-bin.000002 Relay_Log_Pos:555 Relay_Master_Log_:mysql-bin.000001 Slave_IO_Running:Yes Slave_SQL_Running:Yes ...
在Server2查詢同步信息：
MariaDB[(none)]>showslavestatusG; ***************************1.row*************************** Slave_IO_State:Waitingformastertosendevent Master_Host:10.10.20.125 Master_User:replica Master_Port:3306 Connect_Retry:30 Master_Log_:mysql-bin.000001 Read_Master_Log_Pos:663 Relay_Log_:mysql-relay-bin.000002 Relay_Log_Pos:555 Relay_Master_Log_:mysql-bin.000001 Slave_IO_Running:Yes Slave_SQL_Running:Yes ...
Slave_IO_Running和Slave_SQL_Running 都是Yes，說明雙主同步配置成功。
2.1.3 KeepAlived安裝與高可用配置
在Server1與Server2兩臺節(jié)點安裝keepalived：
yum-yinstallkeepalived
關閉防火墻
systemctlstopfirewalld systemctldisablefirewalld
設置主機名稱：
Server1節(jié)點：
hostnamectlset-hostnamevip1
Server2節(jié)點：
hostnamectlset-hostnamevip2
Server1節(jié)點配置
/etc/keepalived/keepalived.conf：
global_defs{
router_idvip1#機器標識，和主機名保持一致，運行keepalived服務器的一個標識
}
vrrp_instanceVI_1{#vrrp實例定義
stateBACKUP#lvs的狀態(tài)模式，MASTER代表主，BACKUP代表備份節(jié)點
interfaceens33#綁定對外訪問的網(wǎng)卡，vrrp實例綁定的網(wǎng)卡
virtual_router_id111#虛擬路由標示，同一個vrrp實例采用唯一標示
priority100#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高
advert_int1#master與backup節(jié)點同步檢查的時間間隔，單位是秒
authentication{#設置驗證信息
auth_typePASS#有PASS和AH兩種
auth_pass6666#驗證密碼，BACKUP密碼須相同
}
virtual_ipaddress{#KeepAlived虛擬的IP地址
192.168.116.150
}
}
virtual_server192.168.116.1503306{#配置虛擬服務器IP與訪問端口
delay_loop6#健康檢查時間
lb_algorr#負載均衡調(diào)度算法，rr代表輪詢
lb_kindDR#負載均衡轉(zhuǎn)發(fā)規(guī)則DR/NAT/
persistence_timeout0#會話保持時間，這里要做測試，所以設為0，實際可根據(jù)session有效時間配置
protocolTCP#轉(zhuǎn)發(fā)協(xié)議類型，支持TCP和UDP
real_server192.168.116.1403306{#配置服務器節(jié)點VIP1
notify_down/usr/local/shell/mariadb.sh#當服務掛掉時，會執(zhí)行此腳本，結(jié)束keepalived進程
weight1#設置權重，越大權重越高
TCP_CHECK{#狀態(tài)監(jiān)測設置
connect_timeout10#超時配置，單位秒
retry3#重試次數(shù)
delay_before_retry3#重試間隔
connect_port3306#連接端口，和上面保持一致
}
}
}
創(chuàng)建關閉腳本mariadb.sh
/usr/local/shell/mariadb.sh：
pkillkeepalived
加入執(zhí)行權限：
chmoda+xmariadb.sh
Server2節(jié)點配置：
global_defs{
router_idvip2#機器標識，和主機名保持一致，運行keepalived服務器的一個標識
}
vrrp_instanceVI_1{#vrrp實例定義
stateBACKUP#lvs的狀態(tài)模式，MASTER代表主，BACKUP代表備份節(jié)點
interfaceens33#綁定對外訪問的網(wǎng)卡
virtual_router_id111#虛擬路由標示，同一個vrrp實例采用唯一標示
priority98#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高
advert_int1#master與backup節(jié)點同步檢查的時間間隔，單位是秒
authentication{#設置驗證信息
auth_typePASS#有PASS和AH兩種
auth_pass6666#驗證密碼，BACKUP密碼須相同
}
virtual_ipaddress{#KeepAlived虛擬的IP地址
192.168.116.150
}
}
virtual_server192.168.116.1503306{#配置虛擬服務器IP與訪問端口
delay_loop6#健康檢查時間
lb_algorr#負載均衡調(diào)度算法，rr代表輪詢,可以關閉
lb_kindDR#負載均衡轉(zhuǎn)發(fā)規(guī)則,可以關閉
persistence_timeout0#會話保持時間，這里要做測試，所以設為0，實際可根據(jù)session有效時間配置
protocolTCP#轉(zhuǎn)發(fā)協(xié)議類型，支持TCP和UDP
real_server192.168.116.1413306{#配置服務器節(jié)點VIP2
notify_down/usr/local/shell/mariadb.sh#當服務掛掉時，會執(zhí)行此腳本，結(jié)束keepalived進程
weight1#設置權重，越大權重越高
TCP_CHECK{#r狀態(tài)監(jiān)測設置
connect_timeout10#超時配置，單位秒
retry3#重試次數(shù)
delay_before_retry3#重試間隔
connect_port3306#連接端口，和上面保持一致
}
}
}
和Server1的差異項：
router_idvip2#機器標識，和主機名保持一致 priority98#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高 real_server10.10.20.1263306#配置服務器節(jié)點VIP2
注意， 兩臺節(jié)點都設為BACKUP
virtual_router_id111#同一個vrrp實例采用唯一標示 stateBACKUP
如果不想重啟后， 爭奪備用節(jié)點的VIP， 可以設置此項
nopreempt#不主動搶占資源
注意：這個配置只能設置在backup主機上，而且這個主機優(yōu)先級要比另外一臺高
驗證高可用
停止主節(jié)點MariaDB服務， 驗證是否自動切換。
2.1.4 搭建應用服務工程
ShardingJDBC的介紹
是ShardingSphere 下的一個產(chǎn)品
定位為輕量級 Java 框架，在 Java 的 JDBC 層提供的額外服務。 它使用客戶端直連數(shù)據(jù)庫，以 jar 包形式提供服務，無需額外部署和依賴，可理解為增強版的 JDBC 驅(qū)動，完全兼容 JDBC 和各種 ORM 框架。
適用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直接使用 JDBC。
支持任何第三方的數(shù)據(jù)庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP 等。
支持任意實現(xiàn) JDBC 規(guī)范的數(shù)據(jù)庫，目前支持 MySQL，Oracle，SQLServer，PostgreSQL 以及任何遵循 SQL92 標準的數(shù)據(jù)庫
ShardingJDBC初始化流程
1）配置ShardingRuleConfiguration對象
2）配置表分片規(guī)則TableRuleConfiguration對象，設置分庫、分表策略
3）通過Factory對象將Rule對象與DataSource對象裝配
4）ShardingJDBC使用DataSource對象進行分庫
ShardingJDBC集成配置
1）maven依賴
2）規(guī)則配置application.yml
3）創(chuàng)建DataSource
驗證應用服務動態(tài)擴容
//動態(tài)數(shù)據(jù)源配置實現(xiàn)擴容
Propertiesproperties=loadProperties("datasource1.properties");
try{
log.info("loaddatasourceconfigurl:"+properties.get("url"));
DruidDataSourcedruidDataSource=(DruidDataSource)DruidDataSourceFactory.createDataSource(properties);
druidDataSource.setRemoveAbandoned(true);
druidDataSource.setRemoveAbandonedTimeout(600);
druidDataSource.setLogAbandoned(true);
//設置數(shù)據(jù)源錯誤重連時間
druidDataSource.setTimeBetweenConnectErrorMillis(60000);
druidDataSource.init();
OrchestrationShardingDataSourcedataSource=SpringContextUtil.getBean("tradeSystemDataSource",OrchestrationShardingDataSource.class);
MapdataSourceMap=dataSource.getDataSource().getDataSourceMap();
dataSourceMap.put(DatasourceEnum.DATASOURCE_2.getValue(),druidDataSource);
MapdataSourceConfigMap=newHashMap();
for(Stringkey:dataSourceMap.keySet()){
dataSourceConfigMap.put(key,DataSourceConfiguration.getDataSourceConfiguration(dataSourceMap.get(key)));
}
Stringresult=SHARDING_RULE_TABLE_ORDER.replace(SHARDING_RULE_DATASOURCE,newRule);
replaceActualDataNodes(result);
SHARDING_RULE_DATASOURCE=newRule;
dataSource.renew(newDataSourceChangedEvent(
"/"+DruidSystemDataSourceConfiguration.DYNAMIC_SHARDING+"/config/schema/logic_db/datasource",
dataSourceConfigMap));
return;
}catch(Exceptione){
log.error(e.getMessage(),e);
}
配置兩個數(shù)據(jù)源，分別指向Server1和Server2
分片只配置一個數(shù)據(jù)源
動態(tài)增加另一個數(shù)據(jù)源
注意事項
Sharding JDBC, Mycat, Drds 等產(chǎn)品都是分布式數(shù)據(jù)庫中間件, 相比直接的數(shù)據(jù)源操作, 會存在一些限制, Sharding JDBC在使用時, 要注意以下問題:
有限支持子查詢
不支持HAVING
不支持OR，UNION 和 UNION ALL
不支持特殊INSERT
每條INSERT語句只能插入一條數(shù)據(jù)，不支持VALUES后有多行數(shù)據(jù)的語句
不支持DISTINCT聚合
不支持dual虛擬表查詢
不支持SELECT LAST_INSERT_ID(), 不支持自增序列
不支持CASE WHEN
2.2 實現(xiàn)數(shù)據(jù)庫的秒級平滑2N擴容
擴容部署架構(gòu)：
2.2.1 新增數(shù)據(jù)庫VIP
在Server2節(jié)點， 增加VIP
修改/etc/keepalived/keepalived.conf
global_defs{
router_idvip2
}
vrrp_instanceVI_1{#vrrp實例定義
stateBACKUP#lvs的狀態(tài)模式，MASTER代表主，BACKUP代表備份節(jié)點
interfaceens33#綁定對外訪問的網(wǎng)卡
virtual_router_id112#虛擬路由標示，同一個vrrp實例采用唯一標示
priority100#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高
advert_int1#master與backup節(jié)點同步檢查的時間間隔，單位是秒
authentication{#設置驗證信息
auth_typePASS#有PASS和AH兩種
auth_pass6666#驗證密碼，BACKUP密碼須相同
}
virtual_ipaddress{#KeepAlived虛擬的IP地址
192.168.116.151
}
}
virtual_server192.168.116.1513306{#配置虛擬服務器IP與訪問端口
delay_loop6#健康檢查時間
persistence_timeout0#會話保持時間，這里要做測試，所以設為0，實際可根據(jù)session有效時間配置
protocolTCP#轉(zhuǎn)發(fā)協(xié)議類型，支持TCP和UDP
real_server192.168.116.1413306{#配置服務器節(jié)點VIP1
notify_down/usr/local/shell/mariadb.sh
weight1#設置權重，越大權重越高
TCP_CHECK{#r狀態(tài)監(jiān)測設置
connect_timeout10#超時配置，單位秒
retry3#重試次數(shù)
delay_before_retry3#重試間隔
connect_port3306#連接端口，和上面保持一致
}
}
}
注意配置項：
virtual_router_id112#虛擬路由標示，同一個vrrp實例采用唯一標示 priority100#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高
2.2.2 應用服務增加動態(tài)數(shù)據(jù)源
修改應用服務配置， 增加新的數(shù)據(jù)源， 指向新設置的VIP： 192.168.116.151
通過應用服務接口， 動態(tài)擴容調(diào)整
2.2.3 解除原雙主同步
mysql -uroot -p654321
進入Server1:
MariaDB[(none)]>stopslave;
進入Server2:
MariaDB[(none)]>stopslave;
通過應用服務接口驗證數(shù)據(jù)是否解除同步
2.2.4 安裝MariaDB擴容服務器
新建兩臺虛擬機， 分別為Server3和Server4。
在Server3和Server4兩臺節(jié)點上安裝MariaDB服務
參考2.1.1 MariaDB服務安裝
配置Server3與Server1，實現(xiàn)新的雙主同步
[mysqld] server-id=3 log-bin=mysql-bin relay-log=mysql-relay-bin replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% log-slave-updates=on slave-skip-errors=all auto-increment-offset=2 auto-increment-increment=2 binlog_format=mixed expire_logs_days=10
servicemariadbrestart
MariaDB[(none)]>grantreplicationslave,replicationclienton*.*to'replica'@'%'identifiedby'replica'; mysql>flushprivileges;
mysqldump-uroot-p654321--routines--single_transaction--master-data=2--databasessmooth>server1.sql
... -- --Positiontostartreplicationorpoint-in-timerecoveryfrom -- --CHANGEMASTERTOMASTER_LOG_='mysql-bin.000002',MASTER_LOG_POS=17748; ...
scpserver1.sqlroot@192.168.116.142:/usr/local/
mysql-uroot-p654321
根據(jù)上面的master status信息， 在Server3中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.140',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000016',master_log_pos=1754,master_connect_retry=30; QueryOK,0rowsaffected(0.01sec)MariaDB[(none)]>startslave; QueryOK,0rowsaffected(0.00sec)
如果出現(xiàn)問題， 復原主從同步信息：
MariaDB[(none)]>resetslave; QueryOK,0rowsaffected(0.01sec)MariaDB[(none)]>showslavestatusG ***************************1.row*************************** Slave_IO_State:Waitingformastertosendevent Master_Host:10.10.20.125 Master_User:replica Master_Port:3306 Connect_Retry:30 Master_Log_:mysql-bin.000004 Read_Master_Log_Pos:11174 Relay_Log_:mysql-relay-bin.000002 Relay_Log_Pos:1746 Relay_Master_Log_:mysql-bin.000004 Slave_IO_Running:Yes Slave_SQL_Running:Yes
查看Server3的日志信息：
MariaDB[(none)]>showmasterstatus; +------------------+----------+--------------+------------------+ ||Position|Binlog_Do_DB|Binlog_Ignore_DB| +------------------+----------+--------------+------------------+ |mysql-bin.000001|4781||| +------------------+----------+--------------+------------------+
在Server1節(jié)點， 配置同步信息：
MariaDB[(none)]>resetslave; QueryOK,0rowsaffected(0.00sec) MariaDB[(none)]>changemastertomaster_host='192.168.116.142',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000005',master_log_pos=6931,master_connect_retry=30; MariaDB[(none)]>startslave; QueryOK,0rowsaffected(0.00sec)
配置Server1與Server3節(jié)點的同步
檢查同步狀態(tài)信息：
開啟主從同步：
配置主從同步信息
將數(shù)據(jù)還原至Server3節(jié)點：
將備份的server1.sql通過scp命令拷貝至Server3節(jié)點。
查看并記錄master status信息：
在Server1節(jié)點，進行數(shù)據(jù)全量備份：
創(chuàng)建replica用于主從同步的用戶：
重啟Server3數(shù)據(jù)庫
Server3節(jié)點， 修改/etc/my.cnf:
配置Server4與Server2的雙主同步
[mysqld] server-id=4 log-bin=mysql-bin relay-log=mysql-relay-bin replicate-wild-ignore-table=mysql.% replicate-wild-ignore-table=information_schema.% log-slave-updates=on slave-skip-errors=all auto-increment-offset=2 auto-increment-increment=2 binlog_format=mixed expire_logs_days=10servicemariadbrestartMariaDB[(none)]>grantreplicationslave,replicationclienton*.*to'replica'@'%'identifiedby'replica'; mysql>flushprivileges;mysqldump-uroot-p654321--routines--single_transaction--master-data=2--databasessmooth>server2.sql... -- --Positiontostartreplicationorpoint-in-timerecoveryfrom -- --CHANGEMASTERTOMASTER_LOG_='mysql-bin.000003',MASTER_LOG_POS=4208; ...scpserver2.sqlroot@192.168.116.143:/usr/local/mysql-uroot-p654321
根據(jù)上面的master status信息， 在Server4中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.141',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000007',master_log_pos=3006,master_connect_retry=30; QueryOK,0rowsaffected(0.01sec)MariaDB[(none)]>startslave; QueryOK,0rowsaffected(0.00sec)
注意， 如果出現(xiàn)問題， 復原主從同步信息：
MariaDB[(none)]>resetslave; QueryOK,0rowsaffected(0.01sec)MariaDB[(none)]>showslavestatusG ***************************1.row*************************** Slave_IO_State:Waitingformastertosendevent Master_Host:10.10.20.125 Master_User:replica Master_Port:3306 Connect_Retry:30 Master_Log_:mysql-bin.000004 Read_Master_Log_Pos:11174 Relay_Log_:mysql-relay-bin.000002 Relay_Log_Pos:1746 Relay_Master_Log_:mysql-bin.000004 Slave_IO_Running:Yes Slave_SQL_Running:Yes
查看Server4的日志信息：
MariaDB[(none)]>showmasterstatus; +------------------+----------+--------------+------------------+ ||Position|Binlog_Do_DB|Binlog_Ignore_DB| +------------------+----------+--------------+------------------+ |mysql-bin.000001|3696||| +------------------+----------+--------------+------------------+
在Server2節(jié)點， 配置同步信息：
MariaDB[(none)]>resetslave; QueryOK,0rowsaffected(0.00sec) MariaDB[(none)]>changemastertomaster_host='192.168.116.143',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000005',master_log_pos=5787,master_connect_retry=30; MariaDB[(none)]>startslave; QueryOK,0rowsaffected(0.00sec)
配置Server2與Server4節(jié)點的同步
檢查同步狀態(tài)信息：
開啟主從同步：
配置主從同步信息
將數(shù)據(jù)還原至Server4節(jié)點：
將備份的server2.sql通過scp命令拷貝至Server4節(jié)點。
查看并記錄master status信息：
在Server2節(jié)點，進行數(shù)據(jù)全量備份：
創(chuàng)建replica用于主從同步的用戶：
重啟Server4數(shù)據(jù)庫
Server4節(jié)點， 修改/etc/my.cnf:
2.2.5 增加KeepAlived服務實現(xiàn)高可用
確保新增的Server3和Server4節(jié)點安裝Keepalived服務。
修改Server3節(jié)點配置
global_defs{ router_idvip3#機器標識，一般設為hostname，故障發(fā)生時，郵件通知會使用到。 } vrrp_instanceVI_1{#vrrp實例定義 stateBACKUP#lvs的狀態(tài)模式，MASTER代表主，BACKUP代表備份節(jié)點 interfaceens33#綁定對外訪問的網(wǎng)卡 virtual_router_id111#虛擬路由標示，同一個vrrp實例采用唯一標示 priority98#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高 advert_int1#master與backup節(jié)點同步檢查的時間間隔，單位是秒 authentication{#設置驗證信息 auth_typePASS#有PASS和AH兩種 auth_pass6666#驗證密碼，BACKUP密碼須相同 } virtual_ipaddress{#KeepAlived虛擬的IP地址 192.168.116.150 } } virtual_server192.168.116.1503306{#配置虛擬服務器IP與訪問端口 delay_loop6#健康檢查時間 persistence_timeout0#會話保持時間，這里要做測試，所以設為0，實際可根據(jù)session有效時間配置 protocolTCP#轉(zhuǎn)發(fā)協(xié)議類型，支持TCP和UDP real_server192.168.116.1423306{#配置服務器節(jié)點VIP3 notify_down/usr/local/shell/mariadb.sh weight1#設置權重，越大權重越高 TCP_CHECK{#r狀態(tài)監(jiān)測設置 connect_timeout10#超時配置，單位秒 retry3#重試次數(shù) delay_before_retry3#重試間隔 connect_port3306#連接端口，和上面保持一致 } } }
注意里面IP配置正確， 修改完成后重啟服務。
創(chuàng)建關閉腳本mariadb.sh
/usr/local/shell/mariadb.sh：
pkillkeepalived
加入執(zhí)行權限：
chmoda+xmariadb.sh
修改Server4節(jié)點配置
global_defs{ router_idvip4#機器標識，一般設為hostname，故障發(fā)生時，郵件通知會使用到。 } vrrp_instanceVI_1{#vrrp實例定義 stateBACKUP#lvs的狀態(tài)模式，MASTER代表主，BACKUP代表備份節(jié)點 interfaceens33#綁定對外訪問的網(wǎng)卡 virtual_router_id112#虛擬路由標示，同一個vrrp實例采用唯一標示 priority98#優(yōu)先級，100代表最大優(yōu)先級，數(shù)字越大優(yōu)先級越高 advert_int1#master與backup節(jié)點同步檢查的時間間隔，單位是秒 authentication{#設置驗證信息 auth_typePASS#有PASS和AH兩種 auth_pass6666#驗證密碼，BACKUP密碼須相同 } virtual_ipaddress{#KeepAlived虛擬的IP地址 192.168.116.151 } } virtual_server192.168.116.1513306{#配置虛擬服務器IP與訪問端口 delay_loop6#健康檢查時間 persistence_timeout0#會話保持時間，這里要做測試，所以設為0，實際可根據(jù)session有效時間配置 protocolTCP#轉(zhuǎn)發(fā)協(xié)議類型，支持TCP和UDP real_server192.168.116.1433306{#配置服務器節(jié)點VIP4 notify_down/usr/local/shell/mariadb.sh weight1#設置權重，越大權重越高 TCP_CHECK{#r狀態(tài)監(jiān)測設置 connect_timeout10#超時配置，單位秒 retry3#重試次數(shù) delay_before_retry3#重試間隔 connect_port3306#連接端口，和上面保持一致 } } }
創(chuàng)建關閉腳本mariadb.sh
/usr/local/shell/mariadb.sh：
pkillkeepalived
給所有的用戶組加入執(zhí)行權限：
chmoda+xmariadb.sh
修改完后重啟Keepalived服務。
2.2.6 清理數(shù)據(jù)并驗證
通過應用服務動態(tài)擴容接口做調(diào)整和驗證
在Server1節(jié)點清理數(shù)據(jù)
根據(jù)取模規(guī)則， 保留accountNo為偶數(shù)的數(shù)據(jù)
deletefromt_trade_orderwhereaccountNo%2!=0
在Server2節(jié)點清理數(shù)據(jù)
根據(jù)取模規(guī)則， 保留accountNo為奇數(shù)的數(shù)據(jù)
deletefromt_trade_orderwhereaccountNo%2!=1
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權限、多租戶、數(shù)據(jù)權限、工作流、三方登錄、支付、短信、商城等功能
3.keepalived高可用配置大全
在Server1（192.168.116.140）中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.141',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000005',master_log_pos=3207,master_connect_retry=30;
在Server2（192.168.116.141）中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.140',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000012',master_log_pos=1951,master_connect_retry=30;
在Server3（192.168.116.142）中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.140',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000013',master_log_pos=2781,master_connect_retry=30; QueryOK,0rowsaffected(0.01sec)
在Server4（192.168.116.143）中執(zhí)行：
MariaDB[(none)]>changemastertomaster_host='192.168.116.141',master_user='replica',master_password='replica',master_port=3306,master_log_='mysql-bin.000005',master_log_pos=7358,master_connect_retry=30; QueryOK,0rowsaffected(0.01sec)
Server1和Server2雙主關系
Server1: keepalived.conf
vi /etc/keepalived/keepalived.conf
global_defs{ router_idvip1 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id111 priority100 advert_int1 authentication{ auth_typePASS auth_pass6666 } virtual_ipaddress{ 192.168.116.150 } } virtual_server192.168.116.1503306{ delay_loop6 lb_algorr lb_kindDR//NAT|DR|TUN persistence_timeout0 protocolTCP real_server192.168.116.1403306{ notify_down/usr/local/shell/mariadb.sh weight1 TCP_CHECK{ connect_timeout10 retry3 delay_before_retry3 connect_port3306 } } }
Server2:keepalived.conf
vi /etc/keepalived/keepalived.conf
global_defs{ router_idvip2 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id111 priority98 advert_int1 authentication{ auth_typePASS auth_pass6666 } virtual_ipaddress{ 192.168.116.150 } } virtual_server192.168.116.1503306{ delay_loop6 lb_algorr lb_kindDR persistence_timeout0 protocolTCP real_server192.168.116.1413306{ notify_down/usr/local/shell/mariadb.sh weight1 TCP_CHECK{ connect_timeout10 retry3 delay_before_retry3 connect_port3306 } } }
新增數(shù)據(jù)庫VIP
Server2:keepalived.conf
vi /etc/keepalived/keepalived.conf
global_defs{ router_idvip2 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id112 priority100 advert_int1 authentication{ auth_typePASS auth_pass6666 } virtual_ipaddress{ 192.168.116.151 } } virtual_server192.168.116.1513306{ delay_loop6 persistence_timeout0 protocolTCP real_server192.168.116.1413306{ notify_down/usr/local/shell/mariadb.sh weight1 TCP_CHECK{ connect_timeout10 retry3 delay_before_retry3 connect_port3306 } } }
Server1和Server3雙主關系
Server3: keepalived.conf
vi /etc/keepalived/keepalived.conf
global_defs{ router_idvip3 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id111 priority98 advert_int1 authentication{ auth_typePASS auth_pass6666 } virtual_ipaddress{ 192.168.116.150 } } virtual_server192.168.116.1503306{ delay_loop6 lb_algorr lb_kindDR persistence_timeout0 protocolTCP real_server192.168.116.1423306{ notify_down/usr/local/shell/mariadb.sh weight1 TCP_CHECK{ connect_timeout10 retry3 delay_before_retry3 connect_port3306 } } }
Server2和Server4雙主關系
Server4: keepalived.conf
vi /etc/keepalived/keepalived.conf
global_defs{ router_idvip4 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id112 priority98 advert_int1 authentication{ auth_typePASS auth_pass6666 } virtual_ipaddress{ 192.168.116.151 } } virtual_server192.168.116.1513306{ delay_loop6 lb_algorr lb_kindDR persistence_timeout0 protocolTCP real_server192.168.116.1433306{ notify_down/usr/local/shell/mariadb.sh weight1 TCP_CHECK{ connect_timeout10 retry3 delay_before_retry3 connect_port3306 } } }
審核編輯：湯梓紅
-
數(shù)據(jù)庫
+關注
關注
7文章
3922瀏覽量
66154 -
程序
+關注
關注
117文章
3826瀏覽量
82923 -
MySQL
+關注
關注
1文章
856瀏覽量
27882 -
日志
+關注
關注
0文章
144瀏覽量
10859 -
Service
+關注
關注
0文章
31瀏覽量
14080
原文標題：5大主流方案對比：MySQL千億級數(shù)據(jù)線上平滑擴容實戰(zhàn)
文章出處：【微信號：芋道源碼，微信公眾號：芋道源碼】歡迎添加關注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
labview 怎么獲取一條數(shù)據(jù)線上的數(shù)據(jù)個數(shù)
iPhone5數(shù)據(jù)線成功破解，iPhone5數(shù)據(jù)線芯片，iPhone5數(shù)據(jù)線ic
iPhone5數(shù)據(jù)線破解
iphone5數(shù)據(jù)線芯片
iPhone5數(shù)據(jù)線
MySQL和MongoDB的對比
python實戰(zhàn)數(shù)據(jù)庫MySQL---4操作MySQL
請問數(shù)據(jù)線上的小圓柱有什么用？
如何用示波器測量雙向數(shù)據(jù)線上的時序？
USB數(shù)據(jù)線結(jié)構(gòu)
4種cephfs擴容方案
推薦6種MySQL數(shù)據(jù)庫平滑擴容方案
MySQL到ES的4種常用數(shù)據(jù)同步方案
工商網(wǎng)監(jiān)
評論