Giới thiệu về chức năng Replication(đồng bộ dữ liệu) của PostgreSQL

Replication

Bạn cần tạo một standby server để backup dữ liệu, load balance trên nhiều node để giảm tải tăng performance?, ... Chức năng replication sẽ đáp ứng nhu cầu đó của bạn.
Replication là một trong chức năng không thể thiếu của một số RDBMS nói chung và PostgreSQL(Streaming Replication) nói riêng. Ở PostgreSQL bạn có thể liên kiết với một số cluster soft như Pacemaker, hay pgpool-II để triển khai hệ thống High Availablity cho môi trường của bạn. Nguyên lý Streaming Replication của PostgreSQL dựa trên việc chuyển WAL (Transaction log) từ node Master tới Standby, sau đó Standby phản ánh lại nội dung WAL vào dữ liệu.

Chức năng replication của PostgreSQL đầu tiên được thêm vào ở phiên bản 9.0. Sau nhiều cải tiến qua các phiên bản. Hiện tại replication nổi bật với chức năng logical replication trên phiên bản sắp tới PostgreSQL-10. Quá trình phát triển chức năng replication tới phiên bản PostgreSQL 10 được tóm tắt như bên dưới.

---

Chức năng thiếu đồng bộ - Asynchronous (PostgreSQL 9.0).

Phải nói thêm là cũng ở phiên bản 9.0 này PostgreSQL có thêm chức năng hot_standby. Chức năng này cho phép tham chiếu dữ liệu ở phía Standby. Nếu chức năng này không hoạt động bạn không thể tham chiếu dữ liệu hay đơn giản là kết nối tới Standby server. Chức năng này gọi là thiếu đồng bộ. Vì dữ liệu cập nhật ở phía Master không được cập nhật tức thì ở Standby. Về nguyên lý thì bạn có thể tham khảo hình bên dưới.

Chức năng tiền đồng bộ - Synchronous (PostgreSQL 9.1)

Tiến bộ hơn chức năng Asynchronous, ở chế độ Synchronous Standby Server gửi thông điệp thành công tới Master Server sau khi xác nhận đã nhận được thông tin WAL(Transaction log). Sau khi nhận được được thông điệp từ Standby Server, Master kết thúc xử lý cập nhật dữ liệu. Như vậy sau khi cập nhật dữ liệu ở Master Sever, phải chờ một chút thời gian (thường thì khoảng vài micro giây) để Standby phản ánh (recovery) dữ liệu đó từ WAL vừa nhận được. Lưu ý rằng PostgreSQL chỉ support 1 node là Synchronous. Nếu bạn lập nhiều Standby Server node đầu tiên chỉ định trong tham số synchronous_standby_names.

Chức năng Cascade Replication (PostgreSQL 9.2)

Chức năng này cho phép bạn thiết lập một hoặc nhiều Standby Sever dựa vào một Standby Server chứ không phải Master Server như trước đây. Ở Cascade Replication mặc định chỉ sử dụng Asynchronous.

Chức năng replication slot (PostgreSQL 9.4)

Standby Server dựa vào WAL cung cấp từ Master Server để đồng bộ dữ liệu. Nhưng WAL này cũng có thể bị mất theo cơ chế sử dụng lại WAL của PostgreSQL. Khi WAL chưa được đồng bộ (chuyển tới) ở Standby mà bị mất ở Master Server. Standby này sẽ không thể đồng bộ với Master đó nữa, bạn phải thiết lập lại Standby Server trong trường hợp này.

Chức năng replication slot cho phép tạo một slot tới Master Server, yêu cầu Master Server giữ lại WAL cần thiết cho Standby đó.

Số lượng WAL thông thường phụ thuộc vào tham số max_wal_size (Hay checkpoint_segments ở phiên bản trước 9.5). Bạn cũng có thể chỉnh số lượng WAL giữ lại cho standby server qua tham số wal_keep_segments.

Chức Logical Decoding (PostgreSQL 9.4)

Chức năng Logical Decoding cho phép sử dụng plugin bên ngoài decoding được nội dung WAL thành các câu lệnh SQL. Chức năng này kết hợp với chức năng Replication Slot là nền tảng chính của chức năng Logical Replication trong phiên bản PostgreSQL 10. 

Chức năng Full Synchronous

Mình sử dụng chữ Full vì ở chế độ này, sau khi kết thúc câu lệnh cập nhật dữ liệu ở Master Server, có thể đảm bảo là dữ liệu sẽ chắc chắn đã được cập nhật ở Standby Server.

Logical Replication

Chức năng này đang được phát triển ở phiên bản PostgreSQL 10. Master Server public WAL, Standby Server nhận WAL giải mã thành các câu lệnh SQL rồi chạy các câu lệnh đó trên Standby Server. Điều này cho phép PostgreSQL có thể Replication giữa các phiên bản khác nhau, hoặc có thể kỳ vọng là replication với các RDBMS khác.

Các phiên bản PostgreSQL trước phiên bản 10, dữ liệu trên WAL không đủ chi tiết để giải mã thành các câu lệnh SQL. Và phía Server và Client phải nhất quán về phiên bản.

---

Cấu hình

Thiết lập Paramters

Thiết lập paramters cho từng level Asynchronous, Syncrhonous, Full Synchronous, Logical Replication có thể tóm tắt như bên dưới.

Các parameters liên quan tới Streaming Replication

Parameters	Asynchronous	Syncrhonous	Full Synchronous	Logical Replication
wal_level	lớn hơn minimal	lớn hơn minimal	lớn hơn minimal	logical
synchronous_standby_names	''	'tên Standby hoặc *'	'tên Standby hoặc *'
synchronous_commit			remote_apply
max_wal_senders	số lượng Standby	số lượng Standby	số lượng Standby	số lượng Standby
hot_standby	on nếu muốn tham chiếu Standby	on nếu muốn tham chiếu Standby	on nếu muốn tham chiếu Standby	on nếu muốn tham chiếu Standby

Ngoài ra nếu bạn muốn archive WAL (lưu lại WAL phục vụ cho mục đích backup), bạn cần archive_mode=on và archive_command='comand để lưu WAL mỗi khi update xong 1 file WAL'

Cấu hình

Rất đơn giản để tạo 1 Standby Server trên PostgreSQL. Bạn dùng câu lệnh pg_basebackup để tạo một basebackup chỉnh sửa tham số nếu cần thiết và khởi động là xong.

Bocap-no-MacBook-Pro:~ bocap$ env | grep PG
PGPORT=9100
PGUSER=postgres
PGPASSWORD=postgres
PGDATABASE=postgres
PGDATA=/usr/local/pgsql/pg1000/data

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# show synchronous_standby_names;
 synchronous_standby_names 
---------------------------
 
(1 row)

postgres=# \q

Không quên setting authentication cho kết nối replication. Ở đây mình đặt trust(không yêu cầu password) cho kết nối nội bộ.

Bocap-no-MacBook-Pro:~ bocap$ grep "replication     all" $PGDATA/pg_hba.conf
local   replication     all                                     trust
host    replication     all             127.0.0.1/32            trust
host    replication     all             ::1/128                 trust

Kiểm tra trạng thái replication tại Master Server(chưa có kết nối nào).

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication;
(0 rows)

postgres=# \q

Thực hiện sao chép dữ liệu cho Standby Server. Và khởi động Standby Server. 11111 là port cho Standby

dang-no-MacBoook-Pro:~ bocap$ pg_basebackup -R -D ${PGDATA}.standby
Bocap-no-MacBook-Pro:~ bocap$ echo port=11111 >> ${PGDATA}.standby/postgresql.conf
Bocap-no-MacBook-Pro:~ bocap$ pg_ctl start -D ${PGDATA}.standby
waiting for server to start....2017-07-16 03:01:28.912 JST [79722] LOG:  listening on IPv6 address "::1", port 11111
2017-07-16 03:01:28.912 JST [79722] LOG:  listening on IPv6 address "fe80::1%lo0", port 11111
2017-07-16 03:01:28.912 JST [79722] LOG:  listening on IPv4 address "127.0.0.1", port 11111
2017-07-16 03:01:28.921 JST [79722] LOG:  listening on Unix socket "/tmp/.s.PGSQL.11111"
2017-07-16 03:01:28.941 JST [79723] LOG:  database system was interrupted; last known up at 2017-07-16 03:00:38 JST
2017-07-16 03:01:29.126 JST [79723] LOG:  entering standby mode
2017-07-16 03:01:29.134 JST [79723] LOG:  redo starts at 0/2000028
2017-07-16 03:01:29.135 JST [79723] LOG:  consistent recovery state reached at 0/20000F8
2017-07-16 03:01:29.135 JST [79722] LOG:  database system is ready to accept read only connections
2017-07-16 03:01:29.160 JST [79727] LOG:  started streaming WAL from primary at 0/3000000 on timeline 1
 done
server started

Kiểm tra tình trạng Replication hiện tại (async: chưa đồng bộ)

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid              | 79728
usesysid         | 16385
usename          | postgres
application_name | walreceiver
client_addr      | 
client_hostname  | 
client_port      | -1
backend_start    | 2017-07-16 03:01:29.158203+09
backend_xmin     | 
state            | streaming
sent_lsn         | 0/3000060
write_lsn        | 0/3000060
flush_lsn        | 0/3000060
replay_lsn       | 0/3000060
write_lag        | 
flush_lag        | 
replay_lag       | 
sync_priority    | 0
sync_state       | async

postgres=# create table test_synchronous(id integer);
CREATE TABLE
postgres=# insert into test_synchronous values (1);
INSERT 0 1
postgres=# select * from test_synchronous ;
 id 
----
  1
(1 row)

postgres=# \q
Bocap-no-MacBook-Pro:~ bocap$ psql -p 11111
psql (10beta1)
Type "help" for help.

postgres=# select * from test_synchronous ;
 id 
----
  1
(1 row)

postgres=# \q

Chuyển qua chế độ tiền đồng bộ và kiểm tra tình trạng Replication

Bocap-no-MacBook-Pro:~ bocap$ echo synchronous_standby_names='walreceiver' >> $PGDATA/postgresql.conf
Bocap-no-MacBook-Pro:~ bocap$ pg_ctl reload
server signaled
2017-07-16 03:04:48.747 JST [69073] LOG:  received SIGHUP, reloading configuration files
Bocap-no-MacBook-Pro:~ bocap$ 2017-07-16 03:04:48.755 JST [69073] LOG:  parameter "synchronous_standby_names" changed to "walreceiver"

Bocap-no-MacBook-Pro:~ bocap$ 2017-07-16 03:04:50.068 JST [79728] LOG:  standby "walreceiver" is now a synchronous standby with priority 1

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# \x
Expanded display is on.
postgres=# show synchronous_standby_names;
-[ RECORD 1 ]-------------+------------
synchronous_standby_names | walreceiver

postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid              | 79728
usesysid         | 16385
usename          | postgres
application_name | walreceiver
client_addr      | 
client_hostname  | 
client_port      | -1
backend_start    | 2017-07-16 03:01:29.158203+09
backend_xmin     | 
state            | streaming
sent_lsn         | 0/3019058
write_lsn        | 0/3019058
flush_lsn        | 0/3019058
replay_lsn       | 0/3019058
write_lag        | 
flush_lag        | 
replay_lag       | 
sync_priority    | 1
sync_state       | sync

postgres=# \q

Chuyển qua chế độ Full Replication

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# show synchronous_commit;
 synchronous_commit 
--------------------
 on
(1 row)

postgres=# \q

Bocap-no-MacBook-Pro:~ bocap$ echo synchronous_commit='remote_apply' >> $PGDATA/postgresql.conf
Bocap-no-MacBook-Pro:~ bocap$ pg_ctl reload
server signaled
2017-07-16 03:23:54.258 JST [69073] LOG:  received SIGHUP, reloading configuration files
Bocap-no-MacBook-Pro:~ bocap$ 2017-07-16 03:23:54.261 JST [69073] LOG:  parameter "synchronous_commit" changed to "remote_apply"

Bocap-no-MacBook-Pro:~ bocap$ psql
psql (10beta1)
Type "help" for help.

postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication ;
-[ RECORD 1 ]----+------------------------------
pid              | 79728
usesysid         | 16385
usename          | postgres
application_name | walreceiver
client_addr      | 
client_hostname  | 
client_port      | -1
backend_start    | 2017-07-16 03:01:29.158203+09
backend_xmin     | 
state            | streaming
sent_lsn         | 0/3019138
write_lsn        | 0/3019138
flush_lsn        | 0/3019138
replay_lsn       | 0/3019138
write_lag        | 
flush_lag        | 
replay_lag       | 
sync_priority    | 1
sync_state       | sync

postgres=# show synchronous_commit;
-[ RECORD 1 ]------+-------------
synchronous_commit | remote_apply

postgres=# \q
Bocap-no-MacBook-Pro:~ bocap$ 

---

Logical Replication

Về cơ bản để sử dụng chức năng Logical Replication. Chúng ta tạo Publication bằng lệnh CREATE PUBLICATION phía Master Server. Phía Server còn lại (phía nhận WAL không phải là Standby như trên mà là một DB Server có thể ghi dữ liệu bình thường) tạo Subscription bằng lệnh CREATE SUBSCRIPTION như ví dụ bên dưới. Chi tiết về chức năng này sẽ được viết ở bài viết khác, khi PostgreSQL 10 đã được hoàn thành.

Bocap-no-MacBook-Pro:~ bocap$ echo wal_level='logical' >> $PGDATA/postgresql.conf
Bocap-no-MacBook-Pro:~ bocap$ pg_ctl restart
waiting for server to shut down...2017-07-16 03:51:02.705 JST [80462] LOG:  received fast shutdown request
.2017-07-16 03:51:02.705 JST [80462] LOG:  aborting any active transactions
2017-07-16 03:51:02.708 JST [80464] LOG:  shutting down
2017-07-16 03:51:02.750 JST [80462] LOG:  database system is shut down
 done
server stopped
waiting for server to start....2017-07-16 03:51:03.739 JST [80476] LOG:  listening on IPv6 address "::1", port 9100
2017-07-16 03:51:03.739 JST [80476] LOG:  listening on IPv6 address "fe80::1%lo0", port 9100
2017-07-16 03:51:03.739 JST [80476] LOG:  listening on IPv4 address "127.0.0.1", port 9100
2017-07-16 03:51:03.754 JST [80476] LOG:  listening on Unix socket "/tmp/.s.PGSQL.9100"
2017-07-16 03:51:03.787 JST [80477] LOG:  database system was shut down at 2017-07-16 03:51:02 JST
2017-07-16 03:51:03.791 JST [80476] LOG:  database system is ready to accept connections
 done
server started
Bocap-no-MacBook-Pro:~ bocap$
Bocap-no-MacBook-Pro:~ bocap$ psql -c "CREATE TABLE test_logical_rep(id integer)"
CREATE TABLE
Bocap-no-MacBook-Pro:~ bocap$ psql -c "CREATE PUBLICATION pub_test FOR TABLE test_logical_rep"
CREATE PUBLICATION
Bocap-no-MacBook-Pro:~ bocap$ psql -p 5432 -c "CREATE TABLE test_logical_rep(id integer)" 
CREATE TABLE
Bocap-no-MacBook-Pro:~ bocap$ psql -p 5432 -c "CREATE SUBSCRIPTION sub_test CONNECTION 'dbname=postgres port=9100 user=postgres' PUBLICATION pub_test"
NOTICE:  synchronized table states
2017-07-16 03:58:54.172 JST [80532] LOG:  logical decoding found consistent point at 0/3033BB0
2017-07-16 03:58:54.172 JST [80532] DETAIL:  There are no running transactions.
NOTICE:  created replication slot "sub_test" on publisher
CREATE SUBSCRIPTION
Bocap-no-MacBook-Pro:~ bocap$ 2017-07-16 03:58:54.190 JST [80533] LOG:  logical replication apply worker for subscription "sub_test" has started
2017-07-16 03:58:54.196 JST [80534] LOG:  starting logical decoding for slot "sub_test"
2017-07-16 03:58:54.196 JST [80534] DETAIL:  streaming transactions committing after 0/3033BE8, reading WAL from 0/3033BB0
2017-07-16 03:58:54.196 JST [80534] LOG:  logical decoding found consistent point at 0/3033BB0
2017-07-16 03:58:54.196 JST [80534] DETAIL:  There are no running transactions.
2017-07-16 03:58:54.198 JST [80535] LOG:  logical replication table synchronization worker for subscription "sub_test", table "test_logical_rep" has started
2017-07-16 03:58:54.207 JST [80536] LOG:  logical decoding found consistent point at 0/3033BE8
2017-07-16 03:58:54.207 JST [80536] DETAIL:  There are no running transactions.
2017-07-16 03:58:55.197 JST [80535] LOG:  logical replication table synchronization worker for subscription "sub_test", table "test_logical_rep" has finished

Bocap-no-MacBook-Pro:~ bocap$ psql -c "INSERT INTO test_logical_rep VALUES(11111);"
INSERT 0 1
Bocap-no-MacBook-Pro:~ bocap$ psql -p 5432 -c "select * from test_logical_rep"
  id   
-------
 11111
(1 row)

Bocap-no-MacBook-Pro:~ bocap$ 

=============================
* KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE trực tiếp từ tôi giúp bạn bước đầu trở thành những chuyên gia DBA, đủ kinh nghiệm đi thi chứng chỉ OA/OCP, đặc biệt là rất nhiều kinh nghiệm, bí kíp thực chiến trên các hệ thống Core tại VN chỉ sau 1 khoá học.
* CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
* Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội

=============================

Giới thiệu về chức năng Replication(đồng bộ dữ liệu) của PostgreSQL, oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty