Tag: mysql

[กันลืม] ปรับแต่ง MySql/Mariadb ให้โหลดข้อมูลได้เร็วขึ้น

niti.c

August 21, 2020
เพื่อให้ดาต้าเบส (Database) ทำงานได้อย่างเต็มประสิทธิภาพและสามารถใช้ทรัพยาการของเครื่องเซิร์ฟเวอร์ (Server) ได้เต็มศักยภาพของเครื่องเมื่อติดตั้งเสร็จก็จะควรมีการปรับแต่งค่าให้เหมาะสมกับการใช้งาน
- สำหรับ Linux ให้แก้ไขไฟล์ /etc/mysql/my.cnf
- สำหรับ Windows (XAMPP) ให้แก้ไขไฟล์ C:\xampp\mysql\bin\my.ini
มาเริ่มกันเลย! ปัจจุบัน MySql/Mariadb เวอร์ชั่นใหม่จะใช้เอนจินแบบ InnoDB เป็นค่าเริ่มต้น ฉะนั้นเราจะโฟกัสความสำคัญเฉพาะการตั้งค่า InnoDB โดยเฉพาะค่า innodb_buffer_pool_size ควรกำหนดให้ไม่เกิน 70-80% ของขนาด RAM มีตัวย่างการค่าคอนเฟิกดังนี้

(สมมุติสเปกเครื่องเซิร์ฟเวอร์ CPU 4 core RAM 4 GB)
```
# InnoDB Settings
default_storage_engine          = InnoDB
innodb_buffer_pool_instances    = 1     # Use 1 instance per 1GB of InnoDB pool size
innodb_buffer_pool_size         = 1G    # Use up to 70-80% of RAM
innodb_file_per_table           = 1
innodb_flush_log_at_trx_commit  = 0
innodb_flush_method             = O_DIRECT
innodb_log_buffer_size          = 8M
innodb_log_file_size            = 256M
innodb_stats_on_metadata        = 0
```
คำสั่งคิวรีที่ใช้ตรวจสอบค่าที่เหมาะสมของ innodb_buffer_pool_size
```
SELECT CEILING(Total_InnoDB_Bytes*1.6/POWER(1024,3)) RIBPS FROM
(SELECT SUM(data_length+index_length) Total_InnoDB_Bytes
FROM information_schema.tables WHERE engine='InnoDB') A;
```
เมื่อใช้ดาต้าเบสไปได้ 1-2 สัปดาห์ ให้ใช้คำสั่งคิวรีนี้เพื่อใช้ตรวจสอบว่าหน่วยความจำ GB จริงที่ถูกใช้โดย InnoDB Data ใน InnoDB Buffer Pool ในขณะนี้ถูกใช้งานไปเท่าไร
```
SELECT (PagesData*PageSize)/POWER(1024,3) DataGB FROM
(SELECT variable_value PagesData
FROM information_schema.global_status
WHERE variable_name='Innodb_buffer_pool_pages_data') A,
(SELECT variable_value PageSize
FROM information_schema.global_status
WHERE variable_name='Innodb_page_size') B;
```
และมีค่าอื่นๆ อีกเช่น
```
join_buffer_size = 1M
read_buffer_size = 1M
sort_buffer_size = 2M
read_rnd_buffer_size = 1M
```
เสร็จแล้วให้บักทึก และ Restart การทำงาน MySql/Mariadb ใหม่อีกครั้ง

แนะนำบทความเพื่อศึกษาเพิ่มเติม : Tuning MySQL : สำรวจตัวเองและเข้าใจตัวแปร

อ้างอิง
August 21, 2020
Ambari #07 เปรียบเทียบความเร็วของการ Query ระหว่าง MySQL กับ Hive

kanakorn.h

October 27, 2017
จากบทความก่อนหน้า

Ambari #05 การดึงข้อมูลเข้าจาก MySQL เข้าสู่ Hive ด้วย Sqoop ได้นำเข้าข้อมูล Mail Log จาก MySQL ซึ่งมีขนาด 27 GB มีข้อมูลประมาณ 12 ล้าน Record

ต่อไปจะเปรียบเทียบ การ Query ข้อมูลจาก Hive ซึ่งทำงานอยู่บน Hadoop Cluster กับ MySQL Server

Spec

MySQL Server: 1 Node x CPU 40 Core x RAM 8 GB

Hive: 7 Data Node x CPU 4 Core x RAM 4 GB

Query:
```
use mailscanner;
select from_domain,count(*) from maillog group by from_domain having from_domain like '%.com';
```
ซึ่ง from_domain เป็น Field ที่ไม่มีการทำ index

ผลการทดสอบ

MySQL: ใช้เวลา 5 นาที 23.90 วินาที = 329.90 วินาที

Hive: ใช้เวลา 92.754 วินาที

อนึ่ง : Hive ที่ใช้งานนั้น ทำงานบน Execution Engine ชื่อ Tez ซึ่งทำงานทั้งหมดบน Memory หากใช้งาน Hive ที่มากับ Apache โดยตรง จะใช้งาน MapReduce ซึ่งจะใช้เวลานานกว่ามาก (ยังไม่ได้ปรับแต่งให้ดีนัก)

แต่อย่างไรก็ดี Hive ไม่ได้ออกแบบมาใช้ทดแทน RDBMS เช่น MySQL/Oracle แต่เหมาะสำหรับการทำงานแบบ Data Warehouse มากกว่า ส่วนเหตุที่ MySQL แม้จะมีจำนวน Core มาก แต่ด้วยข้อจำกัด (โดย Default) ให้การ Group By นั้น จะใช้งานได้แค่ 1 Core เท่านั้น ! [1]

แต่เมื่อมองในมุมของ Hive สามารถนำเครื่องคอมพิวเตอร์ทั่วไป (Commodity Hardware) มารวมๆกันได้ ก็ทำให้สามารถขยายระบบได้แบบ Scale Out ก็น่าจะเป็นทางเลือกที่น่าสนใจ

Reference

[1] https://dev.mysql.com/doc/refman/5.5/en/innodb-performance-thread_concurrency.html
October 27, 2017
Ambari #06 การใช้งาน Zeppelin เพื่อเรียกข้อมูลจาก MySQL

kanakorn.h

October 24, 2017
ขั้นตอนการปรับแต่งให้ Zeppelin เชื่อมต่อกับ MySQL
ในที่นี้ จะเชื่อมต่อไปยัง MySQL Server: ที่ your.mysql.server โดยมี Username/Password เป็น root/123456 และจะใช้ Database ชื่อ employees
1. Download https://dev.mysql.com/downloads/connector/j/
  จากนั้นให้ Unzip จะได้ไฟล์ mysql-connector-java-5.1.44-bin.jar (Version อาจจะแตกต่างกัน)
  แล้วนำไปไว้ใน /usr/hdp/current/spark2-client/jars *** ของทุก Nodes ***
2. จาก Ambari Web UI เลือก Zeppelin Notebook > Quick Links > Zeppelin UI
3. ที่ Zeppelin UI ให้ Login ด้วย admin/admin
  แล้วคลิก Admin > Interpreter
4. คลิก Create
  กรอกข้อมูลต่อไปนี้
  Interpreter Name: employees
  Interpreter Group: jdbcแล้วเพิ่ม
  default.driver: com.mysql.jdbc.Driver
  default.url: jdbc:mysql://your.mysql.server:3306/employees
  default.user: root
  default.password: 123456ในส่วนของ Dependency ให้กำหนด
  artifact: mysql:mysql-connector-java:5.1.44
  
  แล้วกดปุ่ม Save
5. สร้าง Notebook ใหม่ ชื่อ mydatabase
  แล้วเลือก Default Interpreter เป็น employees
  แล้วคลิก Create Note
6. จากนั้น ก็จะสามารถส่ง Query ต่างได้
7. รวมถึง แสดง Graph ที่น่าสนใจได้
October 24, 2017
วิธีสร้าง CoreOS Cluster

jatuporn.ch

May 4, 2017
จะสร้าง CoreOS ให้กลายเป็น Cluster Docker Container ได้อย่างไร

จากบทความที่แล้วที่แนะนำเกี่ยวกับ CoreOS และการติดตั้งบน Vmware^[1] ไปแล้วนั้น เราก็สามารถสร้างให้เป็นในรูปแบบ Cluster ได้ โดยมองว่าเครื่องแต่ละเครื่องที่สร้างนั้นเป็น Node หนึ่ง ๆ ใน Cluster โดยใช้ etcd เป็นตัวเก็บข้อมูลของ Node และ Fleet เป็นตัว Deploy docker ให้กระจายไปยัง Node ต่าง ๆ อย่างเหมาะสม โดยที่จะสามารถย้ายตัวเองได้เมื่อมีเครื่องใดเครื่องหนึ่งมีปัญหา (Recommend จำนวนเลขคี่ และอย่างต่ำต้อง 3 node ขึ้นไป ยิ่งเยอะ โอกาสล่มก็ยิ่งต่ำ)

etcd ในปัจจุบันเป็น Version 3 ซึ่งจะมีประสิทธิภาพเพิ่มขึ้นจาก Version 2 (แต่ใน document web ยังเป็น etcd2 เป็นส่วนมาก) โดยใช้สำหรับเก็บข้อมูลแต่ละ Node ทำให้รู้ว่าในแต่ละ Cluster มีเครื่องใด IP อะไรบ้าง มีทั้งหมด 3 วิธีคือ
1. Static เป็นวิธีที่ระบุลงไปเลยในแต่ละเครื่องว่ามีเครื่องไหนบ้างที่อยู่ใน Cluster วิธีการนี้ข้อเสียคือถ้าเพิ่มต้องเพิ่มทุกเครื่อง
2. etcd Discovery เป็นวิธีที่จะให้ Discovery Service เป็นคนทำหน้าที่เก็บข้อมูล (เหมือน tracker torrent) เมื่อเพิ่มเครื่องใหม่ ก็แค่ชี้ไป Discovery URL ก็เสร็จ
3. DNS Discovery เป็นวิธีการใช้วิธีการจด DNS ในรูปแบบ SRV record เพื่อบอกว่า บริการนี้มีเครื่องอะไรอยู่บ้าง ซึ่งจะมีการอ้างอิงอยู่กับ Domain Name โดยวิธีนี้จำเป็นต้องจดชื่อ Domain ทุกเครื่อง
ในบทความนี้จะอธิบายวิธีที่ 1 ซึ่งแม้ยุ่งยาก แต่เหมาะกับระบบที่ Internet Public ไม่ค่อยเสถียร และ ถ้าใครต้องการลองวิธีอื่นสามารถตามอ่านได้ใน Web CoreOS^[2] ครับ

วิธีการตั้งค่า etcd2
- ทำการสร้าง service etcd2 service ด้วย systemd ดังนี้
```
sudo vim /etc/systemd/system/etcd2.service
```
- ข้อความในไฟล์มีดังนี้ (ถ้าต้องการความปลอดภัยสามารถใช้ https ได้ครับ แต่ต้องมีการทำ certificate เพิ่มเติม ซึ่งไม่ขออธิบายครับ)
```
[Unit]
Description=etcd2
Conflicts=etcd.service

[Service]
User=etcd
Type=notify
Environment=ETCD_DATA_DIR=/var/lib/etcd
ExecStart=/usr/bin/etcd2 --name node01 --initial-advertise-peer-urls http://[IP]:2380 \
 --listen-peer-urls http://[IP]:2380 \
 --listen-client-urls http://[IP]:2379,http://127.0.0.1:2379 \
 --advertise-client-urls http://[IP]:2379 \
 --initial-cluster-token etcd-cluster-1 \
 --initial-cluster node01=http://[IP_node01]:2380,node02=http://[IP_node02]:2380,node03=http://[IP_node03]:2380 \
 --initial-cluster-state new

Restart=always
RestartSec=10s
LimitNOFILE=40000
TimeoutStartSec=0

[Install]
WantedBy=multi-user.target
```
- Enable etcd2 service เพื่อให้รันทุกครั้งที่เปิดเครื่อง
```
sudo systemctl enable etcd2
```
- Start etcd2 service
```
sudo systemctl start etcd2
```
- ตรวจดูสถานะการทำงานของ etcd2 service
```
sudo systemctl status etcd2
```
- เราสามารถดูข้อมูลสมาชิกได้ดังนี้
```
etcdctl member list
```
วิธีการตั้งค่า Fleet
- ทำการสร้าง service fleet โดยการตั้งค่าใน systemd ดังนี้
```
sudo vim /etc/systemd/system/fleet.service
```
- ข้อความในไฟล์มีดังนี้ (จะเห็นว่า config ตั้งค่าให้ Start หลัง etcd2)
```
[Unit]
Description=fleet daemon

After=etcd2.service

Wants=fleet.socket
After=fleet.socket

[Service]
User=fleet
Environment=GOMAXPROCS=1
Environment="FLEET_PUBLIC_IP=[IP]"
ExecStart=/usr/bin/fleetd
Restart=always
RestartSec=10s

[Install]
WantedBy=multi-user.target
```
- Enable fleet service เพื่อให้รันทุกครั้งที่เปิดเครื่อง
```
sudo systemctl enable fleet
```
- Start fleet service
```
sudo systemctl start fleet
```
- ตรวจดูสถานะการทำงานของ fleet service
```
sudo systemctl status fleet
```
- วิธีตรวจดูสถานะแต่ละ Node ทำได้ดังนี้
```
fleetctl list-machines
```
- จะได้ผลลัพธ์หน้าตาประมาณนี้ครับ
ให้ทำการติดตั้งไปเรื่อย ๆ ทั้ง CoreOS->Etcd2->Fleet จนครบ 3 เครื่อง หรือ 5,7,9 เครื่องแล้วแต่จะต้องการว่าจะสร้างกี่ Node ครับ ยกตัวอย่างถ้าครบ 3 เครื่องก็จะได้ประมาณนี้ครับ

ทดสอบการสร้าง WordPress ผ่าน Fleet^[3]
- วิธีการทำแน่นอนครับ หนีไม่พ้นไฟล์รูปแบบ systemd (อีกแล้ว) แต่ไม่ต้องรันด้วย systemctl นะครับ ทำที่เครื่องใดเครื่องหนึ่ง สร้างที่ /home/core ก็ได้ดังนี้
- ก่อนอื่นต้องติดตั้ง docker mysql โดยสร้างไฟล์ mysql.service ดังนี้
```
vim mysql.service
```
- ข้อความในไฟล์ประมาณนี้ครับ
```
[Unit]
Description=MySQL DataBase
After=etcd.service
After=docker.service

[Service]
TimeoutStartSec=0
ExecStartPre=-/usr/bin/docker kill mysql
ExecStartPre=-/usr/bin/docker rm mysql
ExecStartPre=/usr/bin/docker pull mysql:5.7
ExecStart=/usr/bin/docker run --name mysql -e MYSQL_ROOT_PASSWORD="wordpress" -e MYSQL_DATABASE="wordpress" -e MYSQL_USER="wordpress" -e MYSQL_PASSWORD="wordpress" mysql:5.7
ExecStop=/usr/bin/docker stop mysql
```
- สร้างไฟล์ wordpress.service ดังนี้
```
vim wordpress.service
```
- ข้อความในไฟล์ประมาณนี้ครับ
```
[Unit]
Description=WordPress
After=mysql.service

[Service]
TimeoutStartSec=0
ExecStartPre=-/usr/bin/docker kill wordpress
ExecStartPre=-/usr/bin/docker rm wordpress
ExecStartPre=/usr/bin/docker pull wordpress
ExecStart=/usr/bin/docker run --name wordpress --link mysql -p 8880:80 -e WORDPRESS_DB_PASSWORD=wordpress -e WORDPRESS_DB_NAME=wordpress -e WORDPRESS_DB_USER=wordpress wordpress
ExecStop=/usr/bin/docker stop wordpress

[X-Fleet]
X-ConditionMachineOf=mysql.service
```
- สั่ง Start mysql service ด้วย fleetctl ดังนี้
```
fleetctl start mysql.service
```
- สั่ง Start wordpress service ด้วย fleetctl ดังนี้
```
fleetctl start wordpress.service
```
- สั่งคำสั่งเพื่อตรวจสอบสถานะดังนี้ (ซึ่งจะบอกว่าติดตั้งที่ Node ใด และสถานะการใช้งาน หรือการติดตั้งเป็นอย่างไร)
```
fleetctl list-units
```
- เสร็จแล้วลองสั่ง fleetctl list-units ที่ Node อื่น ๆ ดูครับก็จะได้ผลลัพธ์เหมือน ๆ กัน
- ก็จะได้ web wordpress เอาไว้ใช้งานแล้ว
- จากนั้นทดสอบลองปิด Node ดูครับ สำหรับระบบที่มี 3 Node พังได้แค่ Node เดียวครับ ถ้าอยากได้มากกว่านั้นต้องเพิ่มจำนวน Node ขึ้นไป
- จะพบว่าเครื่องจะย้ายไป Start อีก Node ทันที (มันจะสั่ง start ใหม่นะครับ ไม่ได้ย้ายไปแบบ vmware) เท่าที่ทดสอบข้อมูลไม่ได้มาด้วยครับ อีกทั้งยังได้ ip ที่เครื่องใหม่ เพราะฉะนั้นต้องหาวิธีทำ map volume และ proxy web เอาเองครับ
(Optional) วิธีการ Fix IP แทน DHCP
- ในกรณีที่ต้องการ Fix IP แทน DHCP ให้เข้าไปสร้าง systemd network config โดยสร้างไฟล์ดังนี้
```
sudo vim /etc/systemd/network/static.network
```
- ข้อความในไฟล์ประมาณนี้ครับ
```
[Match]
Name=[Interface Name]

[Network]
Address=[IP/Mask]
Gateway=[IP Gateway]
DNS=[DNS IP มีหลาย IP ให้เว้นวรรค เช่น 10.0.0.1 10.0.0.2]
```
- จากนั้นให้ทำการ Restart เครื่อง (จริง ๆ restart service ก็น่าจะได้ แต่ลองแล้วไม่ได้ครับ)
สำหรับ CoreOS Cluster ก็มีเท่านี้ครับ แต่จะเห็นว่ายังขาด Docker Management ที่เป็น GUI รวมถึง Docker Gateway และระบบ Storage ติดตามในตอนต่อ ๆ ไปแล้วกันครับ

==================================

Reference :

[1] มารู้จักกับ CoreOS Linux และวิธีติดตั้ง CoreOS Linux บน Vmware : https://sysadmin.psu.ac.th/2017/05/03/coreos-linux-install-vmware/

[2] CoreOS Clustering Guide : https://coreos.com/etcd/docs/latest/op-guide/clustering.html#etcd-discovery

[3] Deploy WordPress in CoreOS Cluster using Fleet : https://wenfeng-gao.github.io/2016/06/03/deploy-wordpress-in-coreos-cluster-using-fleet.html
May 4, 2017
Oracle MySQL Cluster :- The shared-nothing architecture (Manual Installation)

grianggrai.n

April 12, 2017
1. สิ่งที่ต้องเตรียม ได้แก่ Ubuntu Server 16.04 (รุ่น x86_64 architecture) จำนวนอย่างน้อย 4 เครื่อง (แต่ควรอย่างน้อย 6 เครื่อง), IP Address 4 IP, Software MySQL Cluster โหลดที่ https://edelivery.oracle.com/ (ต้องสมัครสมาชิกให้เรียบร้อยก่อน) ใช้คำค้นว่า MySQL Cluster (จะมีรุ่น 7.5.5 ให้โหลด) โดยไฟล์ที่ใช้งานชื่อว่า V840854-01.zip MySQL Cluster 7.5.5 TAR for Generic Linux (glibc2.5) x86 (64bit)
2. 4 เครื่องประกอบด้วยอะไรบ้าง
  2 x data nodes เปลี่ยน IP ให้ตรงกับที่ใช้งาน
  192.168.106.32 Data-node1
  192.168.106.33 Data-node2
  1 x SQL/NoSQL Application Node
  192.168.106.42 SQL-Node
  1 x Management Node
  192.168.106.40 Management-node
3. เริ่มที่ Management Node
  1. ssh 192.168.106.40 -l sudo_user (user ที่เรียกใช้คำสั่ง sudo ได้)
  2. คลายแฟ้ม V840854-01.zip ด้วยคำสั่ง
    unzip V840854-01.zip (อาจต้องติดตั้งเพิ่มเติมด้วยคำสั่ง sudo apt install unzip)
  3. จะได้แฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz คลายแฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz ด้วยคำสั่ง
    tar zxvf mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz
  4. เปลี่่ยนชื่อ mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 เป็น mysql
    mv mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 mysql
  5. คัดลอกแฟ้ม mysql/bin/ndb_mgmd และ mysql/bin/ndb_mgm ไปไว้ที่ /usr/local/bin
    cp mysql/bin/ndb_mgm* /usr/local/bin/
  6. สร้างโฟลเดอร์ /var/lib/mysql-cluster และสร้างแฟ้ม /var/lib/mysql-cluster/config.ini
    sudo mkdir -p /var/lib/mysql-cluster/
  7. เพื่อเป็นการบอก Management node ว่า Data Node และ SQL Node มีใครบ้าง ให้สร้าง config.ini ไว้ที่ /var/lib/mysql-cluster ด้วยคำสั่ง
    cat<< EOF | sudo tee /var/lib/mysql-cluster/config.ini
    เพิ่มข้อความต่อไปนี้ลงไป
    [ndbd default] NoOfReplicas=2 DataMemory=80M IndexMemory=18M [mysqld default] [ndb_mgmd default] [tcp default]# Cluster Control / Management node
    [ndb_mgmd]
    hostname=192.168.106.40# Data Node 1
    [ndbd]
    hostname=192.168.106.32
    DataDir= /var/lib/mysql-cluster# Data Node 2
    [ndbd]
    HostName=192.168.106.33
    DataDir=/var/lib/mysql-cluster# SQL Node
    [mysqld]
    hostname=192.168.106.42
    
    # If you to add new SQL Node
    [mysqld]
    
    EOF
  8. เพิ่มข้อความต่อไปนี้ในแฟ้ม /etc/rc.local
    /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/
    โดยเพิ่มให้อยู่บรรทัดก่อนคำว่า exit 0 ตัวอย่าง /etc/rc.local
    #!/bin/sh -e
    #
    # rc.local
    #
    # This script is executed at the end of each multiuser runlevel.
    # Make sure that the script will "exit 0" on success or any other
    # value on error.
    #
    # In order to enable or disable this script just change the execution
    # bits.
    #
    # By default this script does nothing.ndb_mgmd -f /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/
    exit 0
  9. สั่งคำสั่ง
    sudo ndb_mgmd -f /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/ต้องเห็นข้อความว่า MySQL Cluster Management Server mysql-5.7.17 ndb-7.5.5 แปลว่า management node ทำงานแล้ว
  10. สามารถตรวจสอบด้วยคำสั่งอื่นๆ
    netstat -plntuได้ผลดังภาพ สังเกตุบรรทัดที่เขียนว่า tcp 0 0 0.0.0.0:1186 แปลว่า management node ทำงานแล้ว
  11. สามารถทำซ้ำได้อีกเครื่อง (ไม่จำกัด) แต่ในตัวอย่างนี้มีเพียงเครื่องเดียว
  12. ส่งแฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz ให้ SQL node
    cd scp mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz sudo_user@192.168.106.42
4. ติดตั้ง SQL Node
  1. ssh 192.168.106.42 -l sudo_user (User ที่สามารถเรียกใช้คำสั่ง sudo ได้)
  2. ติดตั้ง Package ที่จำเป็น
    sudo apt install libaio1
  3. สร้าง user และ group
    sudo groupadd mysql
    sudo useradd -g mysql mysql
  4. คลายแฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz ด้วยคำสั่ง
    tar zxvf mysql-cluster-advanced-7.5.5-เพิ่มข้อความต่อไปนี้ในแฟ้ม /etc/rc.local /var/lib/mysql-cluster/config.ini --configdir=/var/lib/mysql-cluster/ โดยเพิ่มให้อยู่บรรทัดก่อนคำว่า exit 0 ตัวอย่าง /etc/rc.locallinux-glibc2.5-x86_64.tar.gz
  5. เปลี่่ยนชื่อ mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 เป็น mysql
    mv mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 mysql
  6. ย้าย mysql ไปที่ /usr/local/ ด้วยคำสั่ง
    sudo mv mysql /usr/local
  7. สร้างโฟลเดอร์และสั่งคำสั่งต่อไปนี้
    sudo mkdir /usr/local/mysql/data
    sudo mkdir /var/lib/mysql-files
    sudo chown mysql:mysql /var/lib/mysql-files
    sudo chown mysql:mysql /usr/local/mysql/data
  8. สร้างแฟ้ม /etc/my.cnf ด้วยคำสั่ง
    cat << EOF | sudo tee /etc/my.cnf
    เพิ่มข้อความต่อไปนี้ลงไป
    # MySQL Config
    [mysqld]
    datadir=/usr/local/mysql/data
    socket=/tmp/mysql.sock
    user=mysql# Run ndb storage engine
    ndbcluster
    # IP address management node
    ndb-connectstring=192.168.106.40[mysql_cluster]
    # IP address management node
    ndb-connectstring=192.168.106.40# MySQL Pid and Log
    [mysqld_safe]
    log-error=/var/log/mysqld.log
    pid-file=/var/run/mysqld/mysqld.pid
    EOF
  9. สั่งคำสั่งต่อไปนี้เพื่อเตรียมฐานข้อมูล ในขั้นตอนนี้จะมีการสร้าง passwd ของ root ให้ด้วยโดยอัตโนมัติ *จดไว้ด้วย*
    sudo /usr/local/mysql/bin/mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data
  10. เพื่อให้ตัวควบคุมฐานข้อมูลทำงานอัตโนมัติสั่งคำสั่งต่อไปนี้
    sudo cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
    sudo systemctl enable mysqld.service
    sudo systemctl start mysqld
  11. สามารถทำซ้ำได้อีกเครื่อง (ไม่จำกัด) แต่ในตัวอย่างนี้มี SQL Node เพียงเครื่องเดียว
  12. ส่งแฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz ให้ SQL node
    cd scp mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz sudo_user@192.168.106.32
5. ติดตั้ง Data Node
  1. ssh sudo_user@192.168.106.32 (sudo_user คือ user ที่เรียกใช้คำสั่ง sudo ได้)
  2. สร้างแฟ้ม /etc/my.cnf ด้วยคำสั่ง
    cat << EOF | sudo tee /etc/my.cnf
    เพิ่มข้อความต่อไปนี้เข้าไป
    # MySQL Config
    [mysqld]
    datadir=/usr/local/mysql/data
    socket=/tmp/mysql.sock
    user=mysql# Run ndb storage engine
    ndbcluster
    # IP address management node
    ndb-connectstring=192.168.106.40[mysql_cluster]
    # IP address management node
    ndb-connectstring=192.168.106.40# MySQL Pid and Log
    [mysqld_safe]
    log-error=/var/log/mysqld.log
    pid-file=/var/run/mysqld/mysqld.pid
    EOF
  3. ติดตั้ง Package ที่จำเป็น
    sudo apt install libaio1
  4. สร้าง user และ group
    sudo groupadd mysql
    sudo useradd -g mysql mysql
  5. คลายแฟ้ม mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz ด้วยคำสั่ง
    tar zxvf mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64.tar.gz
  6. เปลี่่ยนชื่อ mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 เป็น mysql
    mv mysql-cluster-advanced-7.5.5-linux-glibc2.5-x86_64 mysql
  7. ย้าย mysql ไปที่ /usr/local/ ด้วยคำสั่ง
    sudo mv mysql /usr/local
  8. สร้างโฟลเดอร์และสั่งคำสั่งต่อไปนี้
    sudo mkdir /usr/local/mysql/data sudo mkdir /var/lib/mysql-files sudo mkdir /var/lib/mysql-cluster sudo chown mysql:mysql /var/lib/mysql-files sudo chown mysql:mysql /usr/local/mysql/data
  9. สั่ง start service ด้วยคำสั่ง
    sudo /usr/local/mysql/bin/ndbd
  10. เพิ่มข้อความต่อไปนี้ในแฟ้ม /etc/rc.local
    /usr/local/mysql/bin/ndbd โดยเพิ่มให้อยู่บรรทัดก่อนคำว่า exit 0
    ตัวอย่าง /etc/rc.local
    #!/bin/sh -e
    #
    # rc.local
    #
    # This script is executed at the end of each multiuser runlevel.
    # Make sure that the script will "exit 0" on success or any other
    # value on error.
    #
    # In order to enable or disable this script just change the execution
    # bits.
    #
    # By default this script does nothing.
    /usr/local/mysql/bin/ndbd
    exit 0
  11. ทำซ้ำสำหรับ Data Node2 (ไม่จำกัด)
6. ทดสอบ Cluster
  1. พิมพ์คำสั่ง
    sudo /usr/local/mysql/bin/ndb_mgm
    เมื่อได้ prompt พิมพ์คำว่า show ได้ผลดังภาพ
  2. แปลว่าทำงานถูกต้องแล้ว..
7. เชื่อมต่อกับ SQL Node เพื่อเปลี่ยนรหัสผ่าน root
  1. ssh sudo_user@192.168.106.42 (sudo_user คือ user ที่เรียกใช้คำสั่ง sudo ได้)
  2. พิมพ์คำสั่งต่อไปนี้เพื่อสร้าง link ไปยัง mysql client
    sudo ln -s /usr/local/mysql/bin/mysql /usr/bin
  3. เรียกใช้งาน mysql
    mysql -u root -p
    ใส่ passwd ที่จดไว้ในข้อ 4 ข้อย่อย 9 แล้วเปลี่ยนใหม่ด้วยคำสั่ง
    ALTER USER ‘root’@’localhost’ IDENTIFIED BY ‘newPassw0rd’
8. ทุกครั้งที่จะทำอะไรผ่าน mysql client ต้องติดต่อกับ SQL Node เท่านั้นซึ่งตามตัวอย่างนี้มีเพียงเครื่องเดียวจึงไม่มีการทำ replicate data ใดๆ ทั้งสิ้นจำเป็นต้องเพิ่ม SQL Node เข้าไปอีก
9. จบ.. ขอให้สนุกครับ
อ้างอิง

https://www.howtoforge.com/tutorial/how-to-install-a-mysql-cluster-on-ubuntu-16-04/

https://medium.com/@ophasnoname_44358/mysql-cluster-7-5-5-on-ubuntu-16-04-step-by-step-9132cf76d5b8
April 12, 2017
Juju #06 – เชื่อม MySQL Master-Master เข้ากับ HAProxy

kanakorn.h

December 29, 2016
ต่อจาก Juju #05 – วิธีกระจายงานไปยัง MySQL แบบ Master-Master เมื่อสร้าง MySQL แบบ Master-Master Replication ได้แล้ว ก็มาเชื่อมกับ HAProxy เพื่อให้ Application ที่เขียน มองเห็นทั้งระบบเป็นชิ้นเดียว

IP Address ของระบบต่างๆเป็นดังนี้
haproxy : 10.107.107.71

mysql-master1: 10.107.107.35

mysql-master1: 10.107.107.83

ขั้นตอนการติดตั้ง
1. ที่ mysql-master1 ต้องสร้าง 2 Users ขึ้นมา ชื่อ haproxy_check และ haproxy_root ด้วยคำสั่งต่อไปนี้
```
mysql -u root -p$(cat /var/lib/mysql/mysql.passwd) -e "INSERT INTO mysql.user (Host,User) values ('10.107.107.71','haproxy_check'); FLUSH PRIVILEGES;"

mysql -u root -p$(cat /var/lib/mysql/mysql.passwd) -e "GRANT ALL PRIVILEGES ON *.* TO 'haproxy_root'@'10.107.107.71' IDENTIFIED BY 'password' WITH GRANT OPTION; FLUSH PRIVILEGES;"
```
2. ที่ haproxy
  ติดตั้ง mysql-client ด้วยคำสั่ง
```
sudo apt-get install mysql-client
```
  ทดสอบด้วยคำสั่ง
```
mysql -h 10.107.107.35 -u haproxy_root -ppassword -e "SHOW DATABASES;"
mysql -h 10.107.107.83 -u haproxy_root -ppassword -e "SHOW DATABASES;"
```
  แก้ไขไฟล์ /etc/haproxy/haproxy.cfg โดยเพิ่มบรรทัดต่อไปนี้ท้ายไฟล์ [3]
```
frontend mysql-cluster
 bind *:3306
 mode tcp
 default_backend mysql-backend

backend mysql-backend
 mode tcp
 balance roundrobin
 server mysql-master1 10.107.107.35:3306 check
 server mysql-master2 10.107.107.83:3306 check
```
  และสุดท้าย ทดสอบด้วยคำสั่งต่อไปนี้
```
for i in `seq 1 6`; do 
   mysql -h 127.0.0.1 -u haproxy_root -ppassword -e "show variables like 'server_id'"; 
done
```
  ควรจะได้ผลประมาณนี้
3. จากนั้นก็สามารถพัฒนา Application โดยใช้ IP Address ของ haproxy ซึ่งในที่นี้คือ 10.107.107.71 และ Port 3306 ได้แล้ว ซึ่งเบื้องหลัระบบจะทำการ Replication กันเองทั้งหมด
Reference:

[1] https://www.digitalocean.com/community/tutorials/how-to-set-up-mysql-master-master-replication

[2] https://www.digitalocean.com/community/tutorials/how-to-use-haproxy-to-set-up-mysql-load-balancing–3

[3] https://serversforhackers.com/load-balancing-with-haproxy
December 29, 2016
Juju #05 – วิธีกระจายงานไปยัง MySQL แบบ Master-Master

kanakorn.h

December 29, 2016
ต่อจาก Juju #04 – วิธีทำให้ WordPress กระจายงานไปยัง MySQL Slave ด้วย HyperDB ซึ่งเป็นวิธีการกระจายงานให้ MySQL แบบ Master-Slave จะต้องอาศัยความสามารถของ HyperDB Plugin ของ WordPress ในการทำงาน ซึ่งถ้าเป็นการพัฒนา Application ทั่วไปที่ไม่ใช่ WordPress ก็จะทำด้วยวิธีดังกล่าวไม่ได้

ในบทความนี้จะกล่าวถึง การสร้าง Load-Balanced MySQL แบบ Master-Master ซึ่งทำให้สามารถกระจายการ Write ไปยัง MySQL หลายตัวได้ (ในเบื้องต้น 2 ตัว)
*** ในบทความต่อไป จะต่อด้วยการเชื่อมเข้ากับ haproxy ***

ขั้นตอนการติดตั้งมีดังนี้
1. Deploy haproxy (ตั้งชื่อ haproxy-mysql) และ MySQL (ตั้งชื่อ mysql-master1 และ mysql-master2)
2. ต่อไปนี้เป็นวิธีการติดตั้ง MySQL Master-Master Replication [1]
3. บนเครื่อง mysql-master1
  แก้ไขไฟล์ /etc/mysql/mysql.cnf
  ค้นหาคำว่า server-id
  จากนั้น Uncomment บรรทัดต่อไปนี้
  server-id
  log_bin
  binlog_do_db
  
  จากนั้น ในบรรทัด
  – server_id = 1
  – binlog_do_db ใส่เป็น Database Name ที่จะทำการ Replication
  
  เมื่อเสร็จแล้ว ก็ Save แล้ว Restart Mysql
  sudo service mysql restart
  แล้วเข้าใช้งานด้วยคำสั่ง
  mysql -u root -p$(cat /var/lib/mysql/mysql.passwd)
  สร้าง User ที่จะทำหน้า Replicate ข้อมูล ด้วยคำสั่ง
  mysql> create user ‘replicator’@’%’ identified by ‘password’;
  และกำหนดสิทธิให้สามารถ Replicate ได้ ด้วยคำสั่ง
  mysql> grant replication slave on *.* to ‘replicator’@’%’;
  สุดท้ายใช้คำสั่งต่อไปนี้ เพื่อเรียกข้อมูลที่สำหรับการตั้งค่า mysql-master2
  mysql> show master status;
  ได้ผลดังนี้
  
  จากนั้นใช้คำสั่งต่อไปนี้ แล้วเก็บค่า FILE และ POSITION ไว้ เพื่อใช้ในขั้นตอนต่อไป
4. บนเครื่อง mysql-master2
  แก้ไขไฟล์ /etc/mysql/mysql.cnf เหมือนกับที่ทำบน mysql-master1 แต่เปลี่ยนค่า server_id เป็น 2
  
  เมื่อเสร็จแล้ว ก็ Save แล้ว Restart Mysql
  sudo service mysql restart
  แล้วเข้าใช้งานด้วยคำสั่ง
  mysql -u root -p$(cat /var/lib/mysql/mysql.passwd)
  สร้าง User ที่จะทำหน้า Replicate ข้อมูล ด้วยคำสั่ง
  mysql> create user ‘replicator’@’%’ identified by ‘password’;
  และกำหนดสิทธิให้สามารถ Replicate ได้ ด้วยคำสั่ง
  mysql> grant replication slave on *.* to ‘replicator’@’%’;
  ** ขั้นตอนต่อไปนี้ ทำที่ mysql-master2 (mysql-master1 ใช้ IP 10.107.107.35)
  mysql> slave stop;
  mysql> CHANGE MASTER TO MASTER_HOST = ‘10.107.107.35’, MASTER_USER = ‘replicator’, MASTER_PASSWORD = ‘password’, MASTER_LOG_FILE = ‘mysql-bin.000003’, MASTER_LOG_POS = 344;
  mysql> slave start;จากนั้นใช้คำสั่งต่อไปนี้ แล้วเก็บค่า FILE และ POSITION ไว้ เพื่อใช้ในขั้นตอนต่อไป
  mysql> show master status;
5. กลับมาที่ mysql-master1 อีกครั้ง แล้วใช้คำสั่งต่อไปนี้ (mysql-master2 ใช้ IP 10.107.107.83)
  mysql> slave stop;
  mysql> CHANGE MASTER TO MASTER_HOST = ‘10.107.107.83’, MASTER_USER = ‘replicator’, MASTER_PASSWORD = ‘password’, MASTER_LOG_FILE = ‘mysql-bin.000003’, MASTER_LOG_POS = 344;
  mysql> slave start;
6. ที่ mysql-master1 ทำการสร้าง Database ชื่อ wordpress
7. ไปดูที่ mysql-master2 ก็จะพบว่า wordpress database ปรากฏขึ้นแล้วด้วย
Reference:

[1] https://www.digitalocean.com/community/tutorials/how-to-set-up-mysql-master-master-replication

[2] https://www.digitalocean.com/community/tutorials/how-to-use-haproxy-to-set-up-mysql-load-balancing–3
December 29, 2016
Juju #04 – วิธีทำให้ WordPress กระจายงานไปยัง MySQL Slave ด้วย HyperDB

kanakorn.h

December 23, 2016
ต่อจาก Juju #03 – วิธีสร้าง Load Balance MySQL เมื่อมี MySQL Server มากกว่า 1 ตัว ซึ่งทำการ Replication กัน (ในตอนนี้ 2 ตัว คือ Master กับ Slave) ซึ่งให้ความสามารถในเรื่อง [1]
- Data-Security : เมื่อข้อมูลถูก Replicate ไปที่ Slave แล้ว เราสามารถหยุดการทำงานของ Slave เพื่อทำการสำรองข้อมูลได้ โดยไม่กระทบประสิทธิภาพการทำงานของ Master
- Analytics: ทำการวิเคราะห์ข้อมูลต่างๆได้ที่ Slave โดยไม่กระทบประสิทธิภาพการทำงานของ Master
- Scale-Out Solutions: เมื่อมี Slaves หลายตัว ทำให้สามารถกระจายงานในด้าน Read เพื่อเพิ่มประสิทธิภาพ โดยการแก้ไขข้อมูล จะทำที่ Master เท่านั้น
ในบทความนี้ จะกล่าวถึงวิธีการ Scale-Out Solutions ของ WordPress เท่านั้น โดยใช้ Plugin ชื่อ HyperDB

HyperDB [2] เป็น Database Class ที่ใช้แทนที WordPress built-in database functions โดยจะทำให้ WordPress สามารถติดต่อกับ MySQL ได้หลายเครื่อง โดยที่สามารถกำหนดได้ว่าจะ Write ไปยัง Master และ Read จากทั้ง Master และ Slaves อีกทั้งยังสามารถ Failover ได้อีกด้วย

วิธีการติดตั้ง HyperDB
1. ที่ WordPress ใช้คำสั่ง
  wget https://downloads.wordpress.org/plugin/hyperdb.1.2.zip
  sudo apt-get install unzip
  sudo unzip hyperdb.1.2.zip
2. ย้ายไฟล์ hyperdb/db-config.php ไปยังที่ Directory เดียวกันกับ wp-config.php (ในที่นี้คื่อ /var/www/)
  sudo cp hyperdb/db-config.php /var/www
3. ย้ายไฟล์ hyperdb/db.php ไปยังที่ Directory wp-content (ในที่นี้คื่อ /var/www/wp-content)
  sudo cp hyperdb/db.php /var/www/wp-content/
4. แก้ไขไฟล์ db-config.php (ในที่นี้คื่อ /var/www/db-config.php) [3] โดยค้นหาคำว่า DB_HOST ซึ่งควรจะปรากฏอยู่แค่ 2 แห่งในไฟล์ ให้ไปที่ชุดที่ 2 ซึ่งมีเนื้อหาประมาณนี้
  
  จากนั้นแก้ไข DB_HOST ให้เป็น DB_SLAVE_1
5. ต่อไปก็ไปเพิ่ม define(‘DB_SLAVE_1′,’xxx.xxx.xxx.xxx’) ซึ่งไฟล์ wp-config.php หรือไม่ก็ wp-info.php (ในที่นี้อยู่ที่ /var/www/wp-info.php)
6. เมื่อทดสอบใช้งาน พบว่า มี Query มาทั้งที่ master และ slave
  ในภาวะว่าง
  
  ในภาวะมีงานเข้ามา
7. ทดสอบเพิ่มบทความใหม่ ชื่อ “This is my first article” พบว่า ระบบสามารถเขียนไปยัง Master แล้วสามารถส่งต่อไปให้ Slave ได้
8. ต่อไป เพิ่ม mysql-slave2 เข้าไปใน Juju และสร้าง Relation เป็น master -> Slave เช่นกัน
  
  แล้วทำการเพิ่ม DB_SLAVE_2 เข้าไปใน db-config.php และ wp-info.php
9. ก็จะพบว่าข้อมูลได้ Replicate ไปหา Slave2 แล้ว
10. และ เมื่อทำการ query ข้อมูลก็พบว่า มีการกระจายคำสั่ง Read ไปทั้ง 3 เครื่อง
References

[1] https://dev.mysql.com/doc/refman/5.7/en/replication.html

[2] https://th.wordpress.org/plugins/hyperdb/

[3] https://www.digitalocean.com/community/tutorials/how-to-optimize-wordpress-performance-with-mysql-replication-on-ubuntu-14-04
December 23, 2016
Juju #03 – วิธีสร้าง Load Balance MySQL

kanakorn.h

December 22, 2016

จาก Juju #02 – วิธีติดตั้ง WordPress ทำให้ได้ WordPress ซึ่งเป็น Web Application 2 เครื่องทำหน้าที่ Load Balance กัน ด้วย haproxy แล้ว

จากนั้น ทำการเพิ่ม MySQL เข้าไปใหม่ แล้วตั้ง Application Name เป็น mysql-slave แล้ว Commit Chages

จากนั้น สร้าง Relation เป็น mysql:master –> mysql-slave:slave

เมื่อเสร็จแล้ว จะได้ผลอย่างนี้

ทดสอบเพิ่ม Post ใหม่

แล้วเข้าไปใน mysql-slave (juju-xxx-xx เป็นชื่อเครื่องที่ Juju สร้างขึ้น)

lxc exec juju-xxxx-xx bash

แล้วใช้คำสั่งต่อไปนี้

mysql -u root -p$(cat /var/lib/mysql/mysql.passwd) -e ‘use wordpress; select post_title from wp_posts;’

ก็จะพบว่า mysql-slave ได้รับการ Update ตามไปด้วย

บทความต่อไป จะกล่าวถึงวิธีการทำให้ WordPress สามารถใช้ mysql-slave ในการ Read ได้ เพื่อกระจายโหลดครับ

December 22, 2016