Month: September 2017

Spark #04 – Pyspark connect to MySQL

kanakorn.h

September 29, 2017
ในบทความนี้ จะกล่าวถึง การดึงข้อมูลจาก MySQL ผ่าน JDBC เพื่อนำมาใช้งานใน Spark ด้วยภาษา Python ซึ่งจะใช้ Library Pyspark

ในขั้นตอนนี้ขอกล่าวเฉพาะวิธีการก่อน (รายละเอียดจะตามมาทีหลัง)
1. สร้าง SparkSession ตั้งชื่อว่า myspark
```
from pyspark.sql import SparkSession
myspark = SparkSession \
 .builder \
 .appName("Python Spark SQL basic example") \
 .config("spark.some.config.option", "some-value") \
 .getOrCreate()
```
2. ติดต่อ MySQL และสร้าง View ชื่อ myuser
```
myuser=myspark.read.jdbc(url="jdbc:mysql://mysql/mysql",table="user", properties={
 'user': 'user1', 'password': '123456'}
 )
myuser.createOrReplaceTempView(name="myuser")
```
3. จากนั้นก็จะสามารถ Query ข้อมูลที่เก็บไว้มาใช้งานใน Spark ได้
```
myspark.sql(sqlQuery="select user,host from myuser where user='user1'").show()
```
ซึ่งต่อจากนี้ จะสามารถใช้ความสามารถของ Spark ซึ่งทำงานด้าน Distributed Computing ได้ดี มาปรับปรุงความเร็วในการ Query ที่ซับซ้อน เช่นการ JOIN ได้ โดยจะกล่าวในบทความต่อๆไป
September 29, 2017
เตาะแตะไปกับ Docker ตอนที่ 12 Clone Docker Files From GitHub

wiboon.w

September 26, 2017
จากบล็อกเรื่อง “เตาะแตะไปกับ Docker” ในตอนที่แล้ว เราได้เรียนรู้ขั้นตอนในการสร้างและรัน LDAP services อย่างละเอียด ก่อนที่ผมจะเขียนบทความในตอนนี้ผมได้นำไฟล์ทุกไฟล์นั้นขึ้นไปไว้บน GitHub เพื่อให้พวกเราไม่ต้องสร้างไฟล์เหล่านั้นเอง แต่จะทำด้วยคำสั่ง git clone ครับ

เรายังคงทดสอบด้วย VM โดยตั้งค่า network เป็น NAT network เพราะว่า เราใช้ domain สมมติ คือ ldap.example.com และทดสอบในสภาพแวดล้อมที่เป็นเครือข่ายภายใน

ขั้นตอนดังนี้

1. ติดตั้ง Ubuntu 16.04 64 bit แล้วติดตั้ง docker 17.06.2-ce แล้วต้องเปลี่ยนชื่อ hostname เป็น ldap.example.com จากนั้นรีบูตเครื่อง

2. ติดตั้ง docker-compose 1.8.0-2 (ถ้ายังไม่ได้ทำ) ด้วยคำสั่งดังนี้
```
sudo apt install docker-compose
```
3. ทำการ Clone project จาก github ด้วยคำสั่ง
```
git clone https://github.com/woonpsu/ex1-openldap.git
```
4. ทำคำสั่งตามนี้
```
cd ex1-openldap
docker-compose up -d
```
หมายเหตุ
หากยังไม่มี image ชื่อ ubuntu:16.04 ก็จะใช้เวลานานสักหน่อยเมื่อรันคำสั่ง docker-compose เพราะว่าจะมีการสร้าง image ubuntu:16.04 ให้ใหม่

5. ใช้คำสั่งเหล่านี้เพื่อตรวจสอบ
```
docker images
docker ps
docker volume ls
```
6. เพิ่ม users ตัวอย่าง
```
sudo apt install ldap-utils
ldapadd -H ldap://ldap.example.com -f ./openldap/src/create-users.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456
```
7. ทดสอบเข้าใช้งานเว็บจากเครื่องใน NAT network เดียวกัน หรือที่เครื่อง VM server ที่ผมได้ติดตั้ง Desktop Environment ไว้แล้ว ก็ต้องเปลี่ยนจาก text เป็น graphic ด้วยคำสั่ง
```
$ startx
```
เข้า browser ไปที่
```
http://ldap.example.com:8080/phpldapadmin/
```
สำหรับวิธีการทำ GitHub Repository ชื่อ ex1-openldap ของผมอย่างคร่าว ๆ คือ
1. เข้า browser ไป sign up แบบ free ที่ github.com ด้วย username ชือ woonpsu

2. สร้าง Repository ชื่อ ex1-openldap

3. ไปที่เครื่อง server ใช้คำสั่ง

git clone https://github.com/woonpsu/ex1-openldap.git

4. เตรียมไฟล์

cd ex1-openldap
git init

5. สร้างไฟล์ docker-compose.yml และไดเรกทอรี openldap กับ phpldapadmin ให้เสร็จ

6. ทำการส่งขึ้นไปไว้บน github

git add .
git commit -m “This is a first commit”
git push -u origin master

ใส่ username และ password ของเราที่ sign up กับ github

หมายเหตุ
- หากต้องการใช้ VM ที่ผมเตรียมไว้ จะไม่ต้องติดตั้ง Ubuntu server ก็ download docker-vm file size 1.2G แล้ว import เข้า Oracle VM Virtualbox ทดสอบดูได้ (เข้าด้วย mama/123456)
September 26, 2017
Machine Learning #01 – Python with iris dataset

kanakorn.h

September 26, 2017
ในบทความนี้ จะแนะนำวิธีการสร้างกระบวนการ Machine Learning ด้วย Python โดยใช้ iris dataset ตั้งแต่การโหลดข้อมูล, สร้าง Model, Cross Validation, วัด Accuracy และการนำ Model ไปใช้งาน

เพื่อความสะดวกในการเรียนรู้ เราจะเลือกใช้ Anaconda ซึ่งเป็น Python Data Science Platform ซึ่งจะรวบรวมเครื่องมือ และ Library ที่จำเป็นต่อการพัฒนา โดยสามารถเลือก Download รุ่นที่เหมาะกับระบบปฏบัติการของท่านได้ที่ https://www.anaconda.com/download/

สามารถ Clone Repository ตัวอย่างทั้งหมดที่กล่าวถึงในบทความนี้ได้จาก https://github.com/nagarindkx/pythonml

และ แนะนำให้ใช้งาน jupyter-notebook เพื่อสะดวกในการเรียนรู้

บทความนี้ใช้ Notebook: 01 – SVM with iris dataset.ipynb

เริ่มจาก import dataset “iris” จาก SciKit

ซึ่งเป็น dataset ตัวอย่างทีดี ในการสร้างระบบ Predict ชนิดของดอกไม้ จากการป้อนค่า ความกว้างและความยาวของกลีบดอก Iris (รายละเอียดอ่านได้จาก https://en.wikipedia.org/wiki/Iris_flower_data_set) ซึ่งเป็นการวัดความกว้าง และ ความยาวของกลีบดอก ของดอก “iris” (sepal width, sepal length, petal width, petal length) ใน 3 Spicy

Image Source: https://en.wikipedia.org/wiki/Iris_flower_data_set

ชุด iris dataset นี้ มักจะใช้ในการเริ่มต้นเรียนรู้ กระบวนการสร้าง Machine Learning เพื่อการ Classification โดยในตัวอย่างนี้จะใช้ Support Vector Machine (SVM) โดยเมื่อสร้างและ Train Model เสร็จแล้ว สามารถนำ Model นี้ไปใช้ในการ จำแนก Species ได้ โดยการระบุ ความกว้างและความยาวดังกล่าว แล้วระบบจะตอบมาได้ว่า เป็น Species ใด

ในการเริ่มต้นนี้ เราจะใช้ iris dataset ที่มาพร้อมกับ SciKit (sklearn) ซึ่งเป็น Machine Learning Package ในภาษา Python (ซึ่งติดตั้งมาในชุดของ Anaconda เรียบร้อยแล้ว)

นำเข้าข้อมูล
```
from sklearn import datasets
iris = datasets.load_iris()
```
สำรวจข้อมูล
```
print(iris.data)
print(iris.target)
print(iris.data.shape)
print(iris.target.shape)
```
ใช้งาน SVM (Support Vector Machine)

สร้าง SVC (Support Vector Classification) เพื่อทำการ Training ด้วยคำสั่ง fit โดยใส่ค่า data และ target ลงไป
```
from sklearn import svm
clf = svm.SVC()
clf.fit(iris.data, iris.target)
```
ผลที่ได้คือ
```
SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape=None, degree=3, gamma='auto', kernel='rbf',
  max_iter=-1, probability=False, random_state=None, shrinking=True,
  tol=0.001, verbose=False)
```
ทดลองทำการ Predict

ด้วยคำสั่ง predict แล้วใส่ Array ข้อมูลลงไป
```
print(clf.predict([[ 6.3 , 2.5, 5., 1.9]]))
```
ซึ่งระบบจะตอบออกมาเป็น
```
[2]
```
ต้องการแสดงผลเป็นชื่อของ Target

ต้องทำในขั้นตอน fit ดังนี้
```
clf.fit(iris.data, iris.target_names[ iris.target])
print(clf.predict([[ 6.3 , 2.5, 5., 1.9]]))
```
ผลที่ได้คือ
```
['virginica']
```
ทำการ Cross Validation

โดยแบ่งข้อมูลเป็นสองส่วน คือ ส่วน Train และ Test ทั้ง X และ Y จากนั้น ใช้ Function “fit” ในการ Train
```
from sklearn.model_selection import train_test_split
x_train,x_test,y_train, y_test = train_test_split( iris.data, iris.target, test_size=0.4 , random_state=0)

print(x_train.shape, x_test.shape, y_train.shape, y_test.shape)

clf.fit(x_train, y_train)
```
ผลที่ได้คือ
(90, 4) (60, 4) (90,) (60,) SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape=None, degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)

ทดสอบความแม่นยำ

ด้วยการ นำข้อมูลส่วน Test ไปทดสอบใน Model ด้วย Function “score”

print(clf.score(x_test, y_test))

ผลที่ได้คือ

0.95

นำ Model ที่สร้างเสร็จไปใช้ต่อ

ใช้กระบวนการ pickle หรือ serialization

import pickle pickle.dump(clf, open("myiris.pickle","wb"))

ซึ่ง ก็จะได้ไฟล์ “myiris.pickle” สามารถนำไปใช้งานต่อได้
ในบทความต่อไป จะกล่าวถึง การนำ Model นี้ไปใช้งานผ่าน django REST Framework
September 26, 2017
การใช้ GitHub Command Line #newbie

kanakorn.h

September 21, 2017
Prerequisite
- ต้องมี GitHub Account ก่อน ทำตามวิธีการนี้ https://help.github.com/articles/signing-up-for-a-new-github-account/
- สร้าง GitHub Repository บน Web ก่อน (ในที่นี้ จะสร้าง Repository ชื่อ mynewrepo) ซึ่งจะได้ URL มาเป็น https://github.com/your-username/mynewrepo.git
สร้าง local repository
```
mkdir mynewrepo
cd mynewrepo
git init
git status
```
สร้างไฟล์ใหม่
```
# สมมุติสร้างไฟล์ใหม่
echo "Hello World" > mynewfile.txt
git add .
git status
```
ทำการ Commit
```
git commit -m "This is a first Commit"
```
สร้าง Connection ระหว่าง Local Folder กับ GitHub Repository
```
git remote add origin https://github.com/your-username/mynewrepo.git
git push -u origin master
```
จากนั้น ใส่ Username/Password ของ GitHub Account

ไปดูผลงานใน Repository “mynewrepo” ที่ https://github.com/your-username/mynewrepo

เมื่อมีการแก้ไขไฟล์
```
echo "Hello New World" >> mynewfile.txt
git status
```
ทำการ เพิ่ม > Commit > Push
```
git add .
git commit -m "This is a second Commit"
git push -u origin master
```
วนไป
September 21, 2017
เตาะแตะไปกับ Docker ตอนที่ 11 Docker Compose (LDAP services)

wiboon.w

September 19, 2017
เราจะมาเรียนรู้ การใช้ docker compose รัน service 2 services คือ OpenLDAP และ phpLDAPadmin ซึ่ง docker จะมองว่าการใช้ docker compose คือ เรากำลังรัน project ที่ประกอบด้วย service หลาย ๆ service

ให้แน่ใจว่าอยู่ที่ home directory ให้ใช้คำสั่งนี้
```
$ cd
```
สร้างไดเรกทอรีของ project สมมติตั้งชื่อว่า ex1
```
$ mkdir ex1
$ cd ex1
```
สร้างไดเรกทอรี openldap ภายในมี dockerfile และไดเรกทอรีที่เกี่ยวข้อง ทำตามบล็อกเรื่อง “เตาะแตะไปกับ Docker ตอนที่ 9 Dockerfile (OpenLDAP)”

สร้างไดเรกทอรี phpldapadmin ภายในมี dockerfile และไดเรกทอรีที่เกี่ยวข้อง ทำตามบล็อกเรื่อง “เตาะแตะไปกับ Docker ตอนที่ 10 Dockerfile (phpLDAPadmin)”

สร้างไฟล์ docker-compose.yml ด้วยเอดิเตอร์ที่ถนัด เช่น vi หรือ nano ก็ได้
```
$ vi docker-compose.yml

version: '2'
services:
 openldap:
  build: ./openldap
  container_name: openldap
  volumes:
   - ldapdatavol:/var/lib/ldap
   - ldapconfigvol:/etc/ldap/slapd.d
  ports:
   - "389:389"
   - "636:636"
  restart: always

 phpldapadmin:
  build: ./phpldapadmin
  container_name: phpldapadmin
  environment:
   HNAME: "openldap"
  ports:
   - "8080:80"
  depends_on:
   - openldap
  restart: always

volumes:
 ldapdatavol:
  external: false
 ldapconfigvol:
  external: false
```
อธิบายได้ดังนี้
ไฟล์ docker-compose.yml นี้ จะมี service แรกคือ openldap จะ build image จากไดเรกทอรี ./openldap เมื่อรันเป็น container จะตั้งชื่อว่า openldap โดยมีที่เก็บข้อมูลถาวรคือ ldapdatavol จะ mapped ไปยัง /var/lib/ldap ใน container และที่เก็บคอนฟิก ldapconfigvol จะ mapped ไปยัง /etc/ldap/slapd.d ใน container เช่นเดียวกัน
โดย Host และ container เปิด port ตรงกัน คือ เปิด port TCP 636(LDAPS) และ 389(LDAP) และ container นี้จะทำงานทุกครั้งเมื่อเปิดเครื่อง

ต่อมา service ที่สองคือ phpldapadmin จะ build image จากไดเรกทอรี ./phpldapadmin เมื่อรันเป็น container จะตั้งชื่อว่า phpldapadmin มีการตั้งค่าตัวแปร HNAME เป็นชื่อ container อันแรก คือ openldap โดยที่ Host จะเปิด port TCP 8080 ไปยัง port TCP 80 ของ container นี้ ถัดมาคือ depends_on คือ จะรัน container นี้ได้ก็ต่อเมื่อมี container ชื่อ openldap และ container นี้จะทำงานทุกครั้งเมื่อเปิดเครื่อง

ท่อนล่างสุด คือ การกำหนดว่า จะมีการใช้ named volume ชื่อ ldapdatavol และ ldapconfigvol ทั้งสอง volume นี้ จะถูกสร้างโดยคำสั่ง docker-compose ไม่ได้ไปใช้ volume จากที่ได้สร้างไว้ก่อนแล้ว (external: false) หากจะย้อนกลับไปอ่านเรื่อง “เตาะแตะไปกับ Docker ตอนที่ 7 Manage data” จะเข้าใจเรื่อง named volume ครับ

ผลลัพธ์หลังจากเตรียมครบ ภายในไดเรกทอรี ex1 จะมี 1 ไฟล์ และ 2 ไดเรกทอรี ดังนี้
```
$ ls 
docker-compose.yml openldap phpldapadmin
```
ตอนนี้เราก็เตรียมการต่าง ๆ เสร็จแล้ว

ต่อไปก็ใช้คำสั่ง docker-compose เพื่อสร้าง service คือ openldap และ phpldapadmin ดังนี้
```
$ docker-compose up -d
```
ตรวจสอบรายการ image
```
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
phpldapadmin latest d314c021fd1a 6 hours ago 282MB
ex1_phpldapadmin latest f2feaa90c59b 9 days ago 282MB
ex1_openldap latest e98f6bad71a7 9 days ago 259MB
openldap latest cb8b1c0057cc 11 days ago 259MB
ubuntu 16.04 ccc7a11d65b1 5 weeks ago 120MB
```
จะพบว่ามี image ของ project ex1 คือ ex1_openldap และ ex1_phpldapadmin ส่วน image ชื่อ openldap และ phpldapadmin สองอันนั้นที่เห็นเป็น image ที่สร้างด้วยคำสั่ง docker build ตอนที่เราเรียนรู้เรื่อง “เตาะแตะไปกับ Docker ตอนที่ 9 Dockerfile (OpenLDAP)” และ “เตาะแตะไปกับ Docker ตอนที่ 10 Dockerfile (phpLDAPadmin)” ครับ

ตรวจสอบรายการ container ที่รันอยู่
```
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b61e8f24802c ex1_phpldapadmin "/bin/bash /run.sh..." 3 minutes ago Up 3 minutes 0.0.0.0:8080->80/tcp phpldapadmin
489bb2db70d3 ex1_openldap "/bin/sh -c '/usr/..." 3 minutes ago Up 3 minutes 0.0.0.0:389->389/tcp, 0.0.0.0:636->636/tcp openldap
```
จะพบว่ามี container ชื่อว่า openldap และ phpldapadmin เกิดขึ้นหลังคำสั่ง docker-compose up -d

ทดสอบการเข้าใช้งานทาง web ไปที่ http://ldap.example.com:8080/phpldapadmin/ (เนื่องจาก VM ที่ใช้ทดสอบ คือ ubuntu ที่ได้ติดตั้ง XFCE desktop environment ไว้ด้วยทำให้สามารถใช้งาน web browser ได้ด้วย)

หลังจาก login แล้วจะเห็นข้อมูล LDAP และจัดการ LDAP database ได้

จากความรู้ที่ได้เรียนมาหลาย ๆ ตอนจนถึงตอนนี้ เราก็น่าจะได้แนวทางในการสร้าง service ความเข้าใจอย่างง่าย ๆ คือ หากเป็น image ที่เราจะทำขึ้นเอง ไม่ได้ไป pull จาก docker hub เราก็ทำด้วย dockerfile และหากมี service ที่ใช้ร่วมกันระหว่าง service ก็เปลี่ยนไปทำต่อด้วย docker-compose จะสะดวกกว่า

อนึ่งหาก pull หรือมี image อยู่แล้ว ก็เปลี่ยนจาก build: ./openldap เป็น image: openldap และปรับแก้ไขนิดหน่อยตามที่ผู้พัฒนา image นั้นได้แจ้งวิธีการไว้ครับ

จากที่ได้เขียนบล็อกในชุด “เตาะแตะไปกับ Docker” ตั้งแต่ ตอนที่ 1 ถึง ตอนที่ 11 นี้ ผมคิดว่าก็น่าจะเพียงพอให้เข้าใจว่า docker ใช้งานอย่างไร หวังเป็นอย่างยิ่งว่าผู้อ่านคงได้รับความรู้กันครับ และสามารถลองทำตามได้โดยไม่ติดขัดอะไร
September 19, 2017
เตาะแตะไปกับ Docker ตอนที่ 10 Dockerfile (phpLDAPadmin)

wiboon.w

September 18, 2017
ในตอนที่แล้วเราใช้งาน openldap ด้วยคำสั่ง เช่น ldapsearch หรือ ldapadd ได้แล้ว วันนี้เราจะเรียนรู้การใช้ dockerfile สร้าง image ชื่อ phpldapadmin เพื่อใช้เป็น web interface ในการเข้าไปจัดการ LDAP database ของ container ชื่อ openldap โดยที่ phpLDAPadmin นี้คือการรัน php บน apache2 แล้วเราจะติดต่อระหว่าง container กันได้อย่างไร มาดูกันครับ

เช่นเดียวกับครั้งที่แล้ว ผมจะแยกเป็น 3 ขั้นตอน คือ 1.ขั้นตอนเตรียมไฟล์ที่เกี่ยวข้อง 2.ขั้นตอนสร้างไฟล์ dockerfile และ 3.ขั้นตอนการรัน container

1.ขั้นตอนเตรียมไฟล์ที่เกี่ยวข้อง

ให้แน่ใจว่าอยู่ที่ home directory ให้ใช้คำสั่งนี้
```
$ cd
```
สร้างไดเรกทอรีของ image ที่เราจะสร้าง
```
$ mkdir phpldapadmin
$ cd phpldapadmin
$ mkdir src
```
เราจะเตรียมไฟล์ชื่อ apache2-foreground ให้เปิดไฟล์จากที่นี่ https://github.com/docker-library/php/blob/master/5.6/jessie/apache/apache2-foreground แล้วคัดลอกทุกบรรทัด นำมาสร้างไฟล์ ด้วยเอติเตอร์ที่ถนัด เช่น vi หรือ nano ก็ได้
```
$ vi ./src/apache2-foreground
```
2.ขั้นตอนสร้างไฟล์ dockerfile

ตอนนี้ก็มาถึงขั้นตอนการเขียน dockerfile ด้วยเอดิเตอร์ที่ถนัดเช่น vi หรือ nano ก็ได้
```
$ vi dockerfile

# Composer: Wiboon Warasittichai

FROM ubuntu:16.04

# Change apt source
RUN sed -i 's/\/us.archive/\/th.archive/g' /etc/apt/sources.list && \
 sed -i 's/\/archive/\/th.archive/g' /etc/apt/sources.list

# Update ubuntu, then install packages
RUN apt-get update && \
DEBIAN_FRONTEND=noninteractive apt install -y php-ldap phpldapadmin ldap-utils

# Timezone Asia/Bangkok
RUN apt-get install -y tzdata && \
 ln -sf /usr/share/zoneinfo/Asia/Bangkok /etc/localtime && \
 dpkg-reconfigure -f noninteractive tzdata

# Cleaning
RUN apt-get autoremove -y && apt-get clean -y

EXPOSE 80

CMD RUN ulimit -n 1024

ENV HNAME ${HNAME}
ADD ./src/startup.sh /startup.sh

COPY ./src/apache2-foreground /usr/local/bin/
RUN chmod +x /usr/local/bin/apache2-foreground

ENTRYPOINT ["/bin/bash","/startup.sh"]
```
ภายในไฟล์ dockerfile เราได้อ้างถึงการนำไฟล์ชื่อ startup.sh ก็ให้สร้างไฟล์นี้ด้วย
```
$ vi ./src/startup.sh 

#!/bin/bash

sed -i "s/127.0.0.1/$HNAME/g" /etc/phpldapadmin/config.php
/usr/local/bin/apache2-foreground
```
จุดน่าสนใจในไฟล์ dockerfile ในตัวอย่างนี้ คือ เราจะเขียนอย่างไรเพื่อให้เราเปลี่ยนค่า 127.0.0.1 ในไฟล์ /etc/phpldapadmin/config.php ใน container ที่รันขึ้นมาได้อัตโนมัติ เราจึงต้องใช้ ENV ในการระบุว่า container openldap ที่รันอยู่นั้นใช้ IP อะไร แล้วเราก็นำ IP ใส่ลงไปในตัวแปร HNAME เพื่อจะติดต่อไปยัง container openldap ได้ถูกต้อง ผมจึงเพิ่มบรรทัดนี้
```
ENV HNAME ${HNAME}
```
3.ขั้นตอนการรัน container

สร้าง image ด้วยคำสั่งนี้
```
$ docker build -t phpldapadmin .
```
ก่อนจะรัน container phpldapadmin ต้องไม่ลืมว่า เราจะต้องรัน container openldap ด้วยคำสั่งนี้แล้ว
```
$ docker run -d -p 636:636 -p 389:389 --name openldap --volume oldata:/var/lib/ldap --volume olconfig:/etc/ldap/slapd.d openldap
```
รัน container และ ตรวจสอบ ด้วยคำสั่งนี้
```
$ LDAPSERVER=$(docker exec -it openldap cat /etc/hosts | tail -1 | cut -f1) && docker run -d -p 8080:80 --env HNAME=${LDAPSERVER} --name phpldapadmin phpldapadmin

$ docker ps
```
อธิบายได้ดังนี้ container จะรันแบบ detach (-d) เปิด port 8080 ที่ Host เข้าไปยัง port 80 ที่ container ตั้งชื่อ(–name) ว่า phpldapadmin โดยกำหนดค่า ENV สำหรับตัวแปรที่ชื่อ HNAME ให้ใช้ IP จากไฟล์ /etc/hosts ใน container openldap และรันจาก image ชื่อ phpldapadmin

ทดสอบการเข้าใช้งานทาง web ไปที่ http://ldap.example.com:8080/phpldapadmin/ (เนื่องจาก VM ที่ใช้ทดสอบ คือ ubuntu ที่ได้ติดตั้ง XFCE desktop environment ไว้ด้วยทำให้สามารถใช้งาน web browser ได้ด้วย)

หลังจาก login แล้วจะเห็นข้อมูล LDAP และจัดการ LDAP database ได้

โปรดสังเกตว่าคำสั่ง docker run นั้น หากต้องการให้รันทำงานทุกครั้งที่เปิดเครื่อง เราจะสามารถใส่ option นี้เข้าไปได้ด้วย คือ –restart always ใส่หลังจากคำว่า docker run ก็ได้ครับ (ในตัวอย่างข้างต้น ผมไม่ได้ใส่ไว้ เพราะกำลังทดสอบ) หากเรา reboot เครื่อง container ทั้ง 2 ก็หายไปครับ

แต่เราก็สามารถลบ container ได้ทันที ดังนี้
```
$ docker stop phpldapadmin
$ docker rm phpldapadmin
$ docker stop openldap
$ docker rm openldap
```
สรุปว่า ในตอนนี้ เรารู้วิธีการใช้ dockerfile สร้าง container 2 อัน อันแรกคือ LDAP database และอีกอันคือ php web program ที่จะติดต่อกับ LDAP database ด้วยการใช้ตัวแปร ENV ร่วมด้วย

ในตอนต่อไป เราจะมาเรียนรู้ การใช้ docker compose รันทั้ง 2 services นี้แทนการแยกสร้าง dockerfile และ run แยกกัน
September 18, 2017

เตาะแตะไปกับ Docker ตอนที่ 9 Dockerfile (OpenLDAP)

wiboon.w

September 15, 2017

วันนี้เราจะเรียนรู้การใช้ dockerfile สร้าง image ชื่อ openldap เพื่อใช้เป็น LDAP database
ผมทดสอบด้วย Oracle VM VirtualBox เป็น VM ที่ตั้งค่า Network adapter เป็นแบบ NAT network ที่ติดตั้ง Ubuntu 16.04 และ docker เรียบร้อยแล้ว ในตัวอย่างนี้ผมตั้งชื่อ host ว่า ldap.example.com โดยแก้ไขที่ไฟล์ /etc/hosts และ /etc/hostname ให้เรียบร้อย แล้วรีบูตเครื่องด้วย

ผมจะขอแยกขั้นตอนออกเป็น 3 ขั้นตอนหลัก คือ 1.ขั้นตอนเตรียมไฟล์ที่เกี่ยวข้องซึ่งรวมไฟล์ ldif ด้วย 2.ขั้นตอนสร้างไฟล์ dockerfile และ 3.ขั้นตอนการรัน container

1.ขั้นตอนเตรียมไฟล์ที่เกี่ยวข้อง
สร้างไดเรกทอรีของ image ที่เราจะสร้าง

$ mkdir openldap

สร้างไดเรกทอรีที่เก็บไฟล์ ldif (โครงสร้าง และ ตัวอย่างข้อมูล)

$ cd openldap
$ mkdir src

สร้างไฟล์ ./src/create-schema.ldif ด้วยเอติเตอร์ที่ถนัด เช่น vi หรือ nano ก็ได้

$ vi ./src/create-schema.ldif 
# Starter kit for create user in domain dc=example,dc=com
# Create 1st tree OU=groups
dn: ou=groups,dc=example,dc=com
objectClass: organizationalUnit
ou: groups

# Create sub tree OU=execs,OU=groups
dn: ou=execs,ou=groups,dc=example,dc=com
objectClass: organizationalUnit
ou: execs

# Create sub tree OU=staffs,OU=groups
dn: ou=staffs,ou=groups,dc=example,dc=com
objectClass: organizationalUnit
ou: staffs

# Create sub tree OU=students,OU=groups
dn: ou=students,ou=groups,dc=example,dc=com
objectClass: organizationalUnit
ou: students

# Create 2nd tree OU=people
dn: ou=people,dc=example,dc=com
objectClass: organizationalUnit
ou: people

สร้างไฟล์ ssl.ldif

$ vi src/ssl.ldif
dn: cn=config
changetype: modify
add: olcTLSCipherSuite
olcTLSCipherSuite: NORMAL
-
add: olcTLSCRLCheck
olcTLSCRLCheck: none
-
add: olcTLSVerifyClient
olcTLSVerifyClient: never
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /etc/ssl/certs/ldap-ca-cert.pem
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /etc/ssl/private/ldap-ca-key.pem

สร้างไฟล์ ./src/create-users.ldif

$ vi ./src/create-users.ldif 
# Create 1 user in tree OU=execs,OU=groups
dn: cn=nana,ou=execs,ou=groups,dc=example,dc=com
objectClass: inetOrgPerson
uid: nana
sn: Na
givenName: Na
cn: nana
displayName: Na Na
userPassword: 123456
mail: nana@example.com

# Create 2 users in tree OU=staffs,OU=groups
dn: cn=koko,ou=staffs,ou=groups,dc=example,dc=com
objectClass: inetOrgPerson
uid: koko
sn: Ko
givenName: Ko
cn: koko
displayName: Ko Ko
userPassword: 123456
mail: koko@example.com

dn: cn=momo,ou=staffs,ou=groups,dc=example,dc=com
objectClass: inetOrgPerson
uid: momo
sn: Mo
givenName: Mo
cn: momo
displayName: Mo Mo
userPassword: 123456
mail: momo@example.com

# Create 2 users in tree OU=people
dn: cn=lala,ou=people,dc=example,dc=com
objectClass: inetOrgPerson
uid: lala
sn: La
givenName: La
cn: lala
displayName: La La
userPassword: 123456
mail: lala@example.com

dn: cn=lulu,ou=people,dc=example,dc=com
objectClass: inetOrgPerson
uid: lulu
sn: Lu
givenName: Lu
cn: lulu
displayName: Lu Lu
userPassword: 123456
mail: lulu@example.com

สร้างไฟล์ ./src/create-students.ldif

$ vi ./src/create-students.ldif 
# Create 2 students in tree OU=students,OU=groups
dn: cn=5310110293,ou=students,ou=groups,dc=example,dc=com
objectClass: inetOrgPerson
uid: 5310110293
sn: 5310110293
givenName: somsak
cn: 5310110293
displayName: somsak somsaknaja
userPassword: 123456
mail: 5310110293@example.com

dn: cn=5410110308,ou=students,ou=groups,dc=example,dc=com
objectClass: inetOrgPerson
uid: 5410110308
sn: 5410110308
givenName: somsri
cn: 5410110308
displayName: somsri somsrisiya
userPassword: 123456
mail: 5410110308@example.com

ต่อไปเป็นการเตรียม self-signed certificate เพื่อให้ใช้งาน LDAPS ได้

$ sudo apt install ssl-cert
$ mkdir cert
$ cp /etc/ssl/certs/ssl-cert-snakeoil.pem cert/ldap-ca-cert.pem
$ sudo cp /etc/ssl/private/ssl-cert-snakeoil.key cert/ldap-ca-key.pem
$ sudo chmod +r cert/ldap-ca-key.pem

2.ขั้นตอนสร้างไฟล์ dockerfile
ตอนนี้ก็มาถึงขั้นตอนการเขียน dockerfile ด้วยเอดิเตอร์ที่ถนัดเช่น vi หรือ nano ก็ได้

$ vi dockerfile
# Composer: Comments

FROM ubuntu:16.04

# Change apt source
RUN sed -i 's/\/us.archive/\/th.archive/g' /etc/apt/sources.list && \
 sed -i 's/\/archive/\/th.archive/g' /etc/apt/sources.list

# Update ubuntu, then install packages
RUN apt-get update && \
echo 'slapd slapd/root_password password 123456' | debconf-set-selections && \
echo 'slapd slapd/root_password_again password 123456' | debconf-set-selections && \
echo "slapd slapd/internal/adminpw password 123456" |debconf-set-selections && \
echo "slapd slapd/internal/generated_adminpw password 123456" |debconf-set-selections && \
echo "slapd slapd/password2 password 123456" |debconf-set-selections && \
echo "slapd slapd/password1 password 123456" |debconf-set-selections && \
echo "slapd slapd/domain string example.com" |debconf-set-selections && \
echo "slapd shared/organization string example" |debconf-set-selections && \
echo "slapd slapd/backend string HDB" |debconf-set-selections && \
echo "slapd slapd/purge_database boolean true" |debconf-set-selections && \
echo "slapd slapd/move_old_database boolean true" |debconf-set-selections && \
echo "slapd slapd/allow_ldap_v2 boolean false" |debconf-set-selections && \
echo "slapd slapd/no_configuration boolean false" |debconf-set-selections && \
DEBIAN_FRONTEND=noninteractive apt install -y slapd

# LDAP utils, self-signed certificates
RUN apt-get install -y ldap-utils ssl-cert

# Timezone Asia/Bangkok
RUN apt-get install -y tzdata && \
 ln -sf /usr/share/zoneinfo/Asia/Bangkok /etc/localtime && \
 dpkg-reconfigure -f noninteractive tzdata

# Cleaning
RUN apt-get autoremove -y && apt-get clean -y

# LDAP
COPY ./src/*.ldif /tmp/
## Schema only, no user. 
RUN service slapd start && \
 ldapadd -H ldapi:/// -f /tmp/create-schema.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456
## Schema and add users.
## RUN service slapd start && \ 
## ldapadd -H ldapi:/// -f /tmp/create-schema.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456 && \
## ldapadd -H ldapi:/// -f /tmp/create-users.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456 && \
## ldapadd -H ldapi:/// -f /tmp/create-students.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456

EXPOSE 389 
#CMD slapd -h 'ldap:///' -g openldap -u openldap -d 0

#
# LDAPS
COPY ./cert/ldap-ca-cert.pem /etc/ssl/certs/
COPY ./cert/ldap-ca-key.pem /etc/ssl/private/

RUN chgrp ssl-cert /etc/ssl/private/ldap-ca-key.pem && \
 chmod g+r /etc/ssl/private/ldap-ca-key.pem && \
 adduser openldap ssl-cert

RUN echo 'SLAPD_SERVICES="ldap:/// ldapi:/// ldaps:///"' >> /etc/default/slapd && \
 echo 'TLS_REQCERT never' >> /etc/ldap/ldap.conf

RUN service slapd start && \
 ldapmodify -Y EXTERNAL -H ldapi:/// -f /tmp/ssl.ldif -v

EXPOSE 636
##CMD slapd -h 'ldaps:///' -g openldap -u openldap -d 0

CMD RUN ulimit -n 1024
CMD /usr/sbin/slapd -h 'ldap:/// ldaps:/// ldapi:///' -g openldap -u openldap -d 0

3.ขั้นตอนการรัน container
สร้าง image ด้วยคำสั่งนี้

$ docker build -t openldap .

รัน container และ ตรวจสอบ ด้วยคำสั่งนี้

$ docker run -d -p 636:636 -p 389:389 --name openldap openldap
$ docker ps

อธิบายได้ดังนี้ container จะรันแบบ detach (-d) เปิด port 636 และ 389 ตั้งชื่อ(–name) ว่า openldap และรันจาก image ชื่อ openldap

ทดสอบการนำเข้าข้อมูล ซึ่งเราจะใช้เครื่องที่กำลังทำอยู่นี้เป็น ldap client ไม่ต้องไปหาอีกเครื่องก็ได้ โดยเพิ่มแพ็กเกจ ldap-utils

$ sudo apt install ldap-utils

ทดสอบการเพิ่มตัวอย่างข้อมูล โดยเลือกใช้ port 389 (LDAP)

$ ldapadd -H ldap://ldap.example.com -f ./src/create-users.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456

ทดสอบการเพิ่มตัวอย่างข้อมูล โดยเลือกใช้ port 636 (LDAPS)

$ ldapadd -H ldaps://ldap.example.com -f ./src/create-students.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456

จะพบข้อความว่า

ldap_sasl_bind(SIMPLE): Can’t contact LDAP server (-1)

ให้ทำคำสั่ง 2 บรรทัดข้างล่างนี้ เพื่อเพิ่ม certificate จาก LDAP server แล้วลองคำสั่งนั้นอีกครั้งจะทำได้

$ openssl s_client -connect ldap.example.com:636 -showcerts </dev/null 2>/dev/null | openssl x509 -outform PEM | sudo tee /usr/local/share/ca-certificates/ldap.example.com.crt
$ sudo update-ca-certificates

ทดสอบค้นหาข้อมูล

$ ldapsearch -xLLL -b "dc=example,dc=com" uid=lulu
$ ldapsearch -xLLL -b "dc=example,dc=com" uid=5310110293

ลบ container

$ docker stop openldap
$ docker rm openldap

เรื่องสุดท้ายของบล็อกในวันนี้คือ ต้องการเก็บตัวอย่างข้อมูลที่เพิ่มไว้จะทำอย่างไร ทำได้โดยการสร้างที่เก็บ persistent data แบบ named volume โดยที่ oldata สำหรับข้อมูล และ olconfig สำหรับไฟล์คอนฟิกกูเรชัน

$ docker volume create oldata
oldata
$ docker volume create olconfig
olconfig

เช็คดูรายการ volume

$ docker volume ls
DRIVER VOLUME NAME
local olconfig
local oldata

รัน container (เขียนคำสั่งให้อยู่ในบรรทัดเดียว)

$ docker run -d -p 636:636 -p 389:389 --name openldap --volume oldata:/var/lib/ldap --volume olconfig:/etc/ldap/slapd.d openldap

อธิบายได้ดังนี้ container จะรันแบบ detach (-d) เปิด port 636 และ 389 ตั้งชื่อ(–name) ว่า openldap เก็บข้อมูลไว้นอก container เอาไว้ที่ volume ชื่อ oldata ที่ mapped ไปยัง /var/lib/ldap ใน container กับ olconfig ที่ mapped ไปยัง /etc/ldap/slapd.d ใน container และรันจาก image ชื่อ openldap

เพิ่มข้อมูลตัวอย่าง

$ ldapadd -H ldaps://ldap.example.com -f ./src/create-students.ldif -x -D "cn=admin,dc=example,dc=com" -w 123456

ค้นหาข้อมูล

$ ldapsearch -xLLL -b "dc=example,dc=com" uid=5310110293

ลบ container เมื่อจะไม่ใช้งานแล้ว

$ docker stop openldap
$ docker rm openldap

หลังจากลบ container ข้อมูลของเราจะยังคงอยู่ในที่เก็บข้อมูลแบบ volume อยู่ที่ path /var/lib/docker/volumes

ในตอนต่อไปจะเป็นการสร้าง dockerfile เพื่อรัน phpldapadmin ใช้ในการเข้า admin ผ่านหน้าเว็บเพจ

September 15, 2017

เตาะแตะไปกับ Docker ตอนที่ 8 Cleanup Disk Space

wiboon.w

September 15, 2017
การเรียนรู้ docker เราก็จะมีการทดสอบ pull image มา แล้ว run เป็น container รวมทั้งอาจมีการสร้างพื้นที่เก็บข้อมูลที่เรียกว่า volumes (ทั้งแบบ named volume และ anonymous volume) บ่อยครั้งเมื่อเราใช้คำสั่งตรวจสอบ เราจะพบว่ามีอะไรไม่รู้หลงเหลืออยู่กินเนื้อที่ไปเยอะ

ตรวจสอบรายการ container

$ docker ps -a

ลบ containers ที่ไม่ใช้งานแล้ว

$ docker ps --filter status=dead --filter status=exited --filter status=created -aq | xargs -r docker rm -v

หมายเหตุ คำสั่งด้านบนนี้จะลบ data containers ด้วย ถ้ามีการสร้าง container ชนิดเก็บ data โปรดตรวจสอบให้ดีนะ ปัจจุบัน data container นั้น deprecated (ไม่แนะนำให้ใช้งาน)

ตรวจสอบรายการ images

$ docker images

ลบ images ที่ไม่ใช้งานแล้ว

$ docker images --no-trunc | grep '<none>' | awk '{ print $3 }' | xargs -r docker rmi

ตรวจสอบรายการ volumes

$ docker volumes ls

ลบ volume ที่ไม่ถูกใช้งานโดย container ใด ๆ เลย

$ docker volume ls -q -f dangling=true | xargs -r docker volume rm

หรือจะใช้อีกแบบ แต่ต้องติดตั้ง jq เพิ่มด้วย

$ sudo apt install jq
$ docker ps -aq | xargs docker inspect | jq -r '.[] | .Mounts | .[] | .Name | select(.)'

References:
- http://codegist.net/code/docker-cleanup-disk-space/
- https://stackoverflow.com/questions/41875846/docker-difference-between-data-volumes-and-data-containers
September 15, 2017
วิธียกเลิก “Keep a local copy as well” บน PSU Webmail

kanakorn.h

September 15, 2017
จากที่เริ่มมีการใช้งาน PSU GSuite (Google Apps for Education – GAFE เดิม) ซึ่งมีเอกสารแนะนำวิธีการใช้งานคือ

http://gafe.psu.ac.th/support/1/1

ในช่วงแรก เกรงผู้ใช้จะไม่คุ้นชินกับ Gmail (หึมมมม) ก็เลยแนะนำให้ทำ “Keep a local copy as well” ไว้ด้วย เผื่อว่า ยังสับสน ก็จะได้ดูบน PSU Webmail เดิมได้

แต่ต่อมา ก็อาจจะลืมไปว่า Redirect ไปแล้ว ก็ยังมีเก็บไว้ในพื้นที่ PSU Webmail อยู่ ไม่ได้เข้ามาลบอีกเลย นานเข้าก็ทำให้พื้นที่เต็ม

ต่อไปนี้ เป็น วิธียกเลิก “Keep a local copy as well” บน PSU Webmail
1. Login เข้า PSU Webmail ที่ https://webmail.psu.ac.th
2. ลบ Email จนได้พื้นที่เป็นสีเขียว
  จาก
  
  เป็น
3. คลิก Filters
4. คลิก Edit ในบรรทัดที่เป็นของ @g.psu.ac.th
5. คลิก Keep a local copy as well ออก
  จาก
  
  เป็น
6. เลื่อนไปล่างสุดของหน้าจอ คลิกปุ่ม Apply Change
7. เสร็จ จบ
September 15, 2017