Cloud Computing – Page 3 – CoP PSU IT Blog

Google Colab – เมื่องานด้าน Data Science ต้องทำงานร่วมกัน

July 27, 2018 23:57

ก่อนหน้านี้ ได้กล่าวถึง Kaggle Introduction to Kaggle – เรียนรู้การงานด้าน Data Science Kaggle – วิธีการใช้ Logistic Regression บนข้อมูล Iris From LAB to Production – จาก Machine Learning Model สู่ Flask RESTful ในบทความนี้ จะกล่าวถึง Google Colab หรือ ชื่อเต็มคือ Colaboratory ของ Google ซึ่งก็เป็น Jupyter Notebook บน Cloud เช่นกัน แต่มีจุดเด่นเรื่อง การทำงานร่วมกัน ในสไตล์ Google Drive เริ่มต้นใช้งานได้ที่ https://colab.research.google.com/ อันดับแรกคือ ถ้าอยากเรียนรู้เรื่อง Machine Learning และอยากได้ตัวอย่างเจ๋ง ๆ ไปดูจาก Seedbank (https://tools.google.com/seedbank/) มี tensorflow พร้อมใช้งาน ใช้งานร่วมกับ GitHub และ มี Visualization ด้วย matplotlib (แปลกตรงไหน ?) จุดเด่นคือ สามารถสร้าง Form ได้ !!! ที่เด่นสุดคือ สามารถใช้ไฟล์จาก Google Drive ได้ !!! เป็นประโยชน์มาก โดยเฉพาะกับมหาวิทยาลัยที่ได้ใช้บริการ G Suite for Education อย่าง ม.สงขลานครินทร์ เพราะ เราจะสามารถใช้พื้นที่ได้ Unlimited ! แต่!!! สุดท้ายก็มาติดตรงที่ Google Colab นี้ เป็น VM อยู่ใน Google Compute Engine นั่นแหล่ะ แต่เค้าไม่คิดค่าบริการกับเรา ซึ่งของฟรี ก็มีข้อจำกัดอยู่คือ พื้นที่ Google Colab ให้ประมาณ 400 GB แต่อย่างน้อย ก็สามารถเชื่อมต่อเอาข้อมูลจาก Google Drive มาได้ง่าย ก็ดีแล้ว แถม Jupyter Notebook ที่สร้างก็สามารถ Save เก็บไว้ใน Google Drive ได้เลย การส่งผลลัพท์ออกไป Google Drive ก็ง่าย ในขณะที่ Kaggle มี Quota การสร้าง Dataset ของตนเองได้ไม่เกิน 20 GB จะมีข้อจำกัดหน่อย ๆ CPU ให้แค่ 2 Core ตรงนี้ Kaggle ดูดีกว่า เพราะให้ถึง 32 Core การทำงานร่วมกัน แน่นอน Google ก็คือ Google แชร์แบบที่ใช้บน Google Drive ได้เลย ในขณะที่ Kaggle ก็ทำได้ แต่ดูทำงานแยก ๆ กันอยู่ Google Colab ใช้งานร่วมกับ Google BigQuery ได้ ตรงนี้แหล่ะ ข้อแตกต่าง ถ้าจะทำงานใหญ่ มีข้อมูลเป็น TB ถ้าไม่สร้าง Hadoop ไม่ว่าจะ On-Primes หรือ บน Google Dataproc ก็จะต้องบริหารจัดการในระดับหนึ่ง แต่นี่เรียกตรงจาก Google BigQuery ได้เลย นับว่าดีมาก มี Widget ทำให้ Jupyter Notebook กลายเป็น Interactive BI ย่อย ๆ

Kaggle – วิธีการใช้ Logistic Regression บนข้อมูล Iris

July 19, 2018 10:06

ข้อมูล Iris Dataset มักจะใช้ในการเริ่มต้นศึกษาการใช้งาน เครื่องมือทาง Data Science โดยเฉพาะ Classification เพราะไม่ซับซ้อน มี 4 ฟิลด์ ที่ใช้เป็น Features และมี 1 ฟิลด์ ที่จะเป็น Class (มี 3 Categories) เริ่มจาก New Kernel ในที่นี้ เลือก Notebook จากนั้น เลือก Add Dataset จากที่เค้ามีให้ หรือ จะ Upload ขึ้นไปก็ได้ จากนั้น ข้อมูลของเราจะมาอยู่ที่ ../input/ ในกรณีเรามีไฟล์ ../input/iris.data จาก Code ที่ให้มาในเบื้องต้น ให้กดปุ่ม Shift+Enter หรือ กดเครื่องหมาย Run ด้าน ซ้ายมือ ก็จะได้ผลดังนี้ จากนั้น มาเขียน Code กัน เริ่มจาก Import Package ที่ต้องใช้ import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline สร้างตัวแปร iris อ่านข้อมูลจากไฟล์ iris = pd.read_csv(‘../input/iris.data’) สำรวจข้อมูลเบื้องต้น iris.head() iris.info() iris.describe() ลองทำ Data Visualization เบื้องต้น ด้วย pairplot แยกตามสีของ species sns.pairplot(iris, hue=’species’) หรือ จะดูเป็น scatterplot plt.scatter(iris[‘sepal_length’], iris[‘sepal_width’], marker=’.’, color=’r’) plt.xlabel(‘Sepal Length’) plt.ylabel(‘Sepal Width’) ต่อไป เป็นขั้นตอนการแบ่งข้อมูลออกเป็น 2 ส่วน สำหรับ Train และ Test from sklearn.model_selection import train_test_split X = iris.drop([‘species’], axis=1) Y = iris[‘species’] X_train, X_test, y_train, y_test = train_test_split(X,Y, test_size=0.3) จากนั้น Train Model from sklearn.linear_model import LogisticRegression model = LogisticRegression() model.fit(X_train, y_train) แล้วก็ ตรวจสอบความแม่นยำ Model Evaluation prediction = model.predict(X_test) from sklearn.metrics import confusion_matrix, classification_report, accuracy_score ขั้นตอนไม่ยากครับ ส่วนว่าเราจะเลือกใช้ Model ไหน ทำอะไร อันนี้ต้องมาดูรายละเอียดกันต่อครับ

Introduction to Kaggle – เรียนรู้การงานด้าน Data Science

July 18, 2018 13:05

Kaggle เป็นแพลตฟอร์มสำหรับ Predictive Modelling และการแข่งขันด้าน Analytics เพื่อหา Model ที่ดีที่สุดสำหรับ Dataset จากบริษัทและบุคคลทั่วไป [อันนี้ คำอธิบายอย่างเป็นทางการ [1] ] กล่าวให้ง่ายกว่านั้น Kaggle เป็นสนามทดลองสำหรับคนที่อยากจะทำงานด้าน Data Science โดย ไม่ต้องนับ 0 จากการติดตั้ง OS, Software โน่นนี่นั่น, Library ต่างๆ แล้วต้อง Configuration ให้ทำงานร่วมกันได้ อีกทั้ง เพียงแค่ สมัคร หรือ Authentication ด้วย Facebook, Google, Yahoo แล้ว สร้าง Profile ของตัวเอง เป็นอันเรียบร้อย หลังจากนั้น เราจะได้ “Kernel” ซึ่งจริง ๆ ก็คือ Virtual Machine ที่พร้อมใช้งาน สเปคเครื่องคือ [2] 4 CPU 16 GB RAM 6 Hours Execution Time 1 GB of disk space เอาไว้เก็บ Output จากการทำงาน สามารถใช้ GPU ในการคำนวณได้ด้วย ติดตั้ง Jupyter Notebook – Interactive Web สำหรับเขียน Code ภาษา Python/R เพื่อวิเคราะห์ข้อมูลได้ สามารถเพิ่ม Collaborator เข้ามาร่วมงานกันได้ด้วย ทั้งในส่วนของ Kernel และ Dataset ส่วนต่อไปคือ Dataset ก็จะมีผู้คนทั่วโลกได้ Upload ที่เปิด “Public” ให้พวกเราได้ลองวิเคราะห์กัน รวมถึง เราสามารถนำข้อมูลของเราเอง ขึ้นไปวิเคราะห์ก็ได้ โดยกำหนดให้เป็น “Private” ก็ได้เช่นกัน ชนิดของ Dataset ประกอบด้วย CSV JSON SQLite Archives BigQuery นอกจากนั้น ยังมีส่วนของการเรียนรู้ จาก Learn [3] ให้ศึกษาได้ตั้งแต่ การเขียนโปรแกรมภาษา Python, Machine Learning, Pandas, Data Visualization, SQL, R, Deep Learning สรุปคือ จากที่ทดลองทำผิดทำถูกมานานเป็นเวลา 2 ปีกว่า เพื่อ “สร้าง” ระบบของตนเอง (โดยพยายามสร้าง Hadoop Cluster + Spark) และ การศึกษาการเรียนภาษา Python บนเครื่อง Notebook ของตนเอง ซึ่งพบว่า เมื่อมีการประมวลผลหนัก ๆ เครื่อง Core i5 , 8 GB ก็ยังหน่วง ๆ ไม่ไปไหนมาไหนเลย หลังจากได้ลองใช้ Kaggle ในเวลาไม่นาน ก็เข้าใจ Concept ของ Data Science มากขึ้น ในบทความต่อ ๆ ไป จะมาแสดงตัวอย่างการใช้งานครับ ตอนนี้ ดู Youtube ไปพลาง ๆ What’s Kaggle? Introduction to Kaggle Kernels How to Make a Data Science Project with Kaggle Reference: [1] https://en.wikipedia.org/wiki/Kaggle

การใช้งาน Google Datalab Notebook บน Dataproc เพื่อสร้าง Machine Learning Model เบื้องต้น

July 16, 2018 15:54

ต่อจาก สร้าง Hadoop และ Spark Cluster เพื่องานด้าน Data Science ด้วย Google Cloud Dataproc + Datalab จาก Google Cloud Datalab คลิก Notebookแล้ว ตั้งชื่อ Demo01 เลือได้ว่า จะใช้ Python2 หรือ Python3 ในที่นี้จะเลือก Python3 ตรวจสอบรุ่นของ Spark ที่ใช้งานด้วยคำสั่ง spark.version แล้วกดปุ่ม Shift+Enter เพื่อ Run สามารถใช้คำสั่งไปย้ง Shell ซึ่งเป็น Linux ได้ โดยใช้เครื่องหมาย ! นำหน้า ในที่นี้ จะ Download iris dataset จาก https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data มาไว้ในเครื่อง mycluster-m ด้วย คำสั่ง ! wget https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data แล้ว เอาไปใส่ใน HDFS ด้วยคำสั่ง ! hdfs dfs -put iris.data / จะได้ผลประมาณนี้ จาก Machine Learning #01 – Python with iris dataset ซึ่งเดิมใช้ sklearn จะเปลี่ยนเป็น Spark MLlib เพื่อใช้ความสามารถของ Spark Cluster ได้ เริ่มต้นจาก Import Library ที่จำเป็นดังนี้ # Import Libaries from pyspark.ml import Pipeline from pyspark.ml.evaluation import MulticlassClassificationEvaluator from pyspark.ml.classification import LogisticRegression from pyspark.ml.tuning import ParamGridBuilder, CrossValidator from pyspark.ml.feature import VectorAssembler from pyspark.sql.types import * จากนั้น สร้าง Spark Dataframe (Concept จะคล้ายกับ Pandas แต่มีรายละเอียดที่มากกว่า) # get into DataFrame csvFile = spark.read.csv(‘/iris.data’, inferSchema=True) diz = {“Iris-setosa”:”1″, “Iris-versicolor”:”2″, “Iris-virginica”:”3″ } df = csvFile.na.replace(diz,1,”_c4″) df2 = df.withColumn(“label”,df[“_c4”].cast(IntegerType())) \ .withColumnRenamed(“_c0″,”sepal_length”) \ .withColumnRenamed(“_c1″,”sepal_width”) \ .withColumnRenamed(“_c2″,”petal_length”) \ .withColumnRenamed(“_c3″,”petal_width”) train,test = df2.randomSplit([0.75,0.25]) เริ่มจาก ให้ spark session (spark) อ่านไฟล์ CSV จาก HDFS /iris.data โดยระบุว่า ให้กำหนด Data Type อัตโนมัติ (inforSchema=True) และไฟล์นี้ไม่มี Header Dataset นี้ ประกอบด้วย 5 columns เมื่อ Spark อ่านข้อมูลเข้ามา จะตั้งชื่อ column เป็น _c0, _c1, _c2, _c3, _c4 โดย _c4 จะเป็น label ของชนิดของดอก iris ซึ่งกำหนดเป็น String => Iris-setosa, Iris-vesicolor,

สร้าง Hadoop และ Spark Cluster เพื่องานด้าน Data Science ด้วย Google Cloud Dataproc + Datalab

July 10, 2018 21:20

จาก Ambari #01: ติดตั้ง Ambari Server , Ambari #02 ติดตั้ง Ambari Agent , Ambari #04 การสร้าง Hadoop ด้วย Ambari บน AWS และ GCP #01 วิธีการสร้าง Virtual Machine บน Google Cloud Platform จะเห็นได้ว่า ก็ยังมีความยุ่งยากอยู่ อีกทั้ง หากต้องการใช้ PySpark ก็ต้องตามติดตั้ง Python Packages ต้องปรับค่ามากมาย และหากต้องการขยายระบบ ก็มีงานต้องทำอีกเยอะ ในบทความนี้ จะแนะนำอีกวิธีหนึ่ง คือ การใช้งาน Google Cloud Dataproc ซึ่งจะทำให้เราได้ใช้ Hadoop + Spark Cluster ซึ่งได้รับการทดสอบเป็นอย่างดี อีกทั้งยังสามารถเลือกใช้ Spark รุ่นต่างๆได้อย่างง่ายได้ ทำให้สามารถโฟกัสไปยัง Data และ กระบวนทำ Machine Learning ได้เต็มที่ ไปที่ Google Cloud Console เพื่อเลือก Project ที่จะทำงานด้วย และเปิดช้งาน Cloud Dataproc และ Compute Engine APIs และ ในที่นี้ จะมี project-id คือ kx-dataproc-01 (สามารถสร้างในชื่อที่ต้องการเองได้) https://console.cloud.google.com/ เปิดใช้งาน Google Cloud Dataproc https://console.cloud.google.com/dataproc/ เปิด GCLOUD COMMAND ในที่นี้ จะสร้าง Cluster ชื่อ mycluster ใน project-id ชื่อ kx-dataproc-01 แล้วให้ copy คำสั่งต่อไปนี้ลงไปใน gcloud command แล้วกดปุ่ม Enter gcloud dataproc clusters create mycluster –project kx-dataproc-01 –initialization-actions gs://dataproc-initialization-actions/datalab/datalab.sh ใช้เวลาประมาณ 5 นาที ก็จะได้ Hadoop + Spark Cluster ที่มี 1 Master และ 2 Workers ซึ่ง Master จะชื่อว่า mycluster-m และ Workers จะชื่อ mycluster-w-0 และ mycluster-w-1 ต่อไป ทำ SSH Tunnel จาก Master คือ mycluster-m Port 8080 ออกมา โดยพิมพ์คำสั่งต่อไปนี้ gcloud compute ssh mycluster-m –project kx-dataproc-01 –zone=asia-southeast1-a — -4 -N -L 8080:mycluster-m:8080 โดย –project ไว้สำหรับระบุชื่อ project-id –zone ไว้ระบุ Zone ที่ Cluster อยู่ — ไว้เป็นตัวคั่น (separator) ว่าหลังจากนี้เป็นคำสั่งของ ssh -4 บอกว่า ติดต่อด้วย IPv4 -N บอกว่า ไม่ต้องเปิด Shell ของเครื่อง Master -L บอกว่า จะ Forward Port 8080 ไปยังเครื่อง mycluster-m ที่ port 8080 จากนั้น เปิด Web Preview