Month: March 2017

Spark #03: Query Apache Access Log with Spark SQL

by

ต่อจาก Spark #02: Cluster Installation ซึ่งทำให้เรามี Spark Cluster ที่พร้อมจะทำงานแบบ Distributed Computing แล้ว ขั้นตอนการติดตั้ง Hadoop Cluster อย่างง่าย ทำให้มี Hadoop HDFS เป็นพื้นที่จัดกับ Zeppelin #01 Installation ทำให้สามารถใช้งาน Spark ได้ง่ายขึ้น บทความนี้ จะกล่าวถึงการนำเข้าไฟล์ Apache Access Log เข้าไปเก็บไว้ใน Hadoop HDFS แล้ว ให้ Apache Spark Cluster เข้าไปค้นหาข้อมูล โดยใช้ภาษา SQL ผ่าน Spark SQL API นำ Apache Access Log เข้า HDFS ให้ Copy Apache Access Log ที่มีอยู่มาเก็บไว้ในเครื่องที่สามารถติดต่อ … Read more

เตือนภัยออนไลน์วันนี้

by

วันนี้ได้รับรายงานว่า นักศึกษาของมหาวิทยาลัย โดนหลอกเอารหัสผ่านที่ใช้สำหรับจัดการระบบทะเบียนไป โดนคนร้าย ไปสร้าง LINE แล้วปลอมตัวเป็น “อาจารย์ที่ปรึกษา” นักศึกษาก็พาซื่อ … ให้ไป ปรากฏว่า คนร้าย เข้าไปในระบบทะเบียน แล้วไป Drop ทุกวิชาทิ้งหมด …. เมื่อตรวจสอบก็พบว่า ใช้ Account ของนักศึกษาเข้ามาเอง แต่เจ้าตัวไม่ได้ทำ และไม่ใช่รายเดียว เช้านี้มีมา 2 รายซ้อน >> ในทางคดี ก็ต้องว่ากันไป << แต่ที่อยากจะนำเสนอคือ ในฐานะที่เราทุกคนทุกวันนี้เป็น Net Citizen หรือ พลเมืองอินเตอร์เน็ต กันโดยปริยายอยู่แล้ว เรื่องนี้เป็น Common Sense ที่จะต้องเก็บรหัสผ่าน เป็นความลับ ไม่บอกใครเด็ดขาด จึงขอแจ้งเตือน ทั้งคนที่เป็น นักศึกษา บุคลากร และ บุคคลทั่วไป ถึง Common Sense พื้นๆข้อแรกคือ *** … Read more

Zeppelin #01 Installation

by

Apache Zeppelin เป็น Web-Base Notebook สำหรับเป็นการเชื่อมต่อกับระบบ Data Analytic [1] สามารถใช้ทำ Data-Driven แบบ Interactive และยังสามารถใช้งานพร้อมๆกันหลายคนได้ รองรับการทำงานผ่านภาษา SQL, Scala และอื่นๆอีกมากมาย ในบทความนี้ จะแนะนำการติดตั้ง Apache Zeppelin 0.7.0 บน Ubuntu 16.04 ไปที่ http://zeppelin.apache.org/download.html เพื่อ Download ชุดติดตั้ง ซึ่งแบ่งออกเป็น แบบรวมทุก Interpreters ขนาด 710 MB หรือ จะเลือกเป็นแบบ ที่รองรับเฉพาะ Spark ขนาด 272 MB ซึ่งหากในอนาคตต้องการใช้ภาษาอื่นอีก ก็จะต้องติดตั้งเพิ่มเติม (แนะนำให้ใช้แบบรวม Interpreters) บน Ubuntu ที่จะใช้เป็น Zeppelin Server ใช้คำสั่งต่อไปนี้เพื่อ Download wget … Read more

Spark #02: Cluster Installation

by

ต่อจาก Spark #01: Standalone Installation Apache Spark ทำงานแบบ Master – Slave โดย Spark Cluster Component ดังภาพ ภาพจาก http://spark.apache.org/docs/latest/img/cluster-overview.png การใช้งาน Apache Spark จะใช้ผ่านการเขียนโปรแกรมด้วยภาษา Scala, Java, Python หรือ R แล้วสั่งการผ่าน “Driver” ซึ่งจะทำการส่งการไปยัง “Worker” เพื่อให้ Execute ตามที่ต้องการ การสร้าง Cluster จะมี Cluster Manager เป็น Standalone, Apache Mesos และ Hadoop YARN [1] ในบทความนี้ จะกล่าวถึงเฉพาะ การติดตั้ง Apache Spark Cluster แบบ Standalone คือใช้ … Read more

Spark #01: Standalone Installation

by

Apache Spark : เป็นระบบ Data Processing ในระดับ Large-Scale ซึ่งทำงานได้เร็วกว่า Apache Hadoop MapReduce 100 เท่าบน Memory และ 10 เท่าบน Disk สามารถพัฒนาโปรแกรมเพื่อทำงานบน Spark ได้หลายภาษา ทั้ง Java, Scala, Python และ R อีกทั้งยังมี Library ทำงานกับ SQL, Machine Learning และ Graph Parallel Computation ในบทความนี้ จะกล่าวถึงเฉพาะวิธีการติดตั้ง Apache Spark เบื้องต้น บน Ubuntu 16.04 จำนวน 1 Machine ก่อน ไปที่ http://spark.apache.org/downloads.html เลือก Release, Package ที่ต้องการ … Read more