วิธีการ Upload ไฟล์ไปบน Google Drive File Stream ด้วย Google Client Library for Python

September 6, 2017 16:19

Google Drive File Stream จริงๆแล้วก็คือการเปิดให้ PC ทั้ง Windows และ Mac สามารถ Map Drive จาก Google Drive มาเป็น G:\ หรืออะไรทำนองนั้น แต่ปัจจุบัน (September 2017) บน Windows Server ซึ่งใช้ Secure Boot จะไม่สามารถติดตั้ง Client ได้ และ Ubuntu Server ก็ยังไม่มีตัวติดตั้ง ดังนั้น ในภาพของผู้ดูแลระบบ ไม่สามารถใช้ความสามารถนี้ได้ … โดยตรง ส่วนใน Windows Desktop ทั่วไปก็จะติดตั้งได้ แม้ว่า จากคำโฆษณา จะบอกว่าผู้ใช้สามารถใช้งานได้ แม้พื้นที่บน Local Drive ไม่เยอะ แต่เอาเข้าจริง ด้วยความสามารถที่จะใช้งาน Offline ได้บ้าง ทำให้ Client ต้อง Cache ไฟล์ที่ใช้งานด้วยเช่นกัน และหาก upload ไฟล์ขนาดใหญ่ จาก Local Drive ไปเก็บใน G:\ ข้างต้น ก็จะทำให้ต้องเสียพื้นที่ในขนาดเท่าๆกันไปด้วย เช่น ใน Local Drive มีไฟล์ที่จะ Backup ขึ้นไป ขนาด 1 GB บน C:\ เมื่อทำการ Copy ไปยัง G:\ ก็จะเสียพื้นที่อีก 1 GB ด้วยเช่นกัน ทางออกก็คือ ใช้ความสามารถของ Google Client Library ทำการ Upload ไฟล์ขึ้นไปโดยตรง เท่าที่ทดลองมา จะไม่ได้ Cache บน Local Drive ทำให้สามารถ Upload ไฟล์ขนาดใหญ่ได้ โดยไม่เสียพื้นที่เพิ่มแบบ Client ข้างต้น วิธีการใช้งาน Python เพื่อ Upload File ขึ้น Google Drive File Stream ผมเขียน Code เอาไว้ ชื่อ upload2gdrive.py ไว้บน GitHub (https://github.com/nagarindkx/google) สามารถดึงมาใช้งานได้โดยใช้คำสั่ง clone https://github.com/nagarindkx/google.git cd google สร้าง Project, Credential ตาม “ขั้นที่ 1” ในบทความ การใช้งาน Google Drive API ด้วย Google Client Library for Python ซึ่งจะได้ไฟล์ Client Secret File มา ให้แก้ไขชื่อเป็น “client_secret.json” แล้ว นำไปไว้ใน directory “google” ตามข้อ 1 วิธีใช้คำสั่ง ดูวิธีใช้ python upload2gdrive.py –help Upload ไฟล์ จาก /backup/bigfile.tar,gz python upload2gdrive.py –file /backup/bigfile.tar.gz บน Windows ก็สามารถใช้งานได้ ด้วยคำสั่ง python upload2gdrive.py –file D:\backup\bigfile.tar.gz หากต้องการระบุตำแหน่ง Folder บน Google Drive ที่ต้องการเอาไฟล์ไปไว้ ให้ระบุ Folder ID python upload2gdrive.py –file /backup/bigfile.tar.gz —-gdrive-id xxxxxxxbdXVu7icyyyyyy หากต้องการระบุ Chunk Size (ปริมาณข้อมูลที่จะแบ่ง Upload เช่น

Read More »

การใช้งาน Google Drive API ด้วย Google Client Library for Python

September 6, 2017 13:45

ในบทความนี้ จะแนะนำวิธีการเขียน Python เพื่อติดต่อกับ Google Drive API ทาง Google Client Library ซึ่ง จะใช้ REST v2 [1] เนื่องจาก ใน REST v3 ยังหาทางแสดง Progress ไม่ได้ (หากได้แล้วจะมา Update นะ) สิ่งต้องมี Python 2.6 ขึ้นไป PIP Package Management Tool เครื่องต้องต่อ Internet ได้ แน่นอน มี Google Account ขั้นที่ 1: เปิดใช้ Drive API เปิด URL https://console.cloud.google.com แล้วคลิก Select a project จากนั้นคลิกปุ่ม + เพือสร้าง Project ตั้งชื่อ Project แล้วคลิก Save เลือก Project ที่สร้างขึ้น เลือก API Library ที่ต้องการ ในที่นี้คือ Google Drive API แล้วคลิก Enable จากนั้น Create Credentials เลือกชนิดเป็น OAuth Client ID แล้วกรอกข้อมูลดังนี้ สร้าง Consent Screen เลือก Application Type เป็น Web Application, ระบุ Name (จะแสดงตอนขอ Permission) แล้วตั้งค่า URL ทั้ง 2 อันเป็น http://localhost:8080   และ สุดท้าย คลิก Download ก็จะได้ไฟล์ JSON มา ส่งนี้จะเรียกว่า “Client Secret File”  ให้เก็บไฟล์ไว้ใน Directory เดียวกันกับที่ต้องการจะเขียน Python Code โดยสามารถแก้ไขเปลี่ยนชื่อ เช่น ตั้งเป็น client_secret.json ขั้นที่ 2: ติดตั้ง Google Client Library ติดตั้งด้วย pip ตามคำสั่งต่อไปนี้ pip install –upgrade google-api-python-client ขั้นที่ 3: เขียน Code เพื่อติดต่อ Drive API จาก Python Quickstart [1] เป็นการเริ่มต้นที่ดีมาก เราสามารถนำ Code มาเป็นจุดเริ่มต้นได้ โดยตัวอย่างจะทำการติดต่อไปยัง Google Drive แล้ว List รายการของไฟล์ 10 อันดับแรกออกมา ตัวอย่างที่ Google ให้มา จะอ้างอิงไปยัง Credentials Path ไปยัง directory “.credentials” ใน “Home Directory” ของผู้ใช้ แต่ในตัวอย่างที่จะแสดงต่อไปนี้ ได้แก้ไขให้ “Client Secret File” อยู่ที่ directory เดียวกับ python file และเมื่อทำการ Authorization แล้วก็จะได้ “Credential File” มาเก็บไว้ที่เดียวกัน Code ต้นฉบับ สามารถดูได้จาก https://developers.google.com/drive/v2/web/quickstart/python ในที่นี้จะเปลี่ยนเฉพาะส่วนที่ต้องการข้างต้น และ เขียน Comment เพื่ออธิบายเพิ่มเติมเป็นภาษาไทย (ซึ่งไม่สามารถเขียนลงไปใน Python Code ได้) โดยตั้งชื่อไฟล์ว่า listfile.py from __future__

Read More »

ELK #5 การประยุกต์ใช้ ELK ในงานด้าน GIS

August 31, 2017 22:10

คราวนี้ มาดูการประยุกต์ใช้ ELK ในงานด้าน GIS ต่อจาก ELK #01 > ELK #02 > ELK #03 > ELK #04 ซึ่งเป็นการติดตั้งทั้งหมด คราวนี้มาดูการประยุกต์ใช้งานกันบ้าง โจทย์มีอยู่ว่า มีการไปเก็บข้อมูลในภาคสนาม แล้วมีการบันทึก พิกัดด้วย GPS เป็น Latitude กับ Longitude พร้อมกับค่าบางอย่าง ทั้งหมดถูกเก็บไว้ในฐานข้อมูล MySQL การนำข้อมูลเข้า ELK ก็เลย Export ข้อมูลจาก MySQL มาเป็น CSV File ประกอบด้วย id,LATITUDE,LONGITUDE,something ตัวอย่างข้อมูล มีดังนี้ id,LATITUDE,LONGITUDE,something 1,6.97585,100.448963,100 2,6.975627,100.450841,19 3,6.973472,100.449196,65 4,6.973468,100.449104,53 5,6.973455,100.449135,33 6,6.973252,100.44888,13 7,6.985862,100.45292,85 8,6.993386,100.416214,90 9,7.005465,100.447984,1 นำข้อมูลเข้า ELK ผ่านทาง Logstash ใน  ELK #2 ได้อธิบายขั้นตอนการติดตั้ง Logstash ไว้แล้วนั้น ต่อไปเป็นการนำข้อมูลชนิด CSV เข้าไปใส่ใน Elasticsearch Logstash จะอ่าน “กระบวนการทำงาน” หรือเรียกว่า Pipeline จากไฟล์ Configuration ซึ่งประกอบด้วย 3 ส่วนหลักๆ คือ Input, Filter และ Output input {    stdin { } } ในส่วน input นี้ จะเป็นการอ่าน STDIN หรือ ทาง Terminal filter { csv { separator => “,” columns => [ “id”,”latitude”,”longitude”,”something” ] } if [id] == “id” { drop { } } else { # continue processing data mutate { remove_field => [ “message” ] } mutate { convert => { “something” => “integer” } convert => { “longitude” => “float” } convert => { “latitude” => “float” } } mutate { rename => { “longitude” => “[geoip][location][lon]” “latitude” => “[geoip][location][lat]” } } } } ในส่วนของ filter นี้ เริ่มจาก เลือกใช้ Filter Plugin ชื่อ “csv” เพื่อจัดการไฟล์ CSV โดยกำหนด “separator” เป็น “,” แล้วกำหนดว่ามีชื่อ Column เป็น “id”,”latitude”,”longitude”,”something” จากนั้น ก็ตรวจสอบว่า ถ้าข้อมูลที่อ่านเข้ามา ใน Column “id” มีค่าเป็น “id” (ซึ่งก็คือบรรทัดหัวตารางของไฟล์ csv นั่นเอง) ก้ให้ “drop” ไป แต่หากไม่ใช่ ก็ให้ทำดังนี้ (mutate คือการแก้ไข)

Read More »

วิธีทำ Screen Mirror จาก Android ขึ้นมาแสดงบน PC (Ubuntu)

August 11, 2017 11:37

เนื่องจากเครื่อง Notebook ที่ใช้ ลง Ubuntu 17.04 Desktop จึงนำเสนอวิธีนี้ก่อน ใน Android ต้องเปิด Developer Options เปิด USB Debuging เสียบ Android กับ USB ที่เครื่อง Ubuntu Desktop ติดตั้งดังนี้ sudo apt install adb android-tools-adb ffmpeg ใช้คำสั่งต่อไปนี้ เพื่อดูว่า มี Android มาต่อทาง USB หรือไม่ lsusb ผลที่ได้ ต่อไป ใช้คำสั่งต่อไปนี้ เพื่อดูว่า ADB เห็น Android หรือไม่ adb shell screenrecord –output-format=h264 – | ffplay ผลที่ได้คือ หน้าจอ Android จะปรากฏบน PC (Ubuntu) Reference: https://askubuntu.com/questions/213874/how-to-configure-adb-access-for-android-devices

Read More »

การ Import KML / KMZ to Google Earth on Android device

August 10, 2017 11:22

Google Earth on Android ได้มี Feature ใหม่ ซึ่งสามารถนำเข้าหรือเปิด kml/kmz file ได้ และสามารถซ้อนทับชั้นข้อมูลได้หลาย layer เลยทีเดียว ถือว่าสะดวกมากๆ สำหรับคนที่ต้องการเปิดอ่าน kml/kmz file บนมือถือ   ขั้นตอนการทำ 1. ก่อนอื่น ต้องเตรียม kml หรือ kmz ไฟล์ก่อน หากไม่มี ลองเข้าไป download ได้ที่เว็บฐานข้อมูลลุ่มน้ำทะเลสาบสงขลา http://slb-gis.envi.psu.ac.th 2. update Google Earth บน Android device ให้เป็น version ล่าสุด (ตามตัวอย่างนี้ เป็นเวอร์ชั่น 9.0.4.2) หากยังไม่ได้ติดตั้ง คลิกที่นี่ 3. เปิดแอพ Google Earth > คลิกเมนู (ตามรูป) 4. เลือก My Places 5. คลิก Import KML file 6. เลือกไฟล์ kml 7. แอพจะแสดงไฟล์ที่นำเข้า ให้คลิก Fly Here 8. แสดงข้อมูล 9. คลิกที่ point บนแผนที่ จะแสดงรายละเอียดของข้อมูล ซึ่งขึ้นอยู่กับไฟล์ kml ว่ามีข้อมูลอะไรบ้าง 10. สามารถ import kml file ได้มากกว่า 1 ไฟล์ โดยแอพจะแสดงเป็นชั้นข้อมูล(layer) ในตัวอย่างเพิ่มขอบเขตพื้นที่ลุ่มน้ำฯ 11. แสดงข้อมูล 2 layers 12. สามารถ save เป็นรูปภาพ ได้โดยคลิกที่ไอคอน กล้อง 13. นอกจากนั้น ยังสามารถดูแบบ Street View ได้ด้วย โดยคลิกที่ไอคอนรูปคน 14. จะปรากฎเส้นสีฟ้า แสดงจุดที่สามารถคลิกดูแบบ Street View ได้ > จิ้มดูเลยคับ ^^ 15. ลองจิ้มดูหน้า คณะการจัดการสิ่งแวดล้อม มอ. นะคับ ^^ 16. ดูแบบ 3D ก็คลิกที่ไอคอน 3D เลยคับ 17. แสดงเป็นรูป 3มิติ 5. นอกนั้น ก็ลองคลิกเล่นดูนะคับ ^^   ****บริการโหลดฟรี! ชั้นข้อมูลลุ่มน้ำทะเลสาบสงขลาเพิ่มเติมได้ที่ โครงการการพัฒนาฐานข้อมูลสารสนเทศภูมิศาสตร์ลุ่มน้ำทะเลสาบสงขลา โดย สถานวิจัยสารสนเทศภูมิศาสตร์ ทรัพยากรธรรมชาติและสิ่งแวดล้อม คณะการจัดการสิ่งแวดล้อม มหาวิทยาลัยสงขลานครินทร์

Read More »