Author: คณกรณ์ หอศิริธรรม

DIDA, Faculty of Medicine, Prince of Songkla University

วิธีหา processing speed จาก log file ด้วย shell script

[บันทึกกันลืม] ห่างหายไปนาน กำลังทำระบบ ETL ซึ่งเป็นลักษณะของ Concurrent processing โจทย์คือ ต้องเอาข้อมูล 40 ล้าน items เข้าไปใน Apache Cassandra cluster ที่ประกอบด้วย 5 nodes เป้าหมายคือ 1000 items /second วิธีทำ concurrent ด้วย python เดี๋ยวมาเล่าให้ฟัง (รอ Link ตรงนี้) โดยย่อ การนำเข้าข้อมูล ทำด้วย Python script แล้วจะเขียน log file หน้าตาประมาณนี้…

ในวันที่มหาวิทยาลัยไม่ใช้ Google แล้ว เรามีทางเลือกอะไรบ้าง

7-Eleven.2022 จาก Google App for Education -> G Suite for Education -> G Workspace for Education ที่ชูจุดขาย Unlimited Storage ทำให้เกิดการใช้งานกันอย่างกว้างขวาง และความสามารถของ Google Apps ในการทำงานพร้อม ๆ กันได้ ใช้งานกันมาอย่างยาวนาน ตั้งแต่ปี 2011 ถึงปัจจุบัน 2022 เป็นเวลา 11 ปี 11 ปี ที่อีกนัยยะหนึ่งคือ การคานอำนาจไว้ และแล้วก็มาถึงจุดที่ ไม่…

วิธี github clone มาเฉพาะบาง Folder

ถ้าต้องการเฉพาะบาง folder เช่นจากของ Google Research https://github.com/google-research/google-research แต่เราต้องการเพียงแค่ project ย่อยเดียว เช่น tft (Temporal Fusion Transformer) วิธีการมีดังนี้ 0. ต้องใช้ git version ใหม่ ๆ ในที่นี้ผมใช้ 2.32.0 1. จะมี sparse-checkout ซึ่งทำให้กำหนดได้ว่า ต้องการ folder ใด ให้ใช้คำสั่งแรกคือ 2. จากนั้น กำหนดว่า ต้องการเฉพาะ folder ชื่อ tft 3 .…

วิธีแก้ปัญหา docker container ไม่ start cron อัตโนมัติ

ปัญหา เวลาสร้าง docker container เพื่อ run งานแบบอัตโนมัติ เราก็จำเป็นต้องใช้ cron แต่ว่า เจ้า docker container images เนี่ย จะเป็นรุ่นตัดทุกอย่างที่ไม่จำเป็นออกหมด เอาไว้ให้ start – run – stop แต่ถึงกระนั้น เราก็ยังอยากได้การทำงานแบบ cron อยู่ดี Reproduce สร้าง docker container จาก ubuntu:20.04 ตรวจสอบว่ามี crontab หรือไม่ ก็ไม่มี /var/log/syslog มีไม๊ ก็ไม่มี systemctl…

วิธีแก้ปัญหา Let’s Encrypt กับ Root Certificate Expire ในวันที่ 30 กันยายน 2021

ปัญหา เช้านี้ (30 กันยายน 2021) พบว่า อยู่ ๆ เว็บเซิร์ฟเวอร์ที่ให้บริการ ซึ่งใช้ Let’s Encrypt ก็ ขึ้นหน้า “This connection is not private” เป็นเฉพาะกับ เครื่อง Mac, iPhone, iPad ไม่ว่าจะใช้ Safari หรือ Chrome ก็ตาม เอ่ เพิ่ง Renew ไปเมื่อเดือนที่แล้ว เกิดอะไรขึ้น ลองคลิกที่รูป Key แล้ว View Certificate พบว่า…

วิธีรัน Jupyter Notebook, ปิด browser แล้วระบบส่ง LINE บอกพร้อมภาพ เมื่อเสร็จแล้ว ค่อยกลับมาดูผล

ปัจจุบัน งานด้าน Data Science ก็มักจะใช้ Jupyter Notebook เพราะสะดวกในการทดลอง ทดสอบ ทำทีละบรรทัด ดูผล ปรับแต่งไปได้เรื่อย ๆ แถมสามารถซื้อ Server ส่วนกลาง ลงทุน GPU แล้วใช้พร้อม ๆ กันหลาย ๆ คนทั้งทีมก็ได้ ปัญหาอยู่ตรงที่ การสร้าง Model มักจะใช้เวลานาน (มาก) แล้ว Jupyter มันเป็น Web-based จะปิด Browser ก็ได้ แต่หลายคนคงเคยเจอว่า พอกลับมาเปิด URL เดิม ก็ไม่เห็นผลที่รันแล้ว…

[บันทึกกันลืม] วิธีตั้งค่า DBeaver ให้สามารถใช้ Memory ได้สูงขึ้น

วิธีแก้ไข DBeaver เกิด Error
java.lang.OutOfMemoryError: Java heap space

วิธี Word Wrap ใน Jupyter Notebook / Jupiter Lab

มีคำถามมา หาคำตอบเจอ คิดว่าเป็นประโยชน์​เลยบันทึกไว้ ปัญหาของคนใช้ Jupyter Notebook / Jupyter Lab คือ ถ้ามีโค๊ดยาว ๆ จะไม่ขึ้นบันทัดใหม่ให้ จริง ๆ ต้องบอกว่า ไม่ Word Wrap ตามภาพที่ 1 ไปค้นหามา พบข้อมูลจาก Alex Ioannides ตอบที่ https://stackoverflow.com/questions/48202340/enable-word-wrap-in-jupyterlab-code-editor เค้าแนะนำให้เอาแก้ไขโดยใส่สิ่งนี้ใน Settings แต่มันอยู่ตรงไหนหล่ะ มันอยู่ตรงนี้นะ Settings > Advanced Settings Editor แล้วก็คลิกที่ Notebook จากนั้นเอาโค๊ดข้างต้นไปแปะที่ User…