คณกรณ์ หอศิริธรรม

Update: 2022-12-16 สารบัญ แสดง Line Number ลบบรรทัดแรกถึงบรรทัดสุดท้าย Before After Comment ทีละหลาย ๆ บรรทัด Ctrl+v Shift+i # Before Ctrl+v แล้วเลื่อนลูกศรลงมาเรื่อย ๆ Shift+i แล้วใส่ # แล้วกดปุ่ม Esc

[บันทึกกันลืม] ห่างหายไปนาน กำลังทำระบบ ETL ซึ่งเป็นลักษณะของ Concurrent processing โจทย์คือ ต้องเอาข้อมูล 40 ล้าน items เข้าไปใน Apache Cassandra cluster ที่ประกอบด้วย 5 nodes เป้าหมายคือ 1000 items /second วิธีทำ concurrent ด้วย python เดี๋ยวมาเล่าให้ฟัง (รอ Link ตรงนี้) โดยย่อ การนำเข้าข้อมูล ทำด้วย Python script แล้วจะเขียน log file หน้าตาประมาณนี้ ให้สนใจแค่ว่าคอลัมน์แรก เป็น timestamp ประมาณว่า บรรทัดแรก เขียนข้อมูลเมื่อ 2022-11-30 07:34:13 แล้วบรรทัดล่าสุด หน้าตาประมาณนี้ ประมาณว่า บรรทัดสุดท้าย เขียนข้อมูลเมื่อ 2022-11-30 11:12:19 … Read more

7-Eleven.2022 จาก Google App for Education -> G Suite for Education -> G Workspace for Education ที่ชูจุดขาย Unlimited Storage ทำให้เกิดการใช้งานกันอย่างกว้างขวาง และความสามารถของ Google Apps ในการทำงานพร้อม ๆ กันได้ ใช้งานกันมาอย่างยาวนาน ตั้งแต่ปี 2011 ถึงปัจจุบัน 2022 เป็นเวลา 11 ปี 11 ปี ที่อีกนัยยะหนึ่งคือ การคานอำนาจไว้ และแล้วก็มาถึงจุดที่ ไม่ Unlimited มาเป็น 80 GB/คน (บุคลากร) แต่ไม่จำกัดการใช้งาน Share Drive มาเป็น บุคลากรเหลือ 5 GB และจะไม่ให้ใช้ Shared Drive … Read more

ถ้าต้องการเฉพาะบาง folder เช่นจากของ Google Research https://github.com/google-research/google-research แต่เราต้องการเพียงแค่ project ย่อยเดียว เช่น tft (Temporal Fusion Transformer) วิธีการมีดังนี้ 0. ต้องใช้ git version ใหม่ ๆ ในที่นี้ผมใช้ 2.32.0 1. จะมี sparse-checkout ซึ่งทำให้กำหนดได้ว่า ต้องการ folder ใด ให้ใช้คำสั่งแรกคือ 2. จากนั้น กำหนดว่า ต้องการเฉพาะ folder ชื่อ tft 3 . จากนั้นก็กำหนด remote repository ด้วยคำสั่ง 4 . แล้วก็ pull ด้วยคำสั่ง รอสักครู่ เราก็จะได้เฉพาะ folder ที่ต้องการ หวังว่าจะเป็นประโยชน์ครับ

ปัญหา เวลาสร้าง docker container เพื่อ run งานแบบอัตโนมัติ เราก็จำเป็นต้องใช้ cron แต่ว่า เจ้า docker container images เนี่ย จะเป็นรุ่นตัดทุกอย่างที่ไม่จำเป็นออกหมด เอาไว้ให้ start – run – stop แต่ถึงกระนั้น เราก็ยังอยากได้การทำงานแบบ cron อยู่ดี Reproduce สร้าง docker container จาก ubuntu:20.04 ตรวจสอบว่ามี crontab หรือไม่ ก็ไม่มี /var/log/syslog มีไม๊ ก็ไม่มี systemctl มีไม๊ ก็ไม่มี แก้ไข ติดตั้ง 3 อย่าง cron, systemctl, rsyslog แล้ว ขอแถม vim ด้วย ติดตั้งแล้ว ลองตรวจสอบ … Read more