วันที่ 23-24 พ.ค. 66 ได้รับโอกาสจาก NECTEC ให้เข้าอบรม”ทักษะด้านปัญญาประดิษฐ์ และประยุกต์ใช้แพลตฟอร์ม AI for Thai ประจำปี 2566″ รอบที่ 3 เรามาทำความรู้จัก NECTEC แบบรวดเร็วกันนะครับ “NECTEC องค์กรที่มีหน้าที่ในการวิจัยและพัฒนาเทคโนโลยีสารสนเทศ และการสื่อสารในหลากหลายด้าน และ NECTEC ยังมีบทบาทในการสนับสนุนการพัฒนาทางธุรกิจด้านเทคโนโลยีสารสนเทศ และการสื่อสารในประเทศไทย ผ่านการให้คำปรึกษา การฝึกอบรม และการให้ความรู้ด้านเทคโนโลยีสารสนเทศแก่สถานประกอบการ รัฐบาล และสังคมทั่วไป และ AI for Thai คือผลงานจาก NECTEC” AI for Thai : Thai AI Service Platform…
Author: ธีระยุทธ์ ประสมพงศ์
Data cleansing ทำให้ข้อมูลสะอาดก่อนเอาไปใช้/วิเคราะห์
Data cleansing เป็นส่วนสำคัญในการทำ ETL (Extract, Transform, Load) data cleansing process เป็นกระบวนการที่เกี่ยวกับ การระบุและ แก้ไขหรือลบ ข้อผิดพลาด ความไม่สอดคล้องหรือความไม่แม่นยำในข้อมูลก่อนที่จะโหลดเข้าสู่ที่เก็บข้อมูล ขั้นตอนการทำ Data cleansing ประกอบด้วยขั้นตอนดังนี้ data cleansing ทำให้แน่ใจว่าข้อมูลที่ผ่านกระบวนการ ETL ไปยังที่เก็บข้อมูลต้องมี accurate consistent และ reliable โดยเป็นไปตามกฏเกณฑ์ที่ตั้งไว้ตามมาตราฐานขององค์กรหรือตามมาตราฐานสากล Data Profiling การประมวลผลข้อมูล (Data Profiling) เป็นขั้นตอนสำคัญในกระบวนการ ETL (Extract, Transform, Load) ซึ่งเป็นการวิเคราะห์คุณภาพ…
Data Masking ให้รู้ว่ามีอยู่จริง แต่ขอปิดไว้นะ
Data Masking เป็นวิธีการสร้างข้อมูลใน Version ที่มีโครงสร้างเหมือนกันในระดับชัดข้อมูล ตารางหรือ template ข้อมูล แต่มีการแปลงข้อมูลให้เปลี่ยนไปจากเดิม เช่น รหัสนักศึกษา จาก 6600123 เป็น D2RT126 เป็นต้น และถ้า field หรือ Column มีคุณสมบัติเป็น Unique key ก็ต้องรักษาคุณสมบัตินั้นไว้ ซึ่งสามารถนำไปใช้เพื่อวัตถุประสงค์ต่างๆ เช่น การทดสอบซอฟต์แวร์ การฝึกอบรมผู้ใช้ การส่งต่อให้ทีมงานอื่นๆไปทำงานต่อ แต่ไม่ต้องการให้เห็นข้อมูลที่แท้จริง และการเอาข้อมูลไปเผยเพร่ในรูปแบบ Open Data ทำ Data Masking เพื่อปกป้องข้อมูลจริงแต่ผลลัพธ์ต้องเหมือนกับชุดข้อมูลจริงต้นฉบับ เช่น ถ้านับจำนวนจากรหัสนักศึกษาจริง ก็ต้องมีผลเท่ากับที่นับจากจำนวนรหัส…
โกง Online ก็ต้องฟ้อง Online ซิครับ
ผมสั่งซื้อของ Online มาก็เยอะแล้วไม่ค่อยพลาด แต่ก็ไม่วายเจอดีเข้าจนได้ เมื่อสั่งซื้อของ Online แล้วไม่ได้รับของ ของไม่ตรงปก ของเสียหาย เราก็ต้องฟ้องแบบ Online ไปเลยครับ (แต่ก่อนฟ้องต้องแน่ใจว่าโดนโกง โดยการติดต่อผู้ขายแล้ว ติดต่อไม่ได้โดนบล๊อก หรือปฏิเสธความรับผิดชอบ) มาเริ่มกันเลย กระบวนการจะมีอยู่ 5 ขั้นตอนสำหรับครั้งแรกของการขอยืนฟ้อง 2. เข้าสู่ Application COJ CONNECT เพื่อลงทะเบียน ซึ่งมีอยู่ 5 ขั้นตอน 2.1 ระบุตัวตน >> กรอกข้อมูลรายละเอียดทุกช่องที่มีเครื่องหมาย * 2.2 ตรวจสอบบุคคล >> ถ่ายรูปบัตรประชาชนและหน้าตาหล่อๆ สวยๆ 2.3…
Mail ขอนัดประชุมต้องประกอบด้วยอะไรบ้าง
ช่วงนี้เป็นช่วงที่ต้อง Mail ขอนัดประชุมเพื่อขอข้อมูลเพื่อจัดทำ Data Lake จากหลายๆหน่วยงานเป็นจำนวนมาก เลยลองตั้งคำถามว่า “mail ขอนัดประชุมควรจะประกอบด้วยหัวข้ออะไรบ้าง” ถึงจะครบถ้วน เหมาะสม สือสารตรงจุด ผู้รับ Mail อยากจะตอบรับ อยากประชุมกับเรา ผลการค้นหาและประมาณผลด้วยตัวเองออกมาประมาณนี้ครับ ทั้งหมดนี้คือหัวข้อที่น่าจะต้องมีใน Mail ขอนัดประชุมครับ สำหรับผมคิดว่าหัวข้อที่ว่า ถ้าการประชุมครั้งนี้เกิดหรือสำเร็จ ทางผู้เข้าประชุมจะได้รับประโยชน์อะไรบ้างเป็นหัวข้อที่สำคัญที่สุดและน่าจะทำให้ผู้รับ Mail ให้ความสนใจ ยิ่งเป็นประโยชน์ที่ช่วยงานให้ดีขึ้น สะดวกขึ้นก็จะยิ่งเพิ่มความน่าเข้าร่วมประชุมมากขึ้นไปอีกระดับ ขอบคุณทุกท่านที่แวะมาอ่านนะครับ
สร้าง Dashboard ต้องคิดถึงอะไรบ้าง
Dashboard ทำขึ้นเพื่อ…ผู้ใช้ ไม่ได้ทำเพื่อแสดงข้อมูลทั้งหมดที่มี ทำเพื่อตอบคำถามผู้ใช้งานแต่สำหรับบางองค์กรที่ผู้ต้องการดูข้อมูลยังไม่รู้ว่าจะดูอะไรดี ขอแนะนำให้ตั้งโจทย์ขึ้นมาแล้วหาข้อมูลมาประกอบสร้างเรื่องราวจากโจทย์ขึ้นมาจากข้อมูล (การคิดโจทย์ขึ้นมาก็ต้องมาจากการคาดการณ์ความต้องการและเป้าหมายของผู้ใช้ เดาใจตามหน้าที่รับผิดชอบของผู้ใช้งาน) รูปแบบการวิเคราะห์ข้อมูลเบื้องต้น 1.ต้องการแสดงความสัมพันธ์ (Relationship) เพื่อเชื่อมต่อสองข้อมูลตัวแปรที่สนใจ หรือมากกว่านั้น เช่น จังหวัดที่เกิดกับวิทยาเขตที่เรียน 2.ต้องการเปรียบเทียบข้อมูล (Comparison) ใช้ Bar chart หรือ line chart เพื่อแสดงข้อมูลรับนักศึกษาในแต่ละปี 3.ต้องการแสดงการเปลี่ยนแปลงข้อมูลตามช่วงเวลา (Trend) 4.ต้องการแสดงการจ่ายของข้อมูล (Distribution) โดยการเอาข้อมูลมาจัดกลุ่ม (Grouping) หรือเรียง (Ranking) แล้วนับจำนวนเพื่อดูการกระจายของข้อมูลเช่น อายุงานบุคลากรแยกทุก 10 ปีของการทำงาน เพื่อดูว่าบุคลากรส่วนใหญ่อายุงานอยู่ที่กี่ปี เป็นต้น สิ่งที่ต้องเอาใจใส่ เลือก Data…
DAX (Data Analysis Expression) ฉบับเริ่มใช้งาน
DAX (Data Analysis Expression) ใช้เพื่อการคำนวณใน Data Model โดย DAX ประกอบด้วย Functions Operation และConstants เพื่อคำนวณและ/หรือแปลงข้อมูลเพื่อสร้าง Measure, Column, Table ใช้งานได้ในผลิตภัณฑ์ของ Microsoft ดังนี้ Power BI, Excel (Power Pivot), SQL Server โดยมีสูตรต่าง ๆ มากมาย มีประโยชน์มากในการทำงานเกี่ยวกับ Time Intelligence การสร้าง Date Dimension การคำนวณโดยใช้ Relationships เพื่อเตรียมการคำนวณให้ไปใช้ในการสร้าง Visualization…
ETL ต้องตรวจสอบอะไรบ้างเพื่อความมั่นใจในโอน ย้ายข้อมูล
ETL (Extract, Transform, Load) ประโยชน์ที่สามารถนำไปประยุกต์ใช้ ============================ ETL Tools ตอนนี้มีอยู่หลายค่ายหลายโปรแกรม ทั้งฟรีและขาย สามารถนำมาประยุกร์ใช้งานได้ ตัวอย่างเช่น ========================== ต้องตรวจสอบอะไรบ้างเมื่อท่านต้องทำ ETL 1. Metadata Testing เป็นการทดสอบส่วนประกอบของข้อมูลพวกชนิดของข้อมูล ขนาดและเงื่อนไขต่างๆของข้อมูล2. Data Completeness Testing ความสมบูรณ์ของข้อมูลต้องสุ่มทดสอบข้อมูล เช่น คีย์ที่ใช้เชื่อมข้อมูลระหว่างตารางไม่ควรจะเป็น NULL 3. Data Quality Testing คุณภาพของข้อมูล เช่นข้อมูลชื่อประเทศเดียวกันต้องสะกดเหมือนกันทั้งหมด การหาข้อมูลซ้ำซ่อนแบบไม่ปกติ4. Data Transformation Testing ดักจับ error ระหว่างการถ่ายโอนข้อมูล5.…
Big Data Framework
ออกตัวไว้ก่อนนะครับบทความนี้เป็นการย่อความหรือถอดสาระสำคัญมาจาก หนังสือกรอบการวิเคราะห์ข้อมูลขนาดใหญ่ภาครัฐ ภายใต้การกำกับดูแลของ สำนักงานพัฒนารัฐบาลดิจิทัล (สพร.) ซึ่งจะนำเสนอในส่วนของการตั้งทีมเพื่อพัฒนา Big Data แนวทางการพัฒนาทั้งข้อมูลและกลุ่มคนที่จะดำเนินการพัฒนาระบบให้บริการข้อมูล เพื่อประยุกร์ใช้กับการนำข้อมูลไปประกอบการพัฒนามหาวิทยาลัยของเราในรูปแบบ (Data Driven Organization) 1) กลุ่มผู้ใช้ข้อมูล (Business Domain) ได้แก่ ผู้บริหารระดับสูง ผู้อำนวยการกอง ผู้ทำงานด้านนโยบายและวิชาการ ผู้ทำงานด้านบริการ มีหน้าที่กำหนดโจทย์หรือประเด็น ที่ต้องการวิเคราะห์ข้อมูล และนำสารสนเทศที่เป็นผลจากการวิเคราะห์และนำเสนอข้อมูล มาใช้ประกอบการดำเนินงาน 2) กลุ่มผู้วิเคราะห์ ประมวลและแสดงผลข้อมูล ได้แก่ นักวิทยาศาสตร์ข้อมูล (Data Scientist) นักวิเคราะห์ข้อมูล (Data Analyst) และนักนิทัศน์ข้อมูล (Data Visualizer) มีหน้าที่ในการนำข้อมูลมาจัดกลุ่ม…