Big Data Framework

ออกตัวไว้ก่อนนะครับบทความนี้เป็นการย่อความหรือถอดสาระสำคัญมาจาก หนังสือกรอบการวิเคราะห์ข้อมูลขนาดใหญ่ภาครัฐ ภายใต้การกำกับดูแลของ สำนักงานพัฒนารัฐบาลดิจิทัล (สพร.) ซึ่งจะนำเสนอในส่วนของการตั้งทีมเพื่อพัฒนา Big Data แนวทางการพัฒนาทั้งข้อมูลและกลุ่มคนที่จะดำเนินการพัฒนาระบบให้บริการข้อมูล เพื่อประยุกร์ใช้กับการนำข้อมูลไปประกอบการพัฒนามหาวิทยาลัยของเราในรูปแบบ (Data Driven Organization) 1) กลุ่มผู้ใช้ข้อมูล (Business Domain) ได้แก่ ผู้บริหารระดับสูง ผู้อำนวยการกอง ผู้ทำงานด้านนโยบายและวิชาการ ผู้ทำงานด้านบริการ มีหน้าที่กำหนดโจทย์หรือประเด็น ที่ต้องการวิเคราะห์ข้อมูล และนำสารสนเทศที่เป็นผลจากการวิเคราะห์และนำเสนอข้อมูล มาใช้ประกอบการดำเนินงาน 2) กลุ่มผู้วิเคราะห์ ประมวลและแสดงผลข้อมูล ได้แก่ นักวิทยาศาสตร์ข้อมูล (Data Scientist) นักวิเคราะห์ข้อมูล (Data Analyst) และนักนิทัศน์ข้อมูล (Data Visualizer) มีหน้าที่ในการนำข้อมูลมาจัดกลุ่ม วิเคราะห์และประมวลผล พร้อมทั้งพัฒนาภาพแบบ แสดงผลข้อมูลหรือ Dashboard สำหรับการนำเสนอข้อมูล 3) กลุ่มผู้สร้างและพัฒนาระบบ ได้แก่ วิศวกรข้อมูล (Data Engineer) สถาปนิก ข้อมูล(Data Architect) นักวิเคราะห์ธุรกิจ(Business … Read more

การนับจำนวนข้อมูลโดยใช้ Pivot Table

ตามปกติหากเราต้องการนับจำนวนข้อมูลที่ซ้ำๆ กัน ว่ามีจำนวนเท่าไหร่ใน Excel หลาย ๆคนคงใช้ฟังก์ชัน COUNTIF ในการนับจำนวนกัน แต่วันนี้มีอีกวิธีที่จะมานำเสนอนั้นคือการใช้ Pivot Table ในการนับจำนวน ซึ่งใช้งานง่ายและไม่ได้ยุ่งยากอย่างที่คิดค่ะ ลองมาดูวิธีกันเลยนะคะ ใน excel ที่เรามีข้อมูลซ้ำ ๆ กันหน้าตาแบบนี้ 2. ไปที่เมนู Insert เลือก Pivot Table 3. ปรากฏหน้าจอ Create PivotTable เพื่อให้เลือกกลุ่มของข้อมูลที่ต้องการนับจำนวน ให้เลือกคอลัมน์ที่ต้องการนับจำนวน  แล้วกดปุ่ม OK  ดังรูป 4. ปรากฏหน้าจอการทำงานของ Pivot Table ให้เลือกลากข้อมูลชื่อ-สกุล มาไว้ในช่อง  Rows และ Values สังเกตุว่าในช่อง Values ใน Excel จะใช้ฟังก์ชัน Count ให้เราโดยอัตโนมัติ ดังรูป 5. แสดงข้อมูลผลลัพธ์ของการนับจำนวนโดยใช้ Pivot Table … Read more

แปลภาษาผ่าน Google Sheets ด้วยสูตร(ไม่)ลับ

ใน Google Sheets จะมีสูตรที่ชื่อว่า =GOOGLETRANSLATE ใช้เป็นคำสั่ง ให้ดึงคำหรือประโยคภาษาต่าง ๆ เข้าไปแปลให้ใน Google Translate แล้วส่งคำแปลนั้นมาแสดงใน Google Sheets ซึ่งสูตรนี้จะช่วยแปลคำหรือประโยคในภาษาต่าง ๆ ได้อย่างรวดเร็ว แต่มีข้อจำกัดก็คือ มันจะแสดงคำแปลตรงๆ มาให้ ไม่มีคำใกล้เคียง (Synonyms) แสดงมาให้ด้วย สามารถแปลได้ทุกภาษา แต่ต้องมีการปรับสูตรบ้างเล็กน้อย เริ่มต้นด้วย : เปิด Google Sheets เพื่อสร้างข้อมูลคำศัพท์ที่ต้องการแปลโครงสร้างสูตรชื่อเซลล์ ภาษาที่จะแปล=GOOGLETRANSLATE(A2, “th”, “en”)หมายความว่า แปลคำศัพท์ที่อยู่ใน “ตำแหน่งของเซลล์ที่มีคำศัพท์หรือประโยค” ตามด้วย “ภาษาต้นฉบับ” และ “ภาษาที่จะแปล” เพื่อให้สูตรทำการแปลภาษาได้อย่างถูกต้องตรงตามที่เราต้องการ และสามารถ Copy สูตรด้านล่างได้ หากต้องการแปลภาษาอื่น ๆ สามารถใช้อักษรย่อในแต่ละภาษาแทนได้ เช่นอักษรย่อแต่ละภาษาth ไทย , en อังกฤษ, zh จีน, k๐ … Read more

อัพโหลดแอปพลิเคชันไปยัง App Store ด้วย Transporter

สำหรับนักพัฒนาแอปพลิเคชัน เพื่อให้บริการบนระบบปฏิบัติการ iOS, iPadOS ฯลฯ ของ Apple นั้น ทราบกันดีอยู่แล้วว่าต้องอัพโหลดขึ้นไปยัง App Store เพื่อให้ผู้ใช้เข้าไปค้นหาและดาวส์โหลดไปใช้งาน ทั้งนี้ช่องทางการอัพโหลดแบบปกติ (Native App ที่พัฒนาด้วย Xcode อยู่แล้ว หรือ เฟรมเวิร์คที่ Export ออกมาเป็น Xcode โปรเจค) คือ การใช้ขั้นตอน Build Archive เมื่อสำเร็จก็จะสามารถเลือก Distribute App ไฟล์ Build ก็จะอัพโหลดขึ้นไปรอที่ appstoreconnect.apple.com ให้อัตโนมัติ เพื่อเข้ากระบวนการ Review App ต่อไป ทั้งนี้ในปัจจุบันเฟรมเวิร์คที่ใช้พัฒนาครั้งเดียวสามารถให้บริการได้หลายระบบปฏิบัติการ (Cross Platform) เป็นที่นิยมอย่างมาก เช่น Flutter, React Native, Xamarin ซึ่งมักจะมีเครื่องมือที่ช่วย Build เป็นไฟล์ .ipa ที่ใช้สำหรับอัพโหลดมาเลย ซึ่งในปัจจุบันไม่สามารถใช้ … Read more

Query ที่ใช้งานบ่อยๆสำหรับทำ ETL , Data Warehouse และ Data Science ตอนที่ 1

สายงานดึงข้อมูลเพื่อใช้สำหรับวิเคราะห์ข้อมูล แปลงข้อมูล จัดรูปแบบข้อมูลต่างๆไม่ว่าวัตถุประสงค์ที่จะทำ ETL, Data warehouse , Data Science, Data Lake สิ่งที่จะเกิดขึ้นบ่อยๆคือ การจัดกลุ่มข้อมูล ROW_NUMBER(), RANK(), DENSE_RANK() การแปลงข้อมูล CAST,CASE การสร้าง View, Sub Table, temp table, Material View ,select ซ้อน select หลายชั้น (with) การทำงานด้านนี้จะแตกต่างจากการดึงข้อมูลในการทำงานแบบ CRUD (Create, Read, Update, Delete) เป็นงาน Transaction เน้นการทำงานที่เร็วอย่างมีประสิทธิภาพ ส่วนการวิเคราะห์ข้อมูลลืมเรื่อง Performance ไปได้เลยส่วนใหญ่คำสั่งที่ทาง Transaction Performance ต้องการให้เราหลีกเลี่ยงเราก็จะได้นำมาใช้งานอยากสนุกสนาน เนื่องจากตอนนี้ผมดึงข้อมูลจาก Oracle Database เป็นหลักก็เลยขอเขียนตัวอย่างของ Oracle ก่อนนะครับ ต่อไปค่อยเพิ่มเติม Database อื่นๆต่อไป … Read more