Month: November 2020

สำหรับแอปพลิเคชันที่มีส่วนค้นหาแล้วนั้น หนีไม่พ้นคำถามจากผู้ใช้ว่า ถ้าสะกดคำผิดจะค้นเจอมั้ย (ก็ไม่เจอซิครับ) พร้อมยกตัวอย่างความสามารถในการแก้คำผิดของ Google, Bing ให้ฟัง สำหรับนักพัฒนาตัวคนเดียว หรือทีมงานเล็กๆ ที่ไม่สามารถใช้แนวทาง API แบบต้องมีค่าใช้จ่าย หรือ Machine Learning ที่ต้องใช้ความรู้เฉพาะด้าน ผมก็มี Library ขนาดเล็กที่อาศัยวิธีการทางสถิติ และไฟล์คลังคำศัพท์ (Dictionary) มาใช้งานไปก่อนครับ โดยได้ทำการทดสอบประสิทธิภาพเปรียบเทียบกับ PyThaiNLP, WeCantSpell.Hunspell มาแล้วทั้งในด้านความเร็ว และความถูกต้อง พบว่าดีที่สุด นั้นคือ NHunspell

ขั้นตอนการนำมาใช้งาน

ในตัวอย่าง เป็นการนำมาใช้งานร่วมกับ Console Application

1.เปิด Nuget Manager ด้วยการ คลิกขวาที่ชื่อโปรเจค เลือก Manage Nuget Packages

2.ค้นหา NHunspell เลือก Install

3.สร้างโฟลเดอร์สำหรับเก็บไฟล์ Dictionary โดยสามารถดาวส์โหลดได้จาก https://github.com/LibreOffice/dictionaries นำไปวางไว้ที่ [ProjectPath]/bin/Debug

4.สร้างโฟลเดอร์สำหรับเก็บไฟล์คำตัวอย่าง sentense_list.txt โดยมีบรรทัดละ 1 คำ เพื่อทำการโหลดข้อมูลเข้ามาให้ Library ประมวลผล และเก็บไฟล์ผลลัพธ์ไว้ที่ suggest_result.txt นำไปวางไว้ที่ [ProjectPath]/bin/Debug

5. จากนั้นก็เขียนโค้ดในไฟล์ Program.cs ดังนี้

using System;
using System.IO;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using NHunspell;

namespace SpellCheckTest
{
    class Program
    {
        static void Main(string[] args)
        {
            try
            {
                using (var sr = new StreamReader("example_data/sentense_list.txt"))
                {
                    //อ่านรายการคำ
                    string searchterm = sr.ReadToEnd();
                    string[] searchtermArray = searchterm.Split(Environment.NewLine.ToCharArray(), StringSplitOptions.RemoveEmptyEntries);

                    Console.WriteLine("Processing...");

                    using (var sw = new StreamWriter("example_data/suggest_result.txt"))
                    {
                        foreach (string sentense in searchtermArray)
                        {
                            string result = string.Empty;
                            var startTime = System.DateTime.Now.Ticks;

                            //ส่งคำให้ NHunspell ประมวลผล
                            result = SuggestNHunSpell(sentense);

                            var endTime = System.DateTime.Now.Ticks - startTime;
                            TimeSpan elapsedSpan = new TimeSpan(endTime);

                            //เขียนผลการตรวจสอบ และเวลาที่ใช้ลงในไฟล์ผลลัพธ์
                            sw.WriteLine(result);
                            sw.WriteLine(string.Format("{0}", elapsedSpan.TotalSeconds));
                            sw.WriteLine();
                            sw.Flush();
                        }
                    }

                    Console.WriteLine("Process Complete.");
                    Console.ReadKey();
                }
            }
            catch (IOException e)
            {
                Console.WriteLine("The file could not be read:");
                Console.WriteLine(e.Message);
                Console.ReadKey();
            }
        }

        /// <summary>
        /// NHunSpell
        /// </summary>
        /// <param name="sentence"></param>
        /// <returns></returns>
        private static string SuggestNHunSpell(string sentence)
        {
            //ตรวจสอบว่าเป็นภาษาอังกฤษ หรือภาษาไทย
            bool IsEnglish = Regex.IsMatch(sentence.Replace(" ", string.Empty), "[a-zA-Z]");

            string dictPath = IsEnglish ? "dict/en_US.dic" : "dict/th_TH.dic";
            string affixPath = IsEnglish ? "dict/en_US.aff" : "dict/th_TH.aff";
            
            //โหลดไฟล์ Dict และ Affix 
            using (Hunspell hunspell = new Hunspell(affixPath, dictPath))
            {
                //ตรวจสอบว่าสะกดถูกหรือไม่
                if (!hunspell.Spell(sentence))
                {
                    List<string> suggestions = hunspell.Suggest(sentence);
                    if (suggestions.Count > 0)
                    {
                        //คืนค่า รายการคำที่น่าจะเป็นคำสะกดที่ถูกต้อง
                        return sentence + " : " + string.Join(",", suggestions);
                    }
                }
            }

            //หากตรวจสอบว่าสะกดถูกแล้ว บันทึกผลว่า Correct
            return sentence + ": Correct";
        }
    }
}

6.จากนั้นทำการ Run แบบ Debug จะปรากฎหน้าจอ Command Line แสดงข้อความ Processing… รอจนเห็นคำว่า Process Complete. แสดงว่าทำการประมวลผลเสร็จแล้ว

7.ผลลัพธ์จะถูกบันทึกลงในไฟล์ suggest_list.txt ดังรูป

ในตัวอย่างนี้ เป็นเพียงโปรเจคสำหรับทดสอบการเรียกใช้งาน และดูผลลัพธ์ของ Library เท่านั้น การนำไปใช้งานร่วมกับระบบยังต้องการ การประยุกต์ให้เหมาะสมกับแต่ละระบบ แต่ก็หวังว่าจะเป็นประโยชน์กับคนที่กำลังหาเครื่องมือที่ใช้ตรวจสอบการสะกดคำให้กับระบบของตัวเองอยู่ไม่มาก ก็น้อยครับ

เริ่มต้นต้องประกาศ Using ก่อน ดังนี้

using System.Net;
using System.IO;

แล้วใส่ code ตามด้านล่างนี้

private void LineNotify(string lineToken, string message)
{
        try
        {
            string message = System.Web.HttpUtility.UrlEncode(message, Encoding.UTF8);
            var request = (HttpWebRequest)WebRequest.Create("https://notify-api.line.me/api/notify");
            var postData = string.Format("message={0}", message);            
            var data = Encoding.UTF8.GetBytes(postData);            
            request.Method = "POST";
            request.ContentType = "application/x-www-form-urlencoded";
            request.ContentLength = data.Length;
            request.Headers.Add("Authorization", "Bearer " + lineToken);
            var stream = request.GetRequestStream();
            stream.Write(data, 0, data.Length);
            var response = (HttpWebResponse)request.GetResponse();
            var responseString = new StreamReader(response.GetResponseStream()).ReadToEnd();
        }
        catch (Exception ex)
        {
            Console.WriteLine(ex.ToString());
        }
    }

พารามิเตอร์ที่ต้องส่งมีดังนี้

lineToken วิธีการขอ Line Token ดูได้จากบทความ การส่ง Line Notify ด้วย Command Line

message คือข้อความที่ต้องการจะส่งผ่าน Line Notify

ในการทดสอบฟังก์ชันหรือใช้งานฟังก์ชันนี้เครื่องคอมพิวเตอร์ต้องทำการต่อ internet ด้วยถึงจะทำงานได้

ตัวอย่างการเรียกใช้ฟังก์ชัน

LineNotify(“DwNQ7NQxrG8wgEaoUKvjgWKh1n08rxxxxxx”,”Hello World” );

ผลที่ได้

ถ้าหากต้องการให้ส่ง sticker หรือ รูปภาพไปด้วยให้ใส่ code ตามด้านล่างนี้

private void LineNotify(string lineToken, string message , int stickerPackageID, int stickerID, string pictureUrl)
{
        try
        {
            string message = System.Web.HttpUtility.UrlEncode(message, Encoding.UTF8);
            var request = (HttpWebRequest)WebRequest.Create("https://notify-api.line.me/api/notify");
            var postData = string.Format("message={0}", message); 
            if (stickerPackageID > 0 && stickerID > 0)
                {
                    var stickerPackageId = string.Format("stickerPackageId={0}", stickerPackageID);
                    var stickerId = string.Format("stickerId={0}", stickerID);
                    postData += "&" + stickerPackageId.ToString() + "&" + stickerId.ToString();
                }
            if (pictureUrl != "")
                {
                    var imageThumbnail = string.Format("imageThumbnail={0}", pictureUrl);
                    var imageFullsize = string.Format("imageFullsize={0}", pictureUrl);
                    postData += "&" + imageThumbnail.ToString() + "&" + imageFullsize.ToString();
                }           
            var data = Encoding.UTF8.GetBytes(postData);            
            request.Method = "POST";
            request.ContentType = "application/x-www-form-urlencoded";
            request.ContentLength = data.Length;
            request.Headers.Add("Authorization", "Bearer " + lineToken);
            var stream = request.GetRequestStream();
            stream.Write(data, 0, data.Length);
            var response = (HttpWebResponse)request.GetResponse();
            var responseString = new StreamReader(response.GetResponseStream()).ReadToEnd();
        }
        catch (Exception ex)
        {
            Console.WriteLine(ex.ToString());
        }
    }

พารามิเตอร์ที่ต้องส่งมีดังนี้

lineToken วิธีการขอ Line Token ดูได้จากบทความ การส่ง Line Notify ด้วย Command Line

message คือข้อความที่ต้องการจะส่งผ่าน Line Notify

stickerPackageID กับ stickerID ดูได้จาก sticker_list

pictureUrl คือ url ของรูปภาพที่ต้องการจะส่งผ่าน Line Notify

ตัวอย่างการเรียกใช้ฟังก์ชัน

LineNotify(“DwNQ7NQxrG8wgEaoUKvjgWKh1n08rxxxxxx”,”สวัสดีชาวโลก” , 1 , 10 , “https://www.google.com/images/branding/googlelogo/1x/googlelogo_color_272x92dp.png”);

ผลที่ได้