Tag: elasticsearch

[กันลืม] Elasticsearch API พื้นฐาน

kanakorn.h

August 1, 2020

INDEX

วิธีดูว่ามี index อะไรบ้าง

GET /_cat

Response

=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/tasks
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}

เมื่อทราบว่ามี index อะไรบ้าง ต้องการดูรายละเอียด ใส่ query string parameter (qrs) “v”‘

GET /_cat/indices?v

Response

health status index                    uuid                   pri rep docs.count docs.deleted store.size pri.store.size
yellow open   logstash-2020.06.20      JeGeb67mSNKN3gCgC9AWCQ   1   1    4573283            0    808.7mb        808.7mb
yellow open   logstash-2020.05.30      Bg8-hUUAS0m4VbGs0-1lIw   1   1    4124813            0    721.9mb        721.9mb
yellow open   logstash-2020.05.31      qJX9VbaySG2ssBXMTwmapA   1   1    4333363            0    772.6mb        772.6mb
yellow open   logstash-2020.06.21      9on104uKQnGllS5QZNyUKg   1   1    4712048            0    869.2mb        869.2mb
yellow open   logstash-2020.06.22      lVfX4tHjSUeMF640wmIzLw   1   1    8441356            0      1.6gb          1.6gb
yellow open   logstash-2020.06.01      P_9wbTd7Qo6YNme-NRvFLQ   1   1    7360129            0      1.3gb          1.3gb
yellow open   logstash-2020.06.23      xvQRTdNHTt2wKfiSlvR87A   1   1    7631987            0      1.4gb          1.4gb
yellow open   logstash-2020.06.02      H-kPw4FXQ-W1AphBfjtcMw   1   1    7344418            0      1.3gb          1.3gb

ต้องการทราบว่า แต่ละ Fields มีความหมายอย่างไร ใช้ qrs ‘help’

GET /_cat/indices?help

Response

health                           | h                              | current health status                                                                                            
status                           | s                              | open/close status                                                                                                
index                            | i,idx                          | index name                                                                                                       
uuid                             | id,uuid                        | index uuid                                                                                                       
pri                              | p,shards.primary,shardsPrimary | number of primary shards                                                                                         
rep                              | r,shards.replica,shardsReplica | number of replica shards                                                                                         
docs.count                       | dc,docsCount                   | available docs                                                                                                   
docs.deleted                     | dd,docsDeleted                 | deleted docs                                                                                                     
creation.date                    | cd                             | index creation date (millisecond value)                                                                          
creation.date.string             | cds                            | index creation date (as string)                                                                                  
store.size                       | ss,storeSize                   | store size of primaries & replicas

ต้องการแสดงเฉพาะบาง Fields ใช้ qrs ‘h=’

GET /_cat/indices?h=idx,dc,ss&v

Response

idx                           dc      ss
logstash-2020.06.20      4573283 808.7mb
logstash-2020.05.30      4124813 721.9mb
logstash-2020.05.31      4333363 772.6mb
logstash-2020.06.21      4712048 869.2mb
logstash-2020.06.22      8441356   1.6gb
logstash-2020.06.23      7631987   1.4gb
logstash-2020.06.01      7360129   1.3gb
logstash-2020.06.02      7344418   1.3gb
logstash-2020.06.24      7300718   1.4gb

ต้องการดูขนาดจัดเก็บ ใช้ qrs ‘bytes=’

GET /_cat/indices?h=idx,dc,ss&bytes=b&v

Response

idx                           dc         ss
logstash-2020.05.30      4124813  756971768
logstash-2020.06.20      4573283  848085505
logstash-2020.05.31      4333363  810175019
logstash-2020.06.21      4712048  911450929
logstash-2020.06.22      8441356 1736003983
logstash-2020.06.01      7360129 1455314526
logstash-2020.06.23      7631987 1559554324
logstash-2020.06.24      7300718 1506134380
logstash-2020.06.02      7344418 1484297643
logstash-2020.06.25      8409242 1747862513
logstash-2020.06.03      4424701  860877705

ต้องการเรียงลำดับ ใช้ qrs ‘s=’ และ สามารถกำกับ ‘:desc’, ‘:asc’

GET /_cat/indices?h=idx,dc,ss&bytes=b&s=ss:desc&v

ลบ INDEX

DELETE /kx01

DOCUMENTS

Document เป็น JSON ที่มีรายละเอียดเกี่ยวกับการสร้างขึ้นมา เช่น _id, _version และ _source ซึ่ง source หรือ (stored fields)

create / update if exist

POST /kx01/_doc/1
{
  "name": "kanakorn",
  "HN": "1746436"
}

โดยใน Index เดียวกับ เก็บ Document คนละ Schema กันก็ได้

POST /kx01/_doc/2
{
  "HR": "100",
  "RR": "88",
  "age": 10
}

Check if exist

HEAD /kx01/_doc/1/

Response

200 - OK

get a source (stored fields)

GET /kx01/_doc/1/

Response

{
  "_index" : "kx01",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "name" : "kanakorn",
    "HN" : "1234567"
  }
}

get only document value

GET /kx01/_source/1/

Response

{
  "name" : "kanakorn",
  "HN" : "1234567"
}

อื่น ๆ

Source filtering
- source_include
- source_exclude

August 1, 2020

ELK #5 การประยุกต์ใช้ ELK ในงานด้าน GIS

kanakorn.h

August 31, 2017
คราวนี้ มาดูการประยุกต์ใช้ ELK ในงานด้าน GIS

ต่อจาก ELK #01 > ELK #02 > ELK #03 > ELK #04 ซึ่งเป็นการติดตั้งทั้งหมด คราวนี้มาดูการประยุกต์ใช้งานกันบ้าง

โจทย์มีอยู่ว่า มีการไปเก็บข้อมูลในภาคสนาม แล้วมีการบันทึก พิกัดด้วย GPS เป็น Latitude กับ Longitude พร้อมกับค่าบางอย่าง ทั้งหมดถูกเก็บไว้ในฐานข้อมูล MySQL

การนำข้อมูลเข้า ELK ก็เลย Export ข้อมูลจาก MySQL มาเป็น CSV File ประกอบด้วย
```
id,LATITUDE,LONGITUDE,something
```
ตัวอย่างข้อมูล มีดังนี้
```
id,LATITUDE,LONGITUDE,something
1,6.97585,100.448963,100
2,6.975627,100.450841,19
3,6.973472,100.449196,65
4,6.973468,100.449104,53
5,6.973455,100.449135,33
6,6.973252,100.44888,13
7,6.985862,100.45292,85
8,6.993386,100.416214,90
9,7.005465,100.447984,1
```
นำข้อมูลเข้า ELK ผ่านทาง Logstash

ใน ELK #2 ได้อธิบายขั้นตอนการติดตั้ง Logstash ไว้แล้วนั้น ต่อไปเป็นการนำข้อมูลชนิด CSV เข้าไปใส่ใน Elasticsearch

Logstash จะอ่าน “กระบวนการทำงาน” หรือเรียกว่า Pipeline จากไฟล์ Configuration ซึ่งประกอบด้วย 3 ส่วนหลักๆ คือ Input, Filter และ Output
```
input {
   stdin { }
}
```
ในส่วน input นี้ จะเป็นการอ่าน STDIN หรือ ทาง Terminal
```
filter {
 csv {
   separator => ","
   columns => [
     "id","latitude","longitude","something"
   ]
 }
 if [id] == "id" {
   drop { }
 } else {
   # continue processing data
   mutate {
     remove_field => [ "message" ]
   }
   mutate {
     convert => { "something" => "integer" }
     convert => { "longitude" => "float" }
     convert => { "latitude" => "float" }
   }
   mutate {
     rename => {
       "longitude" => "[geoip][location][lon]"
       "latitude" => "[geoip][location][lat]"
     }
   }
 }
}
```
ในส่วนของ filter นี้ เริ่มจาก เลือกใช้ Filter Plugin ชื่อ “csv” เพื่อจัดการไฟล์ CSV โดยกำหนด “separator” เป็น “,” แล้วกำหนดว่ามีชื่อ Column เป็น “id”,”latitude”,”longitude”,”something”

จากนั้น ก็ตรวจสอบว่า ถ้าข้อมูลที่อ่านเข้ามา ใน Column “id” มีค่าเป็น “id” (ซึ่งก็คือบรรทัดหัวตารางของไฟล์ csv นั่นเอง) ก้ให้ “drop” ไป

แต่หากไม่ใช่ ก็ให้ทำดังนี้ (mutate คือการแก้ไข)
- remove field ชื่อ message (ซึ่งจะปรากฏเป็น Default อยู่ ก็เลยเอาออกเพราะไม่จำเป็น)
- convert หรือ เปลี่ยน “ชนิด” ของแต่ละ field เป็นไปตามที่ต้องการ ได้แก่ ให้ something เป็น Integer, latitude และ longitude เป็น float
- rename จาก latitude เป็น [geoip][location][lat] และ longitude เป็น [geoip][location][lon] ซึ่งตรงนี้สำคัญ เพราะ geoip.location Field ข้อมูลชนิก “geo_point” ซึ่งจำเป็นต่อการนำไปใช้งานเกำหนดตำแหน่งพิกัดบนแผนที่ (เป็น Field ที่สร้างจาก Template พื้นฐานของ Logstash ซึ่งจะไม่กล่าวถึงในบทความนี้)
```
output {
 stdout { codec => rubydebug }
 elasticsearch {
   hosts => ["http://your.elastic.host:9200"]
 }
}
```
ในส่วนของ Output จะกำหนดว่า ข้อมูลที่อ่านจาก csv และผ่าน filter ตามที่กล่าวมาข้างต้น จะส่งไปที่ใน จากการกำหนดนี้ บอกว่า จะส่งออกไป
- stdout คือ การแสดงผลออกมาทาง terminal โดยมีรูปแบบเป็น rubydebug (รูปแบบหนึ่ง)
- Elasticsearch ซึ่งอยู่ที่ http://your.elastic.host:9200
จากนั้น Save ไฟล์นี้ แล้วตั้งชื่อว่า gis.conf

แล้วใช้คำสั่ง
```
cat sample1.csv | /usr/share/logstash/bin/logstash -f gis.conf
```
การแสดงผลข้อมูลใน Elasticsearch ผ่าน Kibana

จากบทความก่อนหน้า ได้แสดงวิธีการติดตั้ง Kibana และเชื่อมต่อกับ Elasticsearch แล้ว โดยจะเข้าถึง Kibana ได้ทางเว็บไซต์ http://your.kibana.host:5601

ในกระบวนการของ Logstash ข้างต้น จะไปสร้าง Elasticsearch Index ชื่อ “logstash-YYYY-MM-DD”, ใน Kibana ก็จะต้องไป คลิกที่ Setting (รูปเฟือง) จากนั้นคลิกที่ Index Pattern โดยให้ไปอ่าน index ซึ่งมีชื่อเป็น Pattern คือ “logstash-*” จากนั้น คลิกปุ่ม Create

จะได้ผลประมาณนี้

ต่อไป คลิกที่ Discover ก็จะเห็นข้อมูลเข้ามา

แสดงข้อมูลในรูปแบบของ Tile Map

คลิกที่ Visualization > Create a visualization

เลือก Tile Map

เลือก Index ที่ต้องการ ในที่นี้คือ logstash-*

คลิก Geo Coordinates

จากนั้น คลิก Apply แล้วคลิก Fit Data Bound

ก็จะได้เฉพาะ พื้นที่ทีมีข้อมุล

วิธีใส่ Map Server อื่น

ปัญหาของ Defaul Map Service ที่มากับ Kibana คือ Elastic Map Service นั้น จะจำกัดระดับในการ Zoom จึงต้องหา WMS (Web Map Service) อื่นมาใช้แทน ต้องขอบคุณ คุณนพัส กังวานตระกูล สถานวิจัยสารสนเทศภูมิศาสตร์ทรัพยากรธรรมชาติและสิ่งแวดล้อม ศูนย์ภูมิภาคเทคโนโลยีอวกาศและภูมิสารสนเทศ (ภาคใต้) สำหรับคำแนะนำในการใช้งาน WMS และระบบ GIS ตลอดมาครับ 🙂

โดย เราจะใช้ WMS ของ Longdo Map API : http://api.longdo.com/map/doc/
ข้อมูลการใช้งาน เอามาจาก http://api.longdo.com/map/doc/demo/advance/02-layer.php

วิธีการตั้งค่าใน Kibana

คลิกที่ Option > WMS compliant map server
แล้วกรอกข้อมูล

URL : https://ms.longdo.com/mapproxy/service
Layer: bluemarble_terrain
Version: 1.3.0
Format: image/png
Attribute: Longdo API

จากนั้นคลิก Apply

จากนั้นให้ Save พร้อมตั้งชื่อ

ซึ่ง Longdo Map API สามารถ Zoom ได้ละเอียดพอสมควร

สามารถนำเสนอระบบ GIS ได้บน Website ทันที

หวังว่าจะเป็นประโยชน์ครับ
August 31, 2017

Tag: elasticsearch

[กันลืม] Elasticsearch API พื้นฐาน

INDEX

DOCUMENTS

ELK #5 การประยุกต์ใช้ ELK ในงานด้าน GIS

คราวนี้ มาดูการประยุกต์ใช้ ELK ในงานด้าน GIS

นำข้อมูลเข้า ELK ผ่านทาง Logstash

การแสดงผลข้อมูลใน Elasticsearch ผ่าน Kibana

แสดงข้อมูลในรูปแบบของ Tile Map

วิธีใส่ Map Server อื่น

สามารถนำเสนอระบบ GIS ได้บน Website ทันที