跳到主要內容

Elasticsearch


Elasticsearch Install

Dockerfile


FROM elastic/elasticsearch:7.2.0


Build Image Shell Script


docker build -t myelasticsearch .


Prepare yours ES config



copy elasticsearch.yml jvm.options log4j2.properties to /es/conf/path


Docker start Shell Script


# 由於沒有安全保護,因此設計上希望 ES 不對外,使用 --network 串在已建立的 docker network 中

docker run -it -d --name myelasticsearch --restart=unless-stopped --network=my-dev_mydemonet -v /es/conf/path:/usr/share/elasticsearch/config -v /es/data/path:/usr/share/elasticsearch/data -v /es/plugin/path:/usr/share/elasticsearch/plugins  -e "discovery.type=single-node" -p 9300:9300 -p 9200:9200 myelasticsearch


安裝中文分詞
參考來源


docker exec -it myelasticsearch sh elasticsearch-plugin install analysis-smartcn


補充


定時刪除Index Shell Script
由於架構中 ES 屬於 短期、快速 查詢使用,僅保留七日的紀錄,因此需準備一組 Script 每日清理過期 Index
可以使用任何排程工具執行以下 Script



idx_date=$(date +%Y.%m.%d -d "$DATE - 7 day")
echo "curl -XDELETE http://localhost:9200/fluentd.nginx.web.access-${idx_date}"
curl -XDELETE http://localhost:9200/fluentd.nginx.web.access-${idx_date}


ES 基礎指令
CRUD 交由程式處理



# 查詢 ES Index List
$>curl http://localhost:9200/_cat/indices?v

# 刪除 ES Index
$>curl -XDELETE http://localhost:9200/${index name}

# 新增 ES Index
$>curl -XPUT http://localhost:9200/${index name}



留言

這個網誌中的熱門文章

在 GCP 新增 VM 執行個體的儲存空間

GCP 文件連結 建立 GCP VM instance 時,預設磁碟空間為10GB,可在建立時自行調整, 也可另外新增永久磁碟供VM 掛載使用 在建立永久磁區前,請先參考  儲存空間儲存空間的類型及效能 地區與區域的區別為: 地區 是 區域 的集合 並且參考其  磁碟定價 來做為你要新增儲存空間的依據 以下以新增區域永久磁碟做說明 1. 增加新磁碟 前往 VM 執行個體   頁面 VM 執行個體詳細資料 點擊 編輯 在磁碟標籤標籤下 點擊 增加新磁碟 指定名稱、類型、來源 等屬性後 點擊儲存 2. 格式化和掛接新磁碟 //在終端機中,使用 lsblk 指令列出連接到執行個體的磁碟,並搜尋您要格式化和掛接的磁碟 sudo lsblk //格式化磁碟 以下用 sdb 取代 [DEVICE_ID] sudo mkfs.ext4 -m 0 -F -E lazy_itable_init=0,lazy_journal_init=0,discard /dev/[DEVICE_ID] //建立做為新磁碟掛接點的目錄 以下用 extra 取代 [MNT_DIR] sudo mkdir -p /mnt/disks/[MNT_DIR] //使用掛接工具,將磁碟掛接到已啟用 discard 選項的執行個體 sudo mount -o discard,defaults /dev/[DEVICE_ID] /mnt/disks/[MNT_DIR] //設定裝置上的讀取與寫入權限。在此範例中,授予所有使用者對裝置的寫入存取權 sudo chmod a+w /mnt/disks/[MNT_DIR] //可用單一指令完成此步驟。舉例來說,下列指令會在 /etc/fstab 中建立項目,以永久磁碟的 UUID 將 /dev/sdb 永久磁碟掛接到 /mnt/disks/[MNT_DIR] echo UUID=`sudo blkid -s UUID -o value /dev/[DEVICE_ID]` /mnt/disks/[MNT_DIR] ext4 discard,defaults,nofail 0 2 | sudo tee -a /etc/fstab 補充 將 Docker 遷移至新磁碟 參考來源 //編

DotNet Core 專案部署腳本

DotNet core SDK 首先在 Server 上準備編譯環境 Dockerfile #2.2 3.0 3.1 FROM mcr.microsoft.com/dotnet/core/sdk:3.1 RUN mkdir /web WORKDIR /web build docker image shell script docker build -t dotnetcoresdk:3.1 . start docker container shell script docker run -it -d \ --name dotnet-core-sdk-3.1 \ -v /opt/web:/web \ dotnetcoresdk:3.1 Jenkins Execute shell script on remote hosting using ssh #切換至專案目錄 cd /opt/web/project/path #取得最新版本 git pull #切換至專案目錄 && 刷新 Dotnet Library docker exec -i dotnet-core-sdk-3.1 bash -c "cd project/path && dotnet restore" #切換至專案目錄 && 刪除上一次編譯的檔案 && 編譯 docker exec -i dotnet-core-sdk-3.1 bash -c "cd project/path && rm -rf bin/Release && dotnet publish -c Release" #docker-compose.yml 參 DotNet core Runtime Section #!--rmi all 將原本執行的容器關閉並移除Image docker-compose down --rmi all #將新版程式包入 Image 並開始容器 docker-compose up -d DotNet core Runtime 專案中包含 Dockerfile & docker-compose.yml d

FluentD 實作 Nginx Access Log 補充

FluentD 實作 Nginx Access Log 補充 前一篇針對 FluentD 安裝 及 Nginx Access log format 設定提供範例 本篇補充 1. 將 access_log 存入 MySQL 2. 針對Input 加工,ex 解析 Path 拆成不同欄位,在傳入 Output 延伸閱讀 FluentD 參數說明 FluentD 實作 Nginx Access Log 將 access_log 存入 MySQL <worker 0> <source> ... 略 </source> <match nginx.web.access> @type copy ... 略 <store> @type sql host ${MySQL Host address} port ${MySQL Port} adapter mysql2 database ${MySQL Database} username ${MySQL User Name} password ${MySQL Password} <table> table ${MySQL table} column_mapping 'logtime:logtime,method:method,path:path,code:code,size:size,resptime:resptime,token:token,path_url:path_url,timestamp:created_at' </table> </store> </match> </worker> 針對Input 加工,ex 解析 Path 拆成不同欄位,在傳入 Output 情境: 以下 access log 範例,需要針對 Query Parameter 拆解並存入新欄位,以利分析. [27/Dec/2019:07:14:10