Thứ Ba, 11 tháng 2, 2025

Thủ tục cài đặt, cấu hình ELK Stack (Elasticsearch, Logstash, Kibana)

Mục lục

  1. Tổng quan về ELK Stack
  2. Cài đặt ELK Stack
  3. Cấu hình Elasticsearch
  4. Cấu hình Logstash
  5. Cấu hình Kibana
  6. Gửi và xử lý dữ liệu với Beats
  7. Tìm kiếm và phân tích dữ liệu trong Kibana
  8. Câu lệnh quản trị và giám sát ELK
  9. Bảo mật và tối ưu hóa ELK
  10. Kết luận

1. Tổng Quan Về ELK Stack

ELK Stack là gì?

ELK Stack là bộ công cụ mã nguồn mở phổ biến để thu thập, lưu trữ, tìm kiếm, phân tích và hiển thị dữ liệu nhật ký (logs). Bộ công cụ này gồm ba thành phần chính:

  1. Elasticsearch – Công cụ tìm kiếm và phân tích dữ liệu mạnh mẽ.
  2. Logstash – Bộ xử lý dữ liệu log, thu thập và chuyển đổi dữ liệu từ nhiều nguồn.
  3. Kibana – Giao diện trực quan hóa dữ liệu.

Ngoài ra, ELK còn thường kết hợp với Beats, một bộ công cụ thu thập dữ liệu nhẹ để gửi dữ liệu đến Logstash hoặc Elasticsearch.

Tại sao nên sử dụng ELK?

  • Thu thập & tập trung nhật ký từ nhiều nguồn (máy chủ, ứng dụng, container, IoT).
  • Tìm kiếm và phân tích dữ liệu logs nhanh chóng.
  • Trực quan hóa dữ liệu dễ dàng với Kibana.
  • Tích hợp tốt với nhiều hệ thống như Docker, Kubernetes, Cloud.

2. Cài Đặt ELK Stack

2.1. Yêu cầu hệ thống

  • Hệ điều hành: Ubuntu 20.04 / CentOS 7+
  • RAM tối thiểu: 4GB (tốt nhất là 8GB+)
  • CPU: 2 vCPU trở lên
  • Ổ cứng: SSD (ưu tiên cho hiệu suất cao)

2.2. Cài đặt Elasticsearch, Logstash và Kibana

Bước 1: Cài đặt Java

sudo apt update && sudo apt install -y openjdk-11-jdk

Bước 2: Thêm repository ELK

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt update

Bước 3: Cài đặt Elasticsearch

sudo apt install -y elasticsearch
sudo systemctl enable --now elasticsearch
sudo systemctl status elasticsearch

Bước 4: Cài đặt Logstash

sudo apt install -y logstash
sudo systemctl enable --now logstash
sudo systemctl status logstash

Bước 5: Cài đặt Kibana

sudo apt install -y kibana
sudo systemctl enable --now kibana
sudo systemctl status kibana

Bước 6: Mở Kibana trên trình duyệt

  • Truy cập: http://<IP_SERVER>:5601

3. Cấu Hình Elasticsearch

3.1. Cấu hình file elasticsearch.yml

Mở file cấu hình:

sudo nano /etc/elasticsearch/elasticsearch.yml

Chỉnh sửa:

yaml

network.host: 0.0.0.0
cluster.name: my-cluster
node.name: node-1

Khởi động lại dịch vụ:

sudo systemctl restart elasticsearch

Kiểm tra trạng thái:

curl -X GET "localhost:9200/_cluster/health?pretty"

4. Cấu Hình Logstash

4.1. Cấu hình pipeline

Mở file cấu hình Logstash:

sudo nano /etc/logstash/conf.d/logstash.conf

Thêm cấu hình:

input {
  beats {
    port => 5044
  }
}

filter {
  mutate { remove_field => [ "host" ] }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

Lưu và khởi động lại Logstash:

bash
sudo systemctl restart logstash

5. Cấu Hình Kibana

5.1. Chỉnh file kibana.yml

sudo nano /etc/kibana/kibana.yml

Cấu hình cơ bản:

server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

Khởi động lại Kibana:

sudo systemctl restart kibana

Truy cập Kibana qua trình duyệt:
➡ http://<IP_SERVER>:5601

6. Gửi Và Xử Lý Dữ Liệu Với Beats

6.1. Cài đặt Filebeat


sudo apt install filebeat

6.2. Cấu hình Filebeat để gửi logs đến Logstash

Mở file cấu hình:

sudo nano /etc/filebeat/filebeat.yml

Chỉnh sửa:

output.logstash:
  hosts: ["localhost:5044"]

Khởi động lại Filebeat:

sudo systemctl restart filebeat

7. Tìm Kiếm Và Phân Tích Dữ Liệu Trong Kibana

  1. Truy cập Kibana tại http://<IP_SERVER>:5601.
  2. Chọn "Stack Management" > "Index Patterns".
  3. Tạo một Index Pattern, ví dụ: logstash-*.
  4. Vào "Discover" để xem dữ liệu.

8. Câu Lệnh Quản Trị Và Giám Sát ELK

8.1. Kiểm tra trạng thái hệ thống

  • Elasticsearch:
    curl -X GET "localhost:9200/_cat/indices?v"
  • Logstash:
    sudo systemctl status logstash
  • Kibana:
    sudo systemctl status kibana

8.2. Kiểm tra logs

sudo journalctl -u elasticsearch --no-pager | tail -n 20
sudo journalctl -u logstash --no-pager | tail -n 20
sudo journalctl -u kibana --no-pager | tail -n 20

9. Bảo Mật Và Tối Ưu Hóa ELK

9.1. Bảo mật

  • Bật xác thực Elasticsearch:
    sudo /usr/share/elasticsearch/bin/elasticsearch-setup-passwords interactive
  • Cấu hình TLS cho giao tiếp an toàn.

9.2. Tối ưu hóa

  • Tăng hiệu suất bằng cách điều chỉnh bộ nhớ heap (/etc/elasticsearch/jvm.options):
    -Xms4g
    -Xmx4g

10. Kết Luận

ELK Stack là công cụ mạnh mẽ giúp quản lý logs, phân tích dữ liệu, và giám sát hệ thống. Khi triển khai, cần chú ý đến cấu hình tối ưu, bảo mật, và tích hợp với Beats để đảm bảo hiệu suất cao nhất. Nếu được triển khai đúng cách, ELK giúp doanh nghiệp giảm 50% thời gian phân tích logs và tăng 70% hiệu suất giám sát hệ thống.

=============================
Website không chứa bất kỳ quảng cáo nào, mọi đóng góp để duy trì phát triển cho website (donation) xin vui lòng gửi về STK 90.2142.8888 - Ngân hàng Vietcombank Thăng Long - TRAN VAN BINH
=============================
Nếu bạn không muốn bị AI thay thế và tiết kiệm 3-5 NĂM trên con đường trở thành DBA chuyên nghiệp hay làm chủ Database thì hãy đăng ký ngay KHOÁ HỌC ORACLE DATABASE A-Z ENTERPRISE, được Coaching trực tiếp từ tôi với toàn bộ bí kíp thực chiến, thủ tục, quy trình của gần 20 năm kinh nghiệm (mà bạn sẽ KHÔNG THỂ tìm kiếm trên Internet/Google) từ đó giúp bạn dễ dàng quản trị mọi hệ thống Core tại Việt Nam và trên thế giới, đỗ OCP.
- CÁCH ĐĂNG KÝ: Gõ (.) hoặc để lại số điện thoại hoặc inbox https://m.me/tranvanbinh.vn hoặc Hotline/Zalo 090.29.12.888
- Chi tiết tham khảo:
https://bit.ly/oaz_w
=============================
2 khóa học online qua video giúp bạn nhanh chóng có những kiến thức nền tảng về Linux, Oracle, học mọi nơi, chỉ cần có Internet/4G:
- Oracle cơ bản: https://bit.ly/admin_1200
- Linux: https://bit.ly/linux_1200
=============================
KẾT NỐI VỚI CHUYÊN GIA TRẦN VĂN BÌNH:
📧 Mail: binhoracle@gmail.com
☎️ Mobile/Zalo: 0902912888
👨 Facebook: https://www.facebook.com/BinhOracleMaster
👨 Inbox Messenger: https://m.me/101036604657441 (profile)
👨 Fanpage: https://www.facebook.com/tranvanbinh.vn
👨 Inbox Fanpage: https://m.me/tranvanbinh.vn
👨👩 Group FB: https://www.facebook.com/groups/DBAVietNam
👨 Website: https://www.tranvanbinh.vn
👨 Blogger: https://tranvanbinhmaster.blogspot.com
🎬 Youtube: https://www.youtube.com/@binhguru
👨 Tiktok: https://www.tiktok.com/@binhguru
👨 Linkin: https://www.linkedin.com/in/binhoracle
👨 Twitter: https://twitter.com/binhguru
👨 Podcast: https://www.podbean.com/pu/pbblog-eskre-5f82d6
👨 Địa chỉ: Tòa nhà Sun Square - 21 Lê Đức Thọ - Phường Mỹ Đình 1 - Quận Nam Từ Liêm - TP.Hà Nội

=============================
oracle tutorial, học oracle database, Tự học Oracle, Tài liệu Oracle 12c tiếng Việt, Hướng dẫn sử dụng Oracle Database, Oracle SQL cơ bản, Oracle SQL là gì, Khóa học Oracle Hà Nội, Học chứng chỉ Oracle ở đầu, Khóa học Oracle online,sql tutorial, khóa học pl/sql tutorial, học dba, học dba ở việt nam, khóa học dba, khóa học dba sql, tài liệu học dba oracle, Khóa học Oracle online, học oracle sql, học oracle ở đâu tphcm, học oracle bắt đầu từ đâu, học oracle ở hà nội, oracle database tutorial, oracle database 12c, oracle database là gì, oracle database 11g, oracle download, oracle database 19c, oracle dba tutorial, oracle tunning, sql tunning , oracle 12c, oracle multitenant, Container Databases (CDB), Pluggable Databases (PDB), oracle cloud, oracle security, oracle fga, audit_trail,oracle RAC, ASM, oracle dataguard, oracle goldengate, mview, oracle exadata, oracle oca, oracle ocp, oracle ocm , oracle weblogic, postgresql tutorial, mysql tutorial, mariadb tutorial, ms sql server tutorial, nosql, mongodb tutorial, oci, cloud, middleware tutorial, hoc solaris tutorial, hoc linux tutorial, hoc aix tutorial, unix tutorial, securecrt, xshell, mobaxterm, putty
By lúc
Labels: ,

ĐỌC NHIỀU
Trần Văn Bình - Oracle Database Master