Logstash Output OpenSearch 插件使用教程

Logstash Output OpenSearch 插件使用教程

1. 项目的目录结构及介绍

Logstash Output OpenSearch 插件的目录结构如下：

logstash-output-opensearch/
├── Rakefile
├── SECURITY.md
├── build.sh
├── logstash-output-opensearch.gemspec
├── README.md
└── lib
    └── logstash
        └── outputs
            └── opensearch.rb

• Rakefile: 用于构建和测试任务的 Rake 文件。
• SECURITY.md: 项目的安全相关信息。
• build.sh: 构建脚本。
• logstash-output-opensearch.gemspec: 插件的 gem 规范文件。
• README.md: 项目的说明文档。
• lib/logstash/outputs/opensearch.rb: 插件的主要实现文件。

2. 项目的启动文件介绍

项目的启动文件主要是 lib/logstash/outputs/opensearch.rb。这个文件包含了插件的主要逻辑，负责将 Logstash 中的事件数据发送到 OpenSearch 集群并存储为索引。

3. 项目的配置文件介绍

要运行 Logstash Output OpenSearch 插件，需要在 Logstash 的配置文件中添加以下配置：

output {
  opensearch {
    hosts => ["hostname:port"]
    user => "admin"
    password => "<your-admin-password>"
    index => "logstash-logs-%{+YYYY.MM.dd}"
  }
}

如果使用 aws_iam 认证，配置如下：

output {
  opensearch {
    hosts => ["hostname:port"]
    auth_type => [ type => 'aws_iam', aws_access_key_id => 'ACCESS_KEY', aws_secret_access_key => 'SECRET_KEY' ]
    index => "logstash-logs-%{+YYYY.MM.dd}"
  }
}

对于 Logstash 运行在 OpenSearch 2.12.0 及以上版本，管理员密码需要是一个在集群设置期间提供的自定义强密码。