2019-04-19
Logstashメモ
Logstashについての調査メモ。
これは何？
以下を目的とするサーバーサイド用ソフトウェア
- データの一元化
- 変換
- 保管
Elastic社中心に開発されているELKスタック（Elastic, Logstash, Kibana）のひとつ。
プラグインシステム
以下、それぞれのデータ処理ポイントをプラグインで変更可能。 プラグインはRubyで記述する。
- Input
- Filter
- Output
ログを読み込み、変換を行い、ログを送信するという、ログ転送処理の典型的な3ステップがフレームワーク化されている。
ユースケース
何かからログを集めて、何かへ保存するとき。 stashとは「蓄える」という意味なので、Logstashそのもの。
MQ技術との違い
Apache Kafka/Apache Pulsarなどもログ転送を得意としている。しかし、Logstashはそれらとは 全く異なる技術である。
MQは独自のプロトコルを持つが、Logstashはプラグインによるプロトコル変換が可能。 担当領域がMQとは異なり、例えばファイルとMQなど、ことなるデータストアをつなぐのに利用する。
所感
Rubyが必要というのが痛い。スキルセット的にGoかJavaを使いたいところ。 有り物のプラグインだけで行ける場合は、非常に便利だが、独自の転送要件があり、各種プラグインの独自開発を強いられる場合には却って開発コストが嵩むかもしれない。
疑問
Fluentdとの違いは何か。