elasticsearch は、全文検索・解析サーバの OSS です。
私は、社内にある自身の開発環境で、LogstashとKibanaを使い、アプリサーバのログ検索に使っていたことがあります。
(メモリ容量が厳しく、現在は停止していますが。。。aha。。。)
手軽に全文検索が実行できて、嬉しいですね。
先月、AWS で"Amazon Elastic Service"が利用可能となったようですが、クラスターやノードの管理が楽になるのでしょうか？気になるところです。
勉強会の感想を書く前に、、、Honza Král さん、Takuya Noguchi さん、谷本 心さん、興味深い発表ありがとうございます！
また、内容モリモリな LT をしていただいた、株式会社はてな id:takuya-a さん、ありがとうございます！
毎度司会を務めていただいている @johtani さん、高速英語をリアルタイム翻訳していただいた @yusuke さんに大感謝でっす！
というわけで、講演の内容メモと感想でございます。間違っている可能性がありますが、その点はご容赦願います。
- Beyond the basics with Elasticsearch
- Percolator (濾過器) を使うと、クエリにヒットするドキュメントが登録された際、クエリを通知することが可能になるので、トリガーやアラートの仕組みとして使えそうですね。
- RDBMS よりも、関連性の検索に優れているようです。Function Score。
- Aggregation を応用すると、レコメンデーションもできます。
- Sampler Aggregation というes2.0の新機能。集計対象を小さくすることで、早くすることが可能。という仕組みのようです。
- How did we use Found.no for our services?
- Found という、elasticsearch のホスティングサービスを使ってみた事例の発表でした。
- AWS のサービスとどの点が違うのか、気になるところです。
- ログ収集の仕組みを再考しよう！ あとマウンテンビューに行ってきました。
- ログですが、アプリからストリーミングハブへ渡し、そこからElasticsearchへ、というような流れが理想的ですね。たしかにー。
- elastic 社の次なる戦略 (自分メモを要約しただけですので、誤記があるかもしれません。)
- API
- Task management API
- Reindex API
- Logstash 自体で、情報を保持するようにする流れみたい。入り切らなければ、データキューに入る、と。
- Clustering
- Persistent
- Kibana
- Custom Apps / plugins
- Beats
- Packetbeat
- Filebeat
- Topbeat
- Beats シリーズは、Go で書かれているようですね。
- Commercial plugin
- Cross-stack monitoring / management
- Cross-stack security
- PDF reporting
- Orchestration / Automation
- API
- Elasticsearch を使った単語共起頻度の計算
- kuromoji.js を作った方ですか！
- タグやカテゴリーと共起する単語をカウントする。ふむふむ。
- ナイーブベイズは、転置インデックスと相性が良いみたいです。
- Terms Aggregation や Filtered Query や Function Score Query 、Term Vectors API など、いろいろ使われているようです。
- query 中で、Groovy スクリプトが書ける。最高。だそうです！
- 共起頻度などのインデックス情報から、さまざまな確率が研鑽できるとのことです。
朝晩の冷え込みが厳しくなってきましたが、健康管理に気をつけてください！
Enjoy!
