生成AI時代に問われる「検索」の役割
Elastic社が創業したのは2012年。この10年間を振り返ると、GitHubのスター数10万3000以上、ダウンロード数420万以上、貢献社数3500以上、プルリクエスト18万3000以上、コミット14万8000以上、Elastic Cloud（Elastic社が提供するマネージドサービス）が1日で処理する検索リクエスト数60億以上となっており、検索を通じてデータ活用に新たな可能性を生み出すとともに、多くのユーザーに貢献してきたことがわかる。
当初は、創業者が妻のためにレシピ検索アプリを作ろうと、オープンソースの検索エンジンライブラリであるApache Luceneをベースに構築されたElasticsearchは、「無料かつオープン」を志向しながら、ログ監視・アプリケーションパフォーマンス監視・インフラ監視・シンセティック監視・リアルユーザー監視など、さまざまな機能を追加しながら進化を続けている。
ところが2023年、センセーショナルな事件が起きる。「検索」の世界しか知らなかった私たち恐竜のもとに、突如、「生成AI」という隕石が落ちてきたのだ。かつての歴史がそうであったように、隕石の衝突がもたらす環境の変化によって、私たち恐竜は滅びる運命を受け入れるしかないのか——。
賢明な開発者たちは、新たな環境に適合すべく、生成AIをどう組み込めば良いのか、さまざまな実験を始めた。そこで浮き彫りになった課題が以下のようなものである。
- ハルシネーション、誤回答……嘘の情報をあたかも本当かのように返答してくる。
- 複雑な技術スタック……生成AIを組み込むには、いろいろな場所をAPIでつなぐなどしているうちに、構成が複雑になってしまう。
- プライベートデータへのリアルタイムなアクセス……生成AIは汎用的なデータを学習しているため、最新の情報や業界特有の専門知識などが不足している。
なかでも最も大きいのが、「プライベートデータへのリアルタイムなアクセス」だろう。この問題を解決するには、「ファインチューニング」と「RAG（Retrieval-Augmented Generation：検索機能拡張生成）」の2つの手法があるが、ファインチューニングには相当な時間やお金のコストがかかってしまう。
「だからこそ、すでに実績のある検索を活用した『RAG』を活用すべきであり、『検索は今まで以上に重要になっている』と言えるのだ」と杉本氏は強調する。
「検索は生成AIに駆逐されるのではないかと思われるかもしれないが、まったくそんなことはない。Elasticはこれまで培った検索技術を用いて、プライベートなデータと生成AIの橋渡し役を担っていく」（杉本氏）
