最近、社内向けAI環境を作る中で、少しずつ「回答品質」の部分も気になってきた。
最初は、
「チャットできればいい」
くらいの感覚だった。
でも、実際に資料を読み込ませたり、業務っぽい質問を投げたりすると、単純な検索だけでは少し物足りない場面が出てくる。
そこで今回は、RAG部分の改善としてRerankerを試してみることにした。
正直、この辺はまだ自分も詳しいわけではない。
AI構築について調べながら、必要そうなものを試している状態。
だから今回も「入れたら良くなるんじゃないか？」くらいの軽い気持ちで始めた。
結果的には、いつものように試してから考える流れになった。
XServer VPS 24GBにAI環境を寄せて検証中
現在の検証環境は、以前の記事でも書いた通り、XServer VPSのビジネスプラン24GBへAI関連をまとめている。
実際にこの構成を検証している環境は、XServer VPS上に作っている。
前回の記事でも書いたが、最初は全部載せがメモリ的に厳しいのではないかと思っていた。
ただ、運用を考えると1台にまとめたほうが楽。
バックアップも検証環境ならそこまで神経質にならなくていい。
「壊れたら作り直す」
くらいの気持ちで触れるのが、今の自分には合っている。
今回試したかったのは、その中のRAG部分。
Difyで資料を読み込ませて、ベクトル化。
そこにRerankerを追加して、回答精度がどう変わるかを見ることにした。
最初は設定を深く考えず入れてみた
今回の流れとしては、
・n8nでAIエージェントのベースを作成
・Dify側で資料を登録
・RAG検索を設定
・Rerankerを有効化
という感じ。
Dify側の設定も、正直そこまで細かく調整していない。
チャンクサイズは最大500。
RerankerはON。
TopKは8くらい。
「とりあえず動かしてみよう」
という感じだった。
こういうところ、AI系はまだ手探り感が強い。
昔のサーバ構築なら、設定値の意味がある程度分かっていた。
でもAI周りは、
「この数字を変えるとどうなるんだ？」
という状態から始まることが多い。
最初は40秒近く待つ状態になった
実際に質問してみると、かなり遅かった。
回答まで40秒くらい。
最初は、
「LLMをルーター役として挟んでいるからかな？」
と思った。
今回作っているAIエージェントは、質問内容によって処理を分けるような形にしている。
なので、
「n8nの処理が重いのか」
「LLMの判断部分が遅いのか」
を疑った。
でも調べていくと、どうやらReranker部分もかなり影響しているようだった。
そこで一度、RerankerをOFFにして試してみた。
Rerankerを切ったら10秒程度まで改善
結果としては、かなり変わった。
Reranker OFF。
これだけで応答時間が10秒程度まで縮まった。
もちろん質問内容や処理内容によって変わるが、体感では明らかに違う。
「あれ？原因ここだったのか」
という感じ。
今回もそうだったけど、AI環境って動かしてみないと分からないことが多い。
スペック表を見て、
「24GBあるから大丈夫」
と思っていても、実際にはどこの処理が負荷になるかはやってみないと分からない。
ただ、Rerankerを入れる意味も感じた
じゃあRerankerはいらないのか。
というと、そこも少し違った。
OFFにすると速い。
でもONにすると、短い質問でも少し意味を理解しているような回答になる。
例えば、質問文に直接キーワードが入っていなくても、
「たぶんこの資料のことを聞いているんだな」
という感じで拾ってくれる場面があった。
この辺は面白い。
速度だけを見るならOFF。
回答品質を見るならON。
という感じで、単純にどちらが正解という話ではなさそう。
まさかGPU推奨とは知らなかった
今回一番勉強になったのはここだった。
Rerankerについて調べていく中で、GPU推奨という話が出てきた。
正直、そこまで考えていなかった。
「24GBメモリのVPSなら何とかなるだろう」
くらいに思っていた。
でも、AI系はメモリだけではなく、計算処理部分も考えないといけない。
今まで普通のWebシステムやDBを触ってきた感覚とは少し違う。
CPUとメモリを増やせば解決、という世界ではないんだなと感じた。
今後は常時Rerankerではなく使い分ける予定
現時点では、Rerankerを常時ONにするかは迷っている。
全部の質問で必要なのか？
というところもある。
例えば単純なFAQなら不要かもしれない。
逆に、社内規程や複数資料を横断して答えさせたい場合は有効そう。
なので今考えているのは、
「必要なナレッジだけRerankerを使う」
という形。
まだ検証段階なので、ここは変わると思う。
AI構築は試して気づくことが多い
今回もそうだったけど、AI構築は事前に全部理解してから作るのが難しい。
Rerankerという言葉も知識としては見たことがあった。
でも、
「実際に入れたら40秒になった」
という経験をすると、一気に理解が進む。
最近のLLM自体は本当に賢くなったと思う。
n8nの構成も、自分で全部書くというより、相談しながら作っている部分がかなり多い。
昔なら何日も調べていたようなことが、かなり短時間で形になる。
ただ、最後の判断はまだ人間側が必要だと思う。
速さを取るのか。
品質を取るのか。
運用を楽にするのか。
この辺は現場によって変わる。
今はまだ、
「中小企業のひとり情シスが維持できるAI環境ってどこなのか」
を探している途中。
今回のReranker検証も、その一つの記録として残しておこうと思う。
