展示会を見に行くたび、結局「自分でどこまで作れるんだろう」と考えてしまう
最近、AI系の展示会とか導入事例を見るたびに、結局これ、自前でどこまで組めるんだろうと考えるようになってきた。
問い合わせ回答。
社内ナレッジ検索。
AIエージェント。
チャットUI。
見ていると、やっぱり便利そう。
ただ、ちゃんとしたサービスを導入しようとすると、普通に高い。
もちろん高い理由も分かる。
認証、監査ログ、アクセス制御、検索精度、運用保守。
その辺まで含めると、むしろ企業向けとしては妥当なんだと思う。
でも、ひとり情シス側からすると、まず最初に来るのって「試したい」なんですよね。
いきなり月額数十万は厳しい。
まずは小さく触って、社内で動かしてみたい。
最近また VPS を触り始めているのも、その流れだったりする。
今は OpenWebUI と n8n を別VPSで分けている
今は、
・OpenWebUI + Keycloak
・n8n
を別VPSで分けて動かしている。
OpenWebUI 側は Keycloak を通していて、さらに LINE WORKS を IDP にしているので、最低限の「社内システムっぽさ」は作れてきた。
以前書いた OpenWebUI + Keycloak 構成の記事も、その延長線上の話。
最初は「ChatGPTっぽい画面が作れたら十分かな」と思っていた。
でも、最近ちょっと変わってきた。
最近やりたくなってきたのは「その先」
単純なチャット画面だけでは、やっぱり業務にはなりきらない。
最近は、
・問い合わせ回答
・RAG（社内文書検索）
・簡易エージェント
・ワークフロー制御
この辺まで含めて、どこまで1台で成立するのかを見たくなってきた。
今ぼんやり考えている構成はこんな感じ。
・フロント：OpenWebUI
・LLM：OpenAI API
・SSO：Keycloak（LINE WORKS連携）
・RAG：Qdrant
・パーサー：Unstructured
・順位付け：Qwen3-Reranker-0.6B
・制御：n8n
これを XServer VPS のビジネスプラン 24GB に集約するか迷っている。
今検証環境で使っているのも XServer VPS なので、その延長線上で考えている感じ。
正直、「いけそう」と「無理そう」が半々くらい
たぶん OpenAI API を使う時点で、ローカルLLMほどの重さにはならない。
だから GPU 問題はそこまで気にしていない。
ただ、怖いのは RAG 周辺。
特に Unstructured と reranker。
この辺、展示会デモみたいな「それっぽい回答」を出そうとすると、一気に重くなりそうな気がしている。
あと、全部1台に載せると、「どこで死んでるのか分からない問題」が出そう。
昔、VPN と SQL Server と Metabase を同居させた時もそうだった。
最初は「意外と動くな」と思う。
でも数週間すると、
・CPUは余ってるのに少し遅い
・なぜか夜だけ重いときがある
・I/Oだけ怪しい
みたいな、じわじわした問題が出てくることがある。
結局、「起動する」と「運用できる」は結構違う。
それでも、ちょっとやってみたい
ただ今回は、ちょっと挑戦してみたい気持ちがある。
理由は単純で、「中小企業向けAI」の現実解を、自分でもまだ探している途中だから。
世の中のAI構成って、
・GPU前提
・Kubernetes
・クラウド大量利用
・エンタープライズ構成
みたいな話が多い。
もちろん本格運用なら必要なんだと思う。
でも、ひとり情シス目線だと、
「まず試したい」
「まず社内に見せたい」
「まず小さく動かしたい」
が先に来る。
その時に、VPS1台でどこまで現実的なのか。
最近はそこが気になっている。
多分、綺麗にはまとまらない
たぶん、やるなら途中で色々崩れると思う。
n8n のワークフローが暴走するかもしれないし、Qdrant のサイズ感で悩むかもしれない。
reranker を入れた瞬間にレスポンスが死ぬ可能性も普通にある。
でも、その「うまくいかなかったログ」も、中小企業の現場では結構価値がある気がしている。
最近、「AI導入」という言葉だけ先に走っている感じが少しある。
でも実際は、
・誰が運用するのか
・止まったらどうするのか
・認証どうするのか
・料金どこまで許容するのか
みたいな話のほうが、現場では大きい。
だから今は、「すごいAIを作る」というより、
「ひとり情シスでも維持できる範囲」
を探している感覚に近い。
多分また構成は変わると思う
Dify から OpenWebUI に流れた時みたいに、途中で考え方はまた変わる気がしている。
でも最近は、その試行錯誤自体が、一番あとで役に立つのかもしれないと思っている。
少なくとも、「高いサービスを導入して終わり」よりは、かなり理解は深くなる。
たぶんまた迷走すると思うけど、とりあえず一回、24GB の VPS に全部載せてみたい。
