Odds and Ends

タグ: RAG

2 本の記事

プログラミング

NotebookLMのOSS版2ツールをClaude Maxのclaude -pで動かして比較してみた

NotebookLMのOSS版であるAnythingLLMとOpen Notebookを、Claude Maxの `claude -p` を生成エンジンにして動かし、比較した記録です。自作シムでOpenAI互換APIに見せかける構成、AnythingLLMで詰まった2箇所、Open NotebookのREST API全自動化、回答精度と所要時間の実測、そして規約や埋め込み・音声の限界までまとめました。
プログラミング

ローカルRAGが遅いのはLLMじゃなく埋め込みだった話

ローカルでRAGを組んだときの「遅い・効かない」の原因が、生成LLMではなく埋め込みモデルの側にあった記録です。CPUでの `bge-m3` が1チャンク30〜60秒かかって大きな文書が入らなかった件、英語中心の埋め込みモデルで日本語検索が無言で0件になった件、そしてOllamaが2つ動いてポートを奪い合っていた件をまとめました。