SenseNova-Loop-9Bは8GB・12GBのグラボで動く?量子化別VRAMと、層を2回通すことで遅くなる点【2026年11月】
本記事にはアフィリエイト広告(Amazon・楽天市場等)のリンクが含まれています。
4bitのウェイトは約4.9GB。ただし計算は14.6B級です
SenseTimeが11月17日にオープンウェイトで公開した「SenseNova-Loop-9B」は、総パラメータ9Bながら、中間の24層を同じ重みのまま2回通す変わった作りのLLMです。「9Bなら8GBのグラボで足りる」と考えてよいのか、迷う人が多いはずです。
答えは、置き場所(VRAM)は9B相当、計算は約14.6B相当です。4bit量子化したウェイトは約4.9GBで、必要なVRAMは文脈の長さで決まります。公式の最小見積もりは、64Kで約9〜10GiB、256Kで約12〜15GiBです。8GBのグラボは短い文脈まで、12GBは64Kまで、16GBは256Kまでが現実的な線です。
注意点は2つあります。標準のllama.cppでは読み込めず、公式が案内するvLLM・SGLang向けの対応コードは11月18日時点でどちらも本体に取り込まれていません。もう1つは、層を2回通すぶん、同じ9Bの通常モデルより生成が遅くなる方向になることです。ゲーム用に買ったグラボで試す価値はありますが、このモデルのためだけに買い替える理由は薄いです。
目次
スペックSenseNova-Loop-9Bの構造とVRAMへの影響
| 項目 | SenseNova-Loop-9B | ローカル実行での意味 |
|---|---|---|
| パラメータ | 総数約9B(推論時の実効は約14.6B相当) | VRAMに載るのは9B分。計算量は14.6B級 |
| 層の構成 | 32層のうち4〜27層の24層を2回通し、1回の生成で56層ぶん計算 | 層の実行回数は通常の1.75倍。速度が落ちる要因 |
| コンテキスト長 | 最大512Kトークン | 長くするほどKVキャッシュが増える |
| 入出力 | テキストと画像を入力、テキストを出力 | 画像入力は公式版のみ。後述のGGUFはテキスト専用 |
| ライセンス | Apache License 2.0 | 商用利用も可能 |
出典:SenseNova-Loop 公式GitHub(モデル仕様)
ウェイト量子化別のウェイトサイズ|BF16は約18.8GB、4bitは5GB前後
ウェイトの大きさは、ファイルのサイズでほぼ決まります。公式のBF16版はパラメータ数から約18.8GB(約17.5GiB)です。4bitにすると約4.9GBまで縮み、これが公式の示す低メモリ構成の基準になります。
| 形式 | サイズ | 入手元 | 8GBのグラボ |
|---|---|---|---|
| BF16 | 約18.8GB | 公式 | 載らない |
| Q8_0(GGUF) | 約9.5GB | 個人配布 | 載らない |
| Q4_K_M(GGUF) | 約5.6GB | 個人配布 | 載る(文脈は短め) |
| Q4_0(GGUF) | 約5.3GB | 個人配布 | 載る(文脈は短め) |
| Q3_K_M(GGUF) | 約4.6GB | 個人配布 | 載る(精度は下がる) |
| 公式の4bit | 約4.9GB | 公式 | 載る(文脈は短め) |
※BF16はHugging Faceのモデル情報(API)のパラメータ総数(約94.1億)から算出。GGUFのサイズは個人配布のGGUFページに記載された実ファイルの値で、画像入力は含まれません。公式の4bitの値は公式GitHubの記載です。
個人配布のGGUFは、下で触れるとおり専用に改造したllama.cppでしか動きません。公式ウェイトの4bit版は、公式GitHubで公開日にAWQ形式を用意すると案内されています。
コンテキスト必要なVRAMは文脈の長さで決まる|64Kで約9〜10GiB
ウェイトのほかに、文脈の長さに比例してKVキャッシュ(会話の履歴を保持するメモリ)が増えます。公式は、4bitウェイトでKVキャッシュも量子化した場合の最小GPUメモリを次のように見積もっています。
| コンテキスト長 | KV 8bit | KV 4bit | 収まる目安 |
|---|---|---|---|
| 64K | 約10GiB | 約9GiB | 12GB以上 |
| 128K | 約12GiB | 約10GiB | 12GB(KV 4bit)/16GB |
| 256K | 約15GiB | 約12GiB | 16GB |
出典:SenseNova-Loop 公式GitHub(Low-Memory Deployment)。公式が「推定の最小値」とする数値です。
この表の最小値は9GiBからです。8GBのグラボは、公式の見積もりでは最小条件に届きません。それでも動かせる余地はあります。個人配布のGGUFを改造llama.cppで動かした報告では、VRAM 8GBのRadeon RX 5700 XTでQ4_0を読み込み、コンテキスト16Kで生成しています。長い文書を丸ごと読ませる使い方は難しく、短い質問や短いコードの生成が現実的です。
VRAMの容量はGB表記でも実質GiBに近い単位です。画面表示やほかのアプリが使う分もあるので、12GBのグラボで64Kを狙うなら、ブラウザなどを閉じて余裕を確保してください。
8GBは16K前後の短い文脈まで。12GBは64K、KVを4bitにすれば128Kも視野に入ります。16GBは256Kまで届きます。24GBなら8bit量子化でも余裕があり、BF16もウェイトだけなら載りますが、長い文脈は残りの容量で決まります。
速度層を2回通すと遅くなる|VRAMは9B、速度は通常の9Bより不利
LLMの生成速度は、1トークンごとに重みを読み出す量でおおよそ決まります。SenseNova-Loop-9Bは、24層を2回通すため、1回の生成で32層ではなく56層ぶん計算します。層の実行回数は1.75倍です。公式が推論時の実効パラメータ数を約14.6B相当としているのも、この仕組みによるものです。
VRAMの容量は9Bぶんで済みますが、速度は14.6B級のモデルに近づく、と考えると見積もりやすくなります。公式は通常の9Bとの速度比較を示しておらず、何割遅くなるかは分かりません。構造上は、遅くなる方向です。
実測は、個人配布のGGUFを改造llama.cppのVulkan版で動かした計測が1件あります。
| GPU | 量子化 | 生成速度 | プロンプト処理 |
|---|---|---|---|
| Radeon RX 5700 XT(8GB) | Q4_0 | 31.3トークン/秒 | 85.8トークン/秒(22トークン) |
出典:個人配布のGGUFページ(Measured)。配布者自身の計測で、プロンプトは22トークンと短い条件です。
生成の速さは、1文字ずつ流れる文章を読むのに足りる水準です。ただし、コンテキストが長くなるほどプロンプト処理は重くなるため、長い文書を渡す用途では待ち時間が増えます。
動かし方いま手元のWindows PCで動かすには|標準のllama.cppは使えない
このモデルは特殊な構造のため、広く使われている推論エンジンにそのままは載りません。個人配布のGGUFページは、標準のllama.cppでは読み込めず、専用に改造したllama.cppが必要だと明記しています。標準のllama.cppを土台にするアプリも、対応版が出るまでは同じ制約を受ける前提で考えてください。
公式が案内する実行方法は次のとおりです。
| 方法 | 状況(11月18日時点) | Windowsでの使いやすさ |
|---|---|---|
| Transformers | 公式のサンプルコードあり。BF16で読み込む例 | 約18.8GBが載るグラボ向け |
| vLLM | 対応コードはプルリクエスト段階で、本体には未マージ | vLLMはWindows非対応で、WSL経由が必要 |
| SGLang | 対応コードはプルリクエスト段階で、本体には未マージ | 主にLinux向け |
| 改造llama.cpp(個人) | 個人が公開。テキスト専用のGGUFで動く | 自分でビルドが必要 |
出典:公式GitHub(Deployment)、vLLM PR #64832、SGLang PR #47281、vLLM公式ドキュメント(Windowsの扱い)、個人公開の改造llama.cpp。
現時点では、ワンクリックで入れて試せるモデルではありません。環境構築に慣れていない場合は、vLLMなどの本体に取り込まれて、Ollamaのような標準的なツールで動くのを待つほうが安全です。
性能性能は27B級に迫るが、すべてで並ぶわけではない
公式は、Qwen3.8-27Bに匹敵するとしています。ただし、並んだのは一部の指標です。
| 指標 | SenseNova-Loop-9B | Qwen3.8-27B |
|---|---|---|
| AIDABench | 65.31 | 65.01 |
| AutomationBench | 36.67 | 36.67 |
| NL2Repo | 41.36 | 44.60 |
出典:SenseNova-Loop 公式GitHub(Model Performance)。メーカー自身の評価値です。
公式は、複雑な指示の取りこぼしや、コーディング・エージェント作業の不安定さ、凝ったWebページを一度で作りきれない点を既知の制限として挙げています。27B級のモデルをそのまま置き換えられるという見方は避けたほうが無難です。
結論SenseNova-Loop-9Bをローカルで動かす|向いている人・向かない人
- VRAM 12GB以上のグラボを持ち、64K前後の文脈でエージェント的な用途を試したい人
- WSL2やLinuxでvLLMなどを自分で構築できる人
- 8GBのグラボで、短い質問や短いコード生成だけ試したい人
- OllamaやLM Studioのように、入れてすぐ動かしたい人
- 8GBのグラボで長文書を丸ごと読ませたい人
- このモデルのためだけにグラボを買い替えようとしている人
おすすめ買い足すならVRAM 16GBのグラボ
ローカルLLMを長い文脈で使うなら、VRAM 16GBが分かれ目です。公式の見積もりでは256Kまで収まる容量で、4bit量子化なら余裕も残ります。ゲームにも使えるので、買い足す場合は次の2枚が候補です。このモデルに限らず、9B〜14B級のモデルを幅広く動かせます。
ローカルLLM全般の使い道と、グラボを買い足す判断はローカルLLMは何に使うかの解説、画像生成も含めた構成はAI画像生成・ローカルLLM用PC構成ガイドで整理しています。
FAQよくある質問
まとめまとめ|VRAMは9B級でも、導入のハードルは高い
SenseNova-Loop-9Bの4bitウェイトは約4.9GBで、公式の最小見積もりは64Kで約9〜10GiB、256Kで約12〜15GiBです。12GBで64K、16GBで256Kが目安で、8GBは短い文脈に限られます。一方で、層を2回通すぶん計算は14.6B級になり、標準のllama.cppでは動きません。
VRAM 12GB以上のグラボがあるなら、対応環境を作れる人には試す価値があります。8GBでは短い用途に限られ、導入の手間も大きいので、vLLMなどへの取り込みを待つのが無難です。このモデルのためにグラボを買い替える必要はありません。



