GTX 1660 SUPERのPCでローカルAIを動かしてみた(LM Studio+Qwen3)
AIを使う機会が多くなり自分のパソコンの中だけで動かしてみたくなり、ローカルAIと、コードを書いてくれるAIをインストールしました。グラフィックカードは古めですが、メモリは多めのPCです。この構成でも動いたので、選んだモデルと設定を簡単に紹介します。
私のPCスペック
- CPU:Intel Core i7-13700
- メモリ:DDR4 80GB
- GPU:GTX 1660 SUPER(VRAM 6GB)
- OS:Windows 11 Pro
- モニター:4枚
ポイントは、GPUのメモリ(VRAM)が6GBと少ない一方、メインメモリは80GBあることです。
使ったソフト:LM Studio
モデルのダウンロードから、チャットまで、画面の操作だけでできるソフトを選びました。
注意点: 公式サイトのダウンロードページでは、一番上に「LM Studio Bionic」という別のアプリが出てきます。私は最初、これを間違えて入れてしまいました。Bionicは、コード作成や文書作成などを任せるエージェント用の別アプリです。通常のチャットや、細かい設定をしたい場合は、その下にある「LM Studio」を選びます。
モデル選び:30B-A3B型を選んだ理由
小さいVRAMでも大きめのモデルを使いたかったので、MoE(混合専門家)型を選びました。
- モデル全体は300億パラメータですが、1回の計算で実際に使うのは約30億分です。
- そのため、大きな部分をメインメモリ(80GB)に置き、GPUには骨格部分だけを載せれば、VRAM 6GBでも動かせます。
入れたモデルは次の2つです。どちらも量子化は Q4_K_M(約18〜19GB)です。
- 普段使い用:
qwen/qwen3-30b-a3b-2507 - コード用:
qwen/qwen3-coder-30b
設定
モデルの保存先は、容量に余裕のあるDドライブに変更しました(D:\AI\LMStudio\models)。
読み込み時の主な設定は次のとおりです。
| 項目 | 設定 |
|---|---|
| コンテキスト長 | 8192(コード用は16384以上がおすすめ)【要確認】 |
| GPUオフロード | 最大(48) |
| MoEの重みをCPUに置く層数 | 最大【要確認】 |
| CPUスレッドプールサイズ | 12 |
「MoEの重みをCPUに置く」設定が一番のポイントです。これでVRAMの使用量を抑えつつ、メインメモリの多さを活かせます。
動かしてみた結果
コード用モデルの速度は、毎秒15.19トークンでした。日本語を読むスピードより速く、実用になる速さです。
まとめ
- GPUが古くても、メモリが多ければ、MoE型のモデルなら動かせます。
- 大事なのは、「全部GPUに載せる」のではなく、「メインメモリに任せる」設定にすることです。
- 最新情報や正確さが必要な調べ物は、まだクラウドのAIのほうが向いているように感じました。
- 制限なく使える。
