【EVO-X2】AI MAX+395 / Radeon8060SでLLMを動かす～文章理解と分類、SMART分析～

Rcat999

2025年10月13日 20:20

こんにちはRcatです。
今回はこちらの記事で紹介しているPCを使って今まで動かせなかった巨大LLMが扱えるか試していきます。
環境やPCの詳細はまずこちらをご確認の上進んでください。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。

環境

詳しくは前回の記事をご確認ください

AI環境

今回の検証と、PCの性能の観点から以下のツールをアップデートして複数同時ホストを可能にしました。
これを使って検証を進めていきます

LLM推論を行う準備

事前準備

前回の記事及び、同じことをするなら配布しているエッジAIサーバーを用意してください。

文章理解と分類

大分前からやっているSNS自動分析において、罵詈雑言も知らぬ間にAPIを通っており止められることがよくあるww。
というわけでもうこの辺はローカルでやってしまいたい。

システムプロンプト

投資に関するSNSの投稿を指示に従って分類してください。

#指示
個別の投稿を読み解き、分類方法に従いレベルを判断する。
出力形式に従って出力する。


#分類方法
投稿を以下のレベルに分類する。
1.有用な投稿
2.一般的な投稿
3.不要な投稿

<以下非公開>

要するに入力された投稿を理解して、3段階で分けろということですね。
出力はJSON形式が正解です。

なのでポイントとしては以下になります。

3段階評価がRcatの判断とどれだけ離れているか
きちんとJSONとしてみられる文字列が出てくるかどうか

モデル選定

前回までのパフォーマンスとスコアから次のモデルを選抜しました。

Gemma3 4B Q4
Gemma3 12B Q4
GPT-OSS-20B Q4
Qwen3 30B A3B Q4
RakutenAI 2.0 8x7B Q4

ちなみに全部読み込んでもVRAM72.9GBなので収まりますw

Gemma3 4B Q4

出力が出ない…
なぜか空文字が返って来ます…。

Gemma3 12B Q4

こちらも出てきたり出てこなかったりで不安定です。
なぜでしょう…?

```json
[
{
"re":"不適切な投稿",
"id":1170161,
"lv":3
},
{
"re":"個人の見解",
"id":1170160,
"lv":2
},
{
"re":"政治情勢",
"id":1170159,
"lv":1
},
{
"re":"政治情勢",
"id":1170158,
"lv":1
},
{
"re":"政治情勢",
"id":1170157,
"lv":1
},
{
"re":"政治情勢",
"id":1170156,
"lv":1
},
{
"re":"政治情勢",
"id":1170155,
"lv":1
},
{
"re":"市況予測",
"id":1170154,
"lv":1
},
{
"re":"市況予測",
"id":1170153,
"lv":1
},
{
"re":"市況予測",
"id":1170152,
"lv":1
},
{
"re":"個人の見解",
"id":1170151,
"lv":2
},
{
"re":"政治情勢",
"id":1170150,
"lv":1
},
{
"re":"政治改革",
"id":1170149,
"lv":1
},
{
"re":"国際情勢",
"id":1170148,
"lv":1
},
{
"re":"個人の見解",
"id":1170147,
"lv":2
},
{
"re":"不適切な投稿",
"id":1170146,
"lv":3
},
{
"re":"政治情勢",
"id":1170145,
"lv":1
},
{
"re":"政治情勢",
"id":1170144,
"lv":1
},
{
"re":"市況分析",
"id":1170143,
"lv":1
},
{
"re":"市況情報",
"id":1170142,
"lv":1
}
]
```

GPT-OSS-20B Q4

思考が長いですがそこはスキップです。
結果は以下の通り、期待通りJSON出てきました。しかも余計なインデントが無いのでトークン節約もしてます。えらい。

[{"re":"無意味","id":1170161,"lv":3},{"re":"無意味","id":1170160,"lv":3},{"re":"政治","id":1170159,"lv":2},{"re":"政治","id":1170158,"v":2},{"re":"政治","id":1170157,"lv":2},{"re":"政治","id":1170156,"lv":2},{"re":"無意味","id":1170155,"lv":3},{"re":"先物予想","id":1170154,"lv":2},{"re":"先物予想","id":1170153,"lv":2},{"re":"取引","id":1170152,"lv":2},{"re":"無意味","id":1170151,"lv":3},{"re":"政治","id":1170150,"lv":2},{"re":"政治","id":1170149,"lv":2},{"re":"ニュース","id":1170148,"lv":1},{"re":"無意味","id":1170147,"lv":3},{"re":"無意味","id":1170146,"lv":3},{"re":"無意味","id":1170145,"lv":3},{"re":"政治","id":1170144,"lv":2},{"re":"予想","id":1170143,"lv":2},{"re":"先物","id":1170142,"lv":2}]

Qwen3 30B A3B Q4

全部分類が2なんですが…。

[
{
"re":"個人の感情",
"id":1170161,
"lv":2
},
{
"re":"損益の感想",
"id":1170160,
"lv":2
},
{
"re":"政治評論",
"id":1170159,
"lv":2
},
{
"re":"政治評論",
"id":1170158,
"lv":2
},
{
"re":"政治評論",
"id":1170157,
"lv":2
},
{
"re":"政治評論",
"id":1170156,
"lv":2
},
{
"re":"政治評論",
"id":1170155,
"lv":2
},
{
"re":"市場予測",
"id":1170154,
"lv":2
},
{
"re":"市場予測",
"id":1170153,
"lv":2
},
{
"re":"市場予測",
"id":1170152,
"lv":2
},
{
"re":"政治評論",
"id":1170151,
"lv":2
},
{
"re":"政治評論",
"id":1170150,
"lv":2
},
{
"re":"政治評論",
"id":1170149,
"lv":2
},
{
"re":"政治評論",
"id":1170148,
"lv":2
},
{
"re":"政治評論",
"id":1170147,
"lv":2
},
{
"re":"政治評論",
"id":1170146,
"lv":2
},
{
"re":"政治評論",
"id":1170145,
"lv":2
},
{
"re":"政治評論",
"id":1170144,
"lv":2
},
{
"re":"政治評論",
"id":1170143,
"lv":2
},
{
"re":"市場予測",
"id":1170142,
"lv":2
}
]

RakutenAI 2.0 8x7B Q4

入力と出力の長さが合いません。しかもトークン上限まで無限に意味のない出力をしています。これはダメですね。

 [
{
"re":"無風で先物上昇中",
"id":1170142,
"lv":3
},
{
"re":"連休で売り加速",
"id":1170143,
"lv":1
},
{
"re":"全体的には壊滅的なダメージ",
"id":1170144,
"lv":2
},
{
"re":"待機時間",
"id":1170145,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},
{
"re":"バフェット氏の日本株投資",
"id":1170143,
"lv":1
},
{
"re":"比例復活の見直し提案",
"id":1170149,
"lv":1
},
{
"re":"中国船のニュース",
"id":1170148,
"lv":2
},
{
"re":"選挙結果の影響",
"id":1170143,
"lv":1
},

検証結果まとめ

検証結果表

私の感覚に一番近い出力をしたのはGPT-OSSでした。しかしQwenも僅差です。
Gemmaはなぜか出力が出ない(猫ってかわいいですね?とかに変更するとちゃんと答える)ので安定しません。
運よく出てきても判定が大幅に感覚とずれています。→まぁこれは今までの運用でもこんな感じだったのでGemmaはあまり向いていないのでしょう。

採用すべきは?

Qwen3ですかね。
応答速度も大事なので、分類にまで試行するGPT-OSSはちょっと使いづらい。

SMART分析

別記事にしようと思ったのですが、上記あまりにもひどいので同時に行います

分析対象

EVO-X2のSSDのSMARTのログを分析してもらいます。

=== START OF INFORMATION SECTION ===
Model Number:                       Lexar SSD NQ790 2TB
Serial Number:                      xxxxxxxxxxxxxxxxxx
Firmware Version:                   SN19644
PCI Vendor/Subsystem ID:            0x1d97
IEEE OUI Identifier:                0xcaf25b
Total NVM Capacity:                 2,000,398,934,016 [2.00 TB]
Unallocated NVM Capacity:           0
Controller ID:                      0
NVMe Version:                       2.0
Number of Namespaces:               1
Namespace 1 Size/Capacity:          2,000,398,934,016 [2.00 TB]
Namespace 1 Formatted LBA Size:     512
Namespace 1 IEEE EUI-64:            caf25b 036e0002f0
Local Time is:                      Mon Oct 13 17:37:14 2025 JST
Firmware Updates (0x14):            2 Slots, no Reset required
Optional Admin Commands (0x0017):   Security Format Frmw_DL Self_Test
Optional NVM Commands (0x005f):     Comp Wr_Unc DS_Mngmt Wr_Zero Sav/Sel_Feat Timestmp
Log Page Attributes (0x0e):         Cmd_Eff_Lg Ext_Get_Lg Telmtry_Lg
Maximum Data Transfer Size:         128 Pages
Warning  Comp. Temp. Threshold:     90 Celsius
Critical Comp. Temp. Threshold:     95 Celsius

Supported Power States
St Op     Max   Active     Idle   RL RT WL WT  Ent_Lat  Ex_Lat
 0 +     6.50W       -        -    0  0  0  0        0       0
 1 +     5.80W       -        -    1  1  1  1        0       0
 2 +     3.60W       -        -    2  2  2  2        0       0
 3 -   0.0500W       -        -    3  3  3  3     5000   10000
 4 -   0.0025W       -        -    4  4  4  4     8000   45000

Supported LBA Sizes (NSID 0x1)
Id Fmt  Data  Metadt  Rel_Perf
 0 +     512       0         0

=== START OF SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

SMART/Health Information (NVMe Log 0x02)
Critical Warning:                   0x00
Temperature:                        35 Celsius
Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    0%
Data Units Read:                    4,175,224 [2.13 TB]
Data Units Written:                 2,299,783 [1.17 TB]
Host Read Commands:                 23,012,000
Host Write Commands:                8,958,564
Controller Busy Time:               29
Power Cycles:                       13
Power On Hours:                     2
Unsafe Shutdowns:                   9
Media and Data Integrity Errors:    0
Error Information Log Entries:      0
Warning  Comp. Temperature Time:    0
Critical Comp. Temperature Time:    0
Temperature Sensor 1:               35 Celsius
Temperature Sensor 2:               30 Celsius

Error Information (NVMe Log 0x01, 16 of 64 entries)
No Errors Logged

Self-test Log (NVMe Log 0x06)
Self-test status: No self-test in progress
No Self-tests Logged

ちなみにGeminiに分析させると次のようになります

チャッピーはこんな感じ

どちらの商用モデルも同じなので、これと同じような結果になるかどうかで判断していきます。

Gemma3 4B Q4

またもや不安定。
内容は合ってそうですが、要求した表になっていない。

このデータは、SSD（ソリッドステートドライブ）の状態を診断するものです。主なポイントは以下の通りです。

* **全体的な健康状態:** 「SMART overall-health self-assessment test result: PASSED」と、全体的に正常であることを示しています。
* **温度:** 35℃と30℃の温度センサーの値が正常範囲内です。
* **空き容量:** 利用可能容量は2.13TB、書き込み容量は1.17TBです。
* **操作数:** 読み込みコマンドは230万件、書き込みコマンドは89万件と、多くの読み書きが行われていることがわかります。
* **エラー情報:** エラー情報は0、警告情報も0であり、重大な問題はないようです。
* **自己テスト:** 自己テストは現在実行されていません。

**要約:**

このSSDは、現在のところ問題なく正常に動作しているようです。しかし、利用頻度が高いので、今後のモニタリングで状態が悪化していないか注意が必要です。

今までN100CPUで使ってた時はこんなではなかったので、ハードウェアの相性なのかもしれないのでCPUで試します。

はい、CPUだと出てきます。回答の精度というか言うこと聞く率が全然違うんですが。どういうことだ…?

```json
[
  {
    "device": "Lexar SSD NQ790 2TB",
    "name": "Lexar SSD NQ790 2TB",
    "health": 0,
    "PercentageUsed": 0,
    "time": 2,
    "write": 1.17,
    "comment": "SSDのSMARTデータは全体的に良好です。使用率は非常に低く、温度も正常範囲内です。エラーログも警告もありません。予備領域も100%使用されており、安心して使用できます。"
  }
]
```

Gemma3 12B Q4

いや、情報入れてるんだからそれはちゃうやろ

こんにちは！何かお手伝いできることはありますか？ このテキストの内容について質問があれば、お気軽にお尋ねください。例えば、以下のようなことができます。

*   **内容の要約**
*   **特定の情報の抽出** (例: 温度、使用済みパーセンテージなど)
*   **データの解釈** (例: SMARTの状態が何を意味するか)
*   **不明な単語の解説**

どんなことでも構いませんので、お気軽にご質問ください。

CPUがこちら
またCPUならまともなこと言う…。

```json
[
    {
        "device": "/dev/sda",
        "name": "Lexar SSD NQ790 2TB",
        "health": 0,
        "PercentageUsed": 0,
        "time": 2,
        "write": 1.17,
        "comment": "SMART検査はPASSしており、温度も正常範囲内。空き容量も十分で、健康状態は良好です。ただし、unsafe shutdownが9回発生している点に注意が必要です。"
    }
]
```

Take2
内容は合ってそうですが、たまに関係ないことを返してきそうで怖い。

こんにちは！何かお手伝いできることはありますか？

上記は、SSD (Solid State Drive) の SMART (Self-Monitoring, Analysis and Reporting Technology) 情報を表示したログのようですね。

このログから読み取れる内容は以下の通りです。

*   **全体的な健康状態:** 良好 (PASSED)
*   **温度:** 35℃
*   **予備容量:** 100%
*   **使用率:** 0%
*   **読み書きデータ量:** 2.13TB 読み出し、1.17TB 書き込み
*   **エラー:** ありません

全体的に、SSD は正常に機能しているようです。

何か特定の情報について知りたいことや、何か問題が発生している場合は、詳しく教えてください。

GPT-OSS-20B Q4

思考が長いですが分析結果も正しいです。

<|channel|>analysis<|message|>We need to produce a table summarizing the required info: model name, read volume, write volume, power cycles, usage time, temperature, health status, and a short comment (~100 characters). Provide in Japanese. The data: Model: "Lexar SSD NQ790 2TB". Read: 4,175,224 units of 512 bytes? Actually Data Units Read: 4,175,224 [2.13 TB]. Write: 2,299,783 [1.17 TB]. Power cycles: 13. Power on hours: 2. Temperature: 35C. Health: "SMART overall-health self-assessment test result: PASSED" and "Critical Warning: 0x00" and "Available Spare: 100%". So overall healthy. Provide table with columns: 項目, 内容. Or maybe row per item. Provide summary comment ~100 characters: "2TBのLexar NQ790は、読み込み2.13TB、書き込み1.17TB、電源投入13回で、温度は35°C、健康状態は満点。".

We need to format in table. Use markdown table. Provide header: 項目, 内容. Then rows: モデル名, 読み込み量, 書き込み量, 電源投入回数, 使用時間, 温度, 健康状態, 所感.

Also note "使用時間" from Power On Hours: 2 hours. Provide that. Provide "読み込み量" maybe 2.13 TB. Write: 1.17 TB. Provide "電源投入回数" 13. "温度" 35°C (maybe sensor 1). "健康状態" "PASSED". Provide "所感" ~100 characters. Provide translation: "2TBのLexar NQ790は、読み込み2.13TB、書き込み1.17TB、電源投入13回で、温度は35°C、健康状態は完好。". Count characters: Let's count: 2TBのLexar NQ790は、読み込み2.13TB、書き込み1.17TB、電源投入13回で、温度は35°C、健康状態は完好。 Count: 2(1)T(2)B(3)の(4)L(5)e(6)x(7)a(8)r(9) (10)N(11)Q(12)7(13)9(14)0(15)は(16)、(17)読(18)み(19)込(20)み(21)2(22).(23)1(24)3(25)T(26)B(27)、(28)書(29)き(30)込(31)み(32)1(33).(34)1(35)7(36)T(37)B(38)、(39)電(40)源(41)投(42)入(43)1(44)3(45)回(46)で(47)、(48)温(49)度(50)は(51)3(52)5(53)°(54)C(55) 、(56)健(57)康(58)状(59)態(60)は(61)完(62)好(63)。(64). So 64 characters. Need ~100. So add more: "全体の状態は良好、故障の兆候は一切無。". Add: "全体の状態は良好、故障の兆候は一切無。". Count: 全(65)体(66)の(67)情(68)態(69)は(70)良(71)好(72)、(73)故(74)障(75)の(76)兆(77)候(78)は(79)一(80)切(81)無(82)。(83). Now 83. Add "今後の使用も安心です。": 今(84)後(85)の(86)使(87)用(88)も(89)安(90)心(91)で(92)す(93)。(94). Add "。" maybe. So ~94. We need ~100. Add "（推奨）". Add "（" maybe. But okay. Provide as final.

Let's produce final answer.<|end|><|start|>assistant<|channel|>final<|message|>| 項目 | 内容 |
|------|-------|
| **モデル名** | Lexar SSD NQ790 2TB |
| **読み込み量** | 4 175 224 Data Units = 約 2.13 TB |
| **書き込み量** | 2 299 783 Data Units = 約 1.17 TB |
| **電源投入回数** | 13 |
| **使用時間** | 2 時間（Power On Hours） |
| **温度** | 35 ℃（センサー 1） |
| **健康状態** | SMART overall‑health = PASSED (0 critical warning、100 % spare) |
| **所感（約100文字）** | 2 TBのLexar NQ790は、読み込み2.13 TB、書き込み1.17 TB、電源投入13回で、温度は35 °C、健康状態は完好。全体の状態は良好、故障の兆候は一切無。今後の使用も安心です。 |

Qwen3 30B A3B Q4

非常に良い回答です。正しく分析できています。

以下に、ご提供いただいたSMART情報から必要な項目を整理し、**表形式で分かりやすく**まとめました。

---

### ✅ **SSDのSMART分析結果（表形式）**

| 項目 | 内容 |
|------|------|
| **モデル名** | Lexar SSD NQ790 2TB |
| **読み込み量** | 2.13 TB（データ単位読み込み：4,175,224） |
| **書き込み量** | 1.17 TB（データ単位書き込み：2,299,783） |
| **電源投入回数** | 13回 |
| **使用時間** | 2時間（Power On Hours） |
| **温度** | 35°C（センサー1） / 30°C（センサー2）<br>※最高警告温度：90°C、危険温度：95°C |
| **健康状態** | **PASSED**（自己診断テスト：正常）<br>可用予備容量：100%（閾値10%以上）<br>使用率：0%<br>エラー：0件 |
| **所感（100文字以内）** | 使用期間が短く、書き込み量も少ない状態。温度は安定しており、健康状態は良好。長期使用でも問題なさそう。予備容量も十分。 |

---

### 🔍 **補足コメント（参考）**
- **Power On Hoursが2時間**と非常に短い → 新規または使用開始直後。
- **Unsafe Shutdownsが9回** → 非正規シャットダウンが複数回発生。正常な操作を心がける必要あり。
- **温度は30～35°C** → 運用中は非常に低温。冷却要因は不要。
- **エラー・自己診断ログなし** → 現時点で異常なし。

---

✅ **結論：**  
**非常に良好な状態のSSD**。早期の使用で、異常は確認されず、信頼性が高い。今後も定期的な監視を推奨。

検証結果まとめ

翻訳までは順調だったものの、タスク実行にてGPUではGemma3モデルが非常に不安定であることが分かりました。
また、RakutenAIも言うことを聞く能力はそんなに高くないらしく明後日の回答になってしまいましたね。

とくに、なぜかGPUではGemma3がまともに働かないというのは問題ですね。
原因をきちんと突き止めたいですが、難しそうな予感。

というわけでひとまず常時ホストは以下にしましょう。

Qwen3 30B
基本これをメインで使うこととする
Qwen3 4B
Gemmaがダメそうなのでベンチマークしてないが持ってきましたw
GPT-OSS20B
ちょっと深く考えたいときに使う
Gemma3 4B CPU
とにかく軽いタスクをサクサク進めるのに使う

リンク集

Pythonのインストール方法

いいなと思ったら応援しよう！

情報が役に立ったと思えば、僅かでも投げ銭していただけるとありがたいです。

【EVO-X2】AI MAX+395 / Radeon8060SでLLMを動かす ～文章理解と分類、SMART分析～

はじめに

利用規約

コメントについて

環境

環境

AI環境

LLM推論を行う準備

事前準備

文章理解と分類

モデル選定

Gemma3 4B Q4

Gemma3 12B Q4

GPT-OSS-20B Q4

Qwen3 30B A3B Q4

RakutenAI 2.0 8x7B Q4

検証結果まとめ

検証結果表

採用すべきは?

SMART分析

分析対象

Gemma3 4B Q4

Gemma3 12B Q4

GPT-OSS-20B Q4

Qwen3 30B A3B Q4

検証結果まとめ

リンク集

Pythonのインストール方法

いいなと思ったら応援しよう！

【EVO-X2】AI MAX+395 / Radeon8060SでLLMを動かす～文章理解と分類、SMART分析～