【EVO-X2】AI MAX+395 / Radeon8060SでLLMを動かす ～翻訳タスクテスト～

こんにちはRcatです。
今回はこちらの記事で紹介しているPCを使って今まで動かせなかった巨大LLMが扱えるか試していきます。
環境やPCの詳細はまずこちらをご確認の上進んでください。

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。

環境

環境

詳しくは前回の記事をご確認ください

AI環境

今回の検証と、PCの性能の観点から以下のツールをアップデートして複数同時ホストを可能にしました。
これを使って検証を進めていきます

LLM推論を行う準備

事前準備

前回の記事及び、同じことをするなら配布しているエッジAIサーバーを用意してください。

LLMで推論する

翻訳タスク

Geminiにサンプルを用意してもらい、これに近くなるかで検証します。
Google翻訳ではほぼ同じになるので多分大丈夫でしょう。

システムプロンプト

ユーザーの入力は全て文章として扱い、翻訳をしてください。
日本語であれば英語に、英語であれば日本語に双方向翻訳をします。
余計な出力はせず、訳文だけを出力してください。

Gemma3 4B Q4

自分で見ても良くわからないので、結果もAI任せです。商用のホストなんだからこのくらいはほぼ任せていいと考えていよね?

まさかの満点です

日本語は確かに非常に自然な感じ。

ふわふわの毛並みの子猫は、触れるたびに心を癒す魔法を秘めている。彼らが遊んでいる様子を眺めたり、眠りに落ちたりする姿を見るのも飽きることがない。特に、午後の日差しの中で静かに昼寝をしている時の、かすかな鼻息は、比類なき安らぎをもたらす。猫はしばしば気まぐれな生き物と形容されるが、その独立性と、時折愛情を求める瞬間とのバランスこそが、彼らの魅力的な魅力を構成しているのだろう。

The kitten's fluffy fur has a magical ability to soothe the heart with every touch. Their playful antics and curled-up sleep are endlessly captivating. Particularly, the soft purrs they emit while quietly napping in the afternoon sunlight evoke a profound sense of peace. Cats are said to be capricious creatures, but it's the balance between their independence and their occasional displays of affection that makes them so irresistible.

Gemma3n E4B Q4

今回は使いません

Gemma3 12B Q4

Gemma3 4bよりは表現が適切に感じられる

子猫のふわふわの毛皮には、触れるたびに心を癒す魔法が宿っています。彼らの遊びを眺めても飽きることなく、眠りにつく姿を見ているだけでも心が満たされます。特に、午後の日差しの中で静かにうたた寝するときに出るかすかな小さないびきは、比類なき安らぎをもたらします。猫は気まぐれな生き物と表現されることがよくありますが、それらの自立心と、時折求める愛情との間のバランスこそが、彼らの抗いがたい魅力を作り上げているのでしょう。

The fluffy fur of a kitten has a magical quality that soothes the heart with every touch. Watching them play or curl up to sleep is never boring. Especially, the gentle breathing of a kitten dozing quietly in the afternoon sunlight evokes an unparalleled sense of peace. Cats are said to be capricious creatures, but perhaps it is the balance between their independence and their occasional affectionate side that captivates us so irresistibly.

Gemma3 27B Q4

最大モデルでもGeminiは満点を与えませんでした。

こっちの翻訳は満点の通り私が見ても大丈夫だと思う。

子猫のふわふわとした毛並みには、触れるたびに心を癒す魔法のような力があります。彼らが遊ぶ様子や丸まって眠る様子を飽きることなく見守ることができます。特に、午後の日差しの中で静かにうとうとしている時のかすかな小さないびきは、比類のない安らぎをもたらします。猫は気まぐれな生き物とよく言われますが、彼らの独立性と時折見せる愛情を求める瞬間とのバランスこそが、抗いがたい魅力を作り上げているのでしょう。

The fluffy fur of a kitten has a magical quality that soothes the heart every time you touch it. Watching them play and curl up to sleep is never boring. Especially their tiny snores as they quietly doze in the afternoon sunlight bring a sense of ultimate peace. Cats are said to be capricious creatures, but it is perhaps the balance between their independence and their occasional sweet side that keeps us captivated.

GPT-OSS-20B Q4

満点をいただきました!

思考過程が入るので長い…。そこはカット

子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見ると、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。

ちなみに全部だとこんな感じ

<|channel|>analysis<|message|>The user wants translation. The input is English. We must translate to Japanese. The instruction: "ユーザーの入力は全て文章として扱い、翻訳をしてください。日本語であれば英語に、英語であれば日本語に双方向翻訳をします。余計な出力はせず、訳文だけを出力してください。" So we output only the translated text. So we translate the English paragraph into Japanese.

We need to produce a natural Japanese translation. Let's do that.

Paragraph: "The fluffy coat of a kitten holds a magic that soothes the heart with every touch. You can never tire of watching them play or curl up to sleep. Especially the faint little snores when they quietly doze in the afternoon sun bring an unparalleled sense of peace. Cats are often described as capricious creatures, but it is surely the balance between their independence and the occasional moments of seeking affection that makes up their irresistible charm."

We translate: "子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊ぶ姿や寝るために丸まってくる姿を見るのは、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。"

Better: "子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見るのは、決して飽きることがありません。特に午後の陽光の中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。"

We can refine: "子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見ると、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。"

We should adjust grammar: "子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見ると、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。"

We can refine: "子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見ると、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。"

We can adjust "たまに" to "たまに". Actually "たまに" is okay. "瞬間" is "瞬間". "バランス" is "バランス". We can use "バランス" or "バランス". It's fine.

Let's produce final.<|end|><|start|>assistant<|channel|>final<|message|>子猫のふわふわとした毛皮は、触れるたびに心を和ませる魔法を宿しています。遊んでいる姿や寝るために丸まる姿を見ると、決して飽きることがありません。特に午後の日差しの中で静かに眠るときの、かすかな小さないびきは、比類のない安らぎをもたらします。猫はしばしば気まぐれな生き物と描写されがちですが、実際に彼らの魅力は、独立とたまに愛情を求める瞬間のバランスにより成り立つのでしょう。

The fluffy fur of kittens possesses a magic that soothes the heart whenever it is touched. Their frolicking and curling up to sleep never tire the eye. Especially, the gentle breathing sounds while they sleep soundly in the afternoon sunlight make you feel an unparalleled peace. Cats are often described as capricious creatures, but the balance between their independence and their occasionally sweet side draws us in and is an irresistible charm.

GPT-OSS-120B Q4 (CPU)

120Bは満点もらえませんでした。

確かに20Bの方が日本語も自然かも。

子猫のふわふわした毛皮には、触れるたびに心を和ませる魔法が宿っています。彼らが遊んだり丸くなって寝ている姿を見るのに飽きることはありません。特に、午後の陽だまりで静かにうとうとする時に漏れるかすかないびきは、比類のない安らぎをもたらします。猫は気まぐれな生き物とよく言われますが、独立心と時折見せる愛情を求める瞬間とのバランスこそが、彼らの魅力をとても抵抗しがたいものにしています。

The kitten's fluffy fur has a magic that soothes the heart every time you touch it. Watching them play together or curl up and sleep never gets boring. Especially, the tiny breaths they make while quietly napping in the afternoon sunshine give an unparalleled sense of peace. Cats are said to be fickle creatures, but the balance between their independence and the occasional affectionate side is what endlessly attracts us.

Lama3.3 70B Q4

今回は使いません

Llama3.3 Nemotron-Super 49B Q4

日本語への評価が高めですが、本当にそうか?

意味は通るが表現的にはGPT-OSS 20Bの方がいいと思う。

猫の毛並みはふわふわで、触れるたびに心に癒しの魔法を放つ。遊ぶ姿を見ているだけでも、あるいは昼下がりの日差しの中で静かに眠っている姿を見ているだけでも、いつまでも飽きない。特に、昼下がりの日差しの中でそっと眠り入る猫の小さな寝息は、他に類を見ない静けさをもたらしてくれる。猫はしばしば気まぐれの生き物とされるが、実はその独立性とたびたび見せる愛らしさのバランスが、猫の魅力の全容を成しているのだろう。

なぜか英語の時だけ思考はいったw

The kitten's fluffy fur has a magic that soothes the heart every time you touch it. The sight of them playing around or curling up to sleep is endlessly captivating. Especially, the small breaths as they quietly nap in the afternoon sunlight evoke an unparalleled sense of peace. While cats are said to be capricious creatures, it is the balance between their independent nature and the occasional spoiled side they show that makes them irresistibly charming.

DeepSeek R1 Llama 70B Q4

今回は使いません

Qwen3 30B A3B Q4

満点です!

確かに日本語の方は素晴らしい精度だと思う。

仔猫のふわふわの毛皮には、触れ合うたびに心を癒す魔法が宿っている。彼らが遊ぶ様子や、眠りにつく姿を眺めていると、いつまでも飽きない。特に、午後の日差しの中で静かにうたた寝しているときの、かすかな小さないびきは、類い稀な安らぎをもたらす。猫はしばしば気まぐれな生き物とされるが、その独立心と、たまに見せる愛情を求めることのバランスこそが、彼らの魅力を生み出しているのだ。

The fluffy fur of a kitten holds a magical power to soothe the heart with every touch. Watching them playfully wrestle or curl up for sleep is endlessly delightful. Especially when they quietly nap in the afternoon sunlight, their tiny snores evoke a profound sense of peace. Though cats are often described as unpredictable creatures, it's precisely the balance between their independence and occasional displays of affectionate vulnerability that makes them irresistibly captivating.

ELYZA Shortcut-1.0-Qwen-32B Q4

満点いただきました!

かなり自然ですね。"かすかな小さいいびき"が冗長な気がするが。

子猫のふわふわとした毛皮は、触れるたびに心を癒す魔法を秘めています。遊ぶ様子や丸まって眠る姿を見ていると、飽きることがありません。特に、午後の日差しの中で静かにうたた寝をするときの、かすかな小さないびきは、比類のない平安感をもたらします。猫は気まぐれな生き物とよく形容されますが、その独立性と時折見せる愛情を求める瞬間のバランスこそが、彼らの魅力を引き立てているのです。

The fluffy fur of a kitten has a magical quality that soothes the heart every time you touch it. Their playful antics and the way they curl up to sleep are endlessly fascinating to watch. Especially, the gentle snores of a kitten napping quietly in the afternoon sunlight evoke an unparalleled sense of peace. While cats are known to be unpredictable creatures, it is the balance between their independent nature and occasional displays of affectionate behavior that draws us to them irresistibly.

ELYZA JP Llama2 13B Q4

今回は使いません

ELYZA JP Llama2 fast 13B Q4

いうことを聞きません。翻訳しろ。

RakutenAI 2.0 8x7B Q4

まあまあの評価ですね。

確かにGeminiの言う通り日本語の表現が微妙かなぁ

 子猫のふわふわした毛並みは、触れるたびに心を癒す魔法を持っている。 彼らが遊んだり、丸まったりするのを見ることに飽きることはない。 特に、午後の太陽の下で静かに居眠りをする時のかすかな小さな鼻息は、比類のない平和感をもたらす。 猫は気まぐれな生き物としばしば表現されるが、それは彼らの自立性と時折の愛情を求める瞬間のバランスが、彼らのたまらない魅力を作り出しているに違いない。

 The soft, fluffy fur of a kitten has a magical calming effect every time you touch it. Their playful antics and curled-up sleeping positions are endlessly entertaining to watch. In particular, the tiny snores during a quiet catnap in the afternoon sunshine are the epitome of peace. Cats are often described as aloof, but perhaps their balance of independence and occasional affectionate moments is what makes them so endearing to us.

検証結果まとめ

検証結果表

見た感じよさそうだったのをピックアップして丸投げ。
まぁ想像通りの結果。

採用すべきは?

スコア的にはGPT-OSSかQwen3かGemma27Bですかね。
ただし動作速度を考えるとQwen3かなぁと感じました。
27Bは15文字毎秒と遅いのであまり使いたくないのと、GPT-OSSは早いけど思考が長いので結局遅くなるんですよね。
軽いのでGemma3 4Bを短文用においておくのはありだと思う。

次回予告

今回脱落したモデルを除き、次回は別のタスクでの比較も行っていきます。

リンク集

Pythonのインストール方法