DevelopersIO2 ビット量子化の MoE 「Nemotron 3.5 Bolt 74B-A9B」を DGX Spark で動かしてみた
AI要約このニュースのポイント
NVIDIAが公開したNemotron 3.5 Bolt 74B-A9B 24GBをDGX Sparkで検証した。
NVIDIAが公開したNemotron 3.5 Bolt 74B-A9B 24GBをDGX Sparkで検証した。総パラメータ74BのMoEモデルで、expertの重みを2ビットに量子化し24GBに収めている。llama.cppを用いた実測では、投機デコード込みで単発61.61 tok/sを記録した。日本語課題やコード生成テストでも高精度を維持しており、ローカルでのAIエージェント実行に適していると評価している。
NVIDIAが公開したNemotron 3.5 Bolt 74B-A9B 24GBをDGX Sparkで検証した。総パラメータ74BのMoEモデルで、expertの重みを2ビットに量子化し24GBに収めている。llama.cppを用いた実測では、投機デコード込みで単発61.61 tok/sを記録した。日本語課題やコード生成テストでも高精度を維持しており、ローカルでのAIエージェント実行に適していると評価している。
背景・用語
Nemotron 3.5 Boltは、ローカル環境でのAIエージェント実行向けに設計されたNVIDIAのオープンモデル。
報道の広がり
AI Watchが10/16 00:00に最初に報じ、16時間で4のメディアに広がりました。
この要約はAIが元記事をもとに作成し、運営者が確認して掲載しています。正確な内容や詳細は元記事でご確認ください。要約の作り方は編集方針をご覧ください。
この話題を報じたほかのメディア
関連するAI要約
一覧 →- Microsoftが第3世代AIチップ「Maia 300」を発表、最新の推論モデルやエージェントタスクの処理能力向上へ向けて2027年に導入予定
AI要約Microsoftは10月12日、第3世代カスタムAIチップ「Maia 300」を2027年に導入すると発表した。主要GPUシステムと比較してメガワットあたりのトークン提供量が40%多く、完全な構成時にはMaia 200の最大7倍の出力を実現する。サティア・ナデラCEOは、マルチギガワット展開に1750億ドル以上を投じる計画を示しており、NVIDIAへの依存軽減を目指す。
- Meta、米国製史上最高オープンウェイトAIモデルを謳う「Muse Spark Open」公開！8160億パラメータ、Mac Studio 2台で動作
AI要約Metaは10月15日、米国製で最も高性能なオープンウェイトモデルと謳う「Muse Spark Open」を公開した。総パラメーター数8160億、アクティブパラメーター420億のMoEモデルで、100万トークンの文脈を扱える。コーディングや複雑なソフトウェア開発、多段階の推論を得意とする。M5 Ultra搭載のMac Studio 2台での実行を推奨しており、Together AIなどのAPIでも利用可能。中国企業のモデルが性能を競うオープンウェイト分野に、米国の大手が本格的なモデルの重みを公開した。
- ついに来た！ NVIDIA独自SoC「RTX Spark」を搭載するノートPC「Surface Laptop Ultra」の予約受付をMicrosoftが開始
AI要約Microsoftは10月7日、NVIDIA製SoC「RTX Spark」を搭載するノートPC「Surface Laptop Ultra」を発表し、予約受付を開始した。国内税込価格は51万3480円からで、最上位モデルはメモリ128GBを搭載する。最大1ペタフロップスのAI演算性能を持ち、ローカルで大規模AIモデルを実行可能。15.4インチのPixelSense Flowディスプレイを採用し、10月下旬以降に発売予定。
- Surface Laptop Ultra予約開始、最大1ペタフロップスのAI性能を持つ新ノート
AI要約ソフマップは10月8日、Microsoftの新型ノートPC「Surface Laptop Ultra」の予約受付を開始した。NVIDIA RTX Spark N1Xを搭載し、最大1ペタフロップスのAI演算性能を実現。15型のタッチ対応ディスプレイは最大2000nitsの輝度を持ち、重量は2kg以下。10月下旬の発売を予定しており、AI PCとしての実力が試される。
- ビデオ通話で参加者の48％が人間だと誤認したAIモデル「Griffin」が登場、1枚の画像から顔や体の動きを映像で再現
AI要約AI企業のTavusは、リアルタイムの映像と音声で対話するAIモデル「Griffin」を発表した。研究プレビュー版を用いた実験では、1分間のビデオ通話に参加した54人のうち約48％が、会話相手を人間だと誤認したという。Griffinは相手の表情や声色、沈黙などを認識し、自身の反応もリアルタイムで生成する「Human Interaction Model」を採用。NVIDIAのベンチマークでも高い評価を得ており、Tavusは「ビデオ・チューリングテスト」を突破したと位置付けている。
テクノロジーの新着
もっと見る →- 「東京レガシーハーフマラソン2026」の開催に伴い、18日は秋葉原周辺道路で交通規制
- 11.6型「Chromebook x360 11 G3 EE」が7,800円！タブレットスタイルもOKな中古品セール
- 「U-NEXT」の1,200ポイント付き30日見放題コードが30％オフ！Amazonプライム感謝祭
- 「RTX Spark」でAI動画を生成したら爆速すぎだった＝ASUS「ProArt P14」実機レビュー＝3D性能はRTX5060レベル
- MicrosoftのRTX Spark搭載15インチノートPC「Surface Laptop Ultra」、価格は51万円超から
- ゲーミングPCが最大18万7000円引き・送料無料！ パソコンショップSEVENの10月17日限定セール