エンジニアの横田です。カケハシでは生成AIを活用し医療・薬局向けのプロダクトを開発しています。今回は、プライベートの話で恐縮ですが生成AIのキャッチアップのために150万円のMac Studio M3 Ultraを購入した話をしたいと思います。 150万円のMacについて 2025/3/5 にMac Studio M3 Ultraが発表されました。 私はOSSのLLM(大規模言語モデル)を使って遊ぶのが好きなので、M3 Ultraが発売された時に脅威のメモリ単価の安さに驚きました。 LLMを現実的な速度で動かすためにはメモリの大きさが重要です。Gemma 3やQwen 2.5のような強力なLLMを動かすためには、20GB程度のメモリが必要です。（4月末にQwen3も出ましたね！） さらに、LLMに入力するコンテキスト長を増やすためにもメモリは追加で必要になります。（例えば、Gemma 3を
中国でももちろんDeepSeekの話題で大盛り上がり 行政や企業が高速で導入を進めている 1月末に中国発の軽量動作の大規模言語モデル（LLM）「DeepSeek」が話題になり、米国のAI関連株が暴落する、いわゆるDeepSeekショックが起き、日本でもニュース番組などで繰り返し報道された。 それから1ヵ月ちょっとが経過した。“中国スピード”とはよく言うもので、DeepSeek R1ソリューションを企業や組織ほか、深圳などの自治体が続々と採用している。 2月までに、北京や上海、広州の著名な病院を筆頭に、地方のローカル病院まで民間・公立問わず、およそ100ヵ所の病院がDeepSeekを導入したと公式発表またはメディアで報じられている。医療機関による大規模モデルの利用が、診断と治療の効率と質の向上に大きく役立つと考えられているという。 また広東省深圳、江蘇省無錫などの行政府でも導入され、市民から
概要 2024年後半からどんどん小規模で性能のいいモデルが出てきて、”ローカルLLMなのに良い”という評価から、”普通に性能がいい”という評価に代わってきている気がしていました。 そんな中でDeepseekR1が公開されて、いよいよ手元で触ってみたいな・・・という欲求がわいてきたのでRTX4070tiSuper(VRAM16GB)＋RTX3090(VRAM24GB)の計40GBのVRAMを持つPCを構築したのでその顛末を書いていきます。 振り返ってみても、結構コスパのいい選択ができたのかなと思っています。 購入前の検討、ローカルLLMで遊ぶならVRAMはいくつ積むべき？ 結論としてはあればあるだけよい、というのが正しいと思います。DeepseekR1を動かすんだったら量子化モデルでも128GBメモリがあってもギリギリみたいですしね。 とはいえ、個人で買う以上100万、200万とお金をかける
世は大容量GPU時代。 吾輩も、秋葉原で大容量VRAM搭載GPUの中古が出たときけばすぐに飛んでいき買ってくるということを繰り返している。ちなみに最近、秋葉原の大容量中古GPUは飛ぶように売れているので、見つけたら即買いしないとすぐに無くなる。 なぜ大容量GPUが欲しいかと言えば、それがAIの全ての力の源だからである。 しかし、これは我々のようなガチ研究勢の話であって、ビジネスパースン的には「いやあこれからはローカルLLMでセキュリティバッチリでしょう」みたいな話をしても、「んで、おいくら万円ですか?」と聞かれて、「えーと、GPU単体で500万円くらいでやす」とか言うと客も裸足で逃げていく。そもそもそれだけの価格を払っても、買えるかどうかわからない。 こないだデンバーの学会で、NVIDIAのジェンスン・ファンとMetaのマーク・ザッカーバーグが対談した時に、マークはずっと「とにかくGPUを
生成AI（人工知能）に欠かせない高性能のGPU（画像処理半導体）を搭載したサーバーを大量に運用できる「AIデータセンター」は、日本にどれだけ存在するのか。日経クロステックが国内にある49社のデータセンター事業者を対象に調査したところ、18社による計画中を含む32施設があることが分かった。 今回、日経クロステックがデータセンター事業者に質問したのは、大規模言語モデル（LLM）のトレーニング（訓練）や推論に使う高性能GPUサーバーが稼働できるような施設と、その詳細だ。現時点では国内に18社が運営する26施設があり、今後さらに6施設が増える計画だ。 消費電力10kW超えのGPUサーバーを1ラックで複数台稼働 LLMのトレーニングには、米NVIDIA（エヌビディア）のAI用GPUである「H100」や「H200」を8個搭載する高性能GPUサーバーが向いているとされる。NVIDIA自身がH100を8個
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く