この記事は「Anthrotech Advent Calendar 2025」の6日目です。 前回の記事は、 なかいあんこうさんの oraja時代のBMS新圧縮常識!? です。 8GBメモリでローカルLLMを動かす はじめに 「ローカルでLLMを動かしたい」——そう思って調べると、「RTX 4090が必要」「VRAM 24GB推奨」みたいな記事ばかり出てきて心が折れそうになりますよね。でも実は、8GBのメモリでも十分動くモデルと設定があります。 この記事では、Proxmox上のVM(メモリ8GB、CPUのみ)でLLMを動かすまでに試行錯誤した内容をまとめました。具体的には、Misskeyのローカルタイムラインを監視して、特定の投稿を分類するBotを作るために、ローカルでLLM推論サーバーを立てた話です。 やりたかったこと MisskeyのLTLをリアルタイム監視 投稿内容をLLMで分類(AI