llama.cpp

AIエージェント「Hermes Agent」に、自身でllama.cppやモデルのダウンロード・管理を行う新機能「Local Models」が追加されました。完全オフラインで動作し、品質を重視した4bit以上のモデル提供方針など、実用的なローカルAI運用の詳細を解説します。