smolmaxxing

古いタブレットやメモリ容量わずか1GBの小型デバイスで大規模型AIモデルをローカル実行可能にするオープンソースツール「smolmaxxing」が登場。既存のllama.cppを改良した最適化技術の全貌と実験結果を詳しく解説します。