BitNet

人工知能

AIに革命 CPUのみでローカルLLMが動く! BitNet.cpp Llama8BをM1 Macで動かしてみた(初心者が)

いや〜、久しぶりにびっくりしました。 CPUのみで動くbitnetってAIのライブラリをマイクロソフトが出してきて、うちのM1 Mac(RAM 16GB)で試したら、結構実用的な速度で動きました。 高くて熱くてでっかいGPUが不要なんですよ...