量子化

はじめに「話題のオープンモデルを自分のPCで動かしてみたら、メモリ不足のエラーで落ちた」「モデルの配布ページに Q4_K_M や 4bit と書いてあるが、どれを選べばいいのか分からない」「GPUサーバーの請求額が高い。もっと小さい構成で動...