バイナリ化すればメモリ量減るんじゃね？というので、話題になっているLLM向けBitNet。
LLNではないが、ずっと昔にバイナリ化検討したBinary Connectの著者の人がハッカーニュースでコメントしていた。
https://news.ycombinator.com/item?id=39544500
BinaryConnectから色んな論文が出るが、それについてまとめられているのかこの記事
https://developer.smartnews.com/blog/2017/03/neural-network-quantization/
Permalink | 記事への反応(0) | 04:31
ツイートシェア