-
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。
もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。 -
まず、最近主流になっている70B(700億)パラメータモデルでの比較である。Llamaの70BとBitNetの70Bモデルを比較すると、BitNetは8.9倍のスループットを誇るという。
「速いだけで回答が微妙なのでは」と心配するのが普通だろう。
そこでLlamaモデルとの比較が載っている。この表によると、BitNetはLlamaよりも3倍高速でしかも高精度ということになる。
PPLは「困惑」の度合いを意味する数値で、低いほど「困惑してない」ことになる。Llamaよりも性能劣化してないどころか性能は上がっている。また、各種ベンチマークにおいても平均点は同規模のBitNetがLlamaを上回っている。しかもBitNetは規模が大きくなるほどLlamaに対して優位に立つようになっている。
この圧倒的なスピードの秘密は、BitNetが文字通り「1ビットで処理している」からだ。
-
通常、LLMをふくむディープラーニングされたニューラルネットは巨大な行列の積和演算(掛け算と足し算)を必要とする。
推論時も学習時もそうだ。
しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。
加算と乗算では計算速度も負荷も段違いに異なるため、これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い。このため、この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。
今現在、世界各国が血眼になってGPUを確保し、囲い込んでいることを考えると、実に痛快な論文だ。 -
わらた
-
非常に驚異的なことが書いてあるのだが、残念ながらBitNetによるLLMの実装とモデルはまだ公開されていない。
だから彼らの主張が本当かどうかはまだ誰にもわからないのだが、BitNetTransformerの実装だけは公開されているため、腕に覚えがあるエンジニアなら自分でトレーニングコードを書いて確かめることができる。
いずれにせよ、 この論文が本当だとしたら、とんでもないことが起きることになる。この業界に居て長いが、本当にいつもいつも、こんなニュースに触れて興奮できるこの時代を生きる我々は幸運としか言えない。
もちろん筆者もBitNetを試してみるつもりだ。 -
これスレタイ大賞だろ
-
量子ビットだから通常のデジタル量1ビットのジャップより遥かに高性能なのでは？
-
小難しい事言われてもわかんねぇんだよ
もっとわかりやすく教えてくれ -
1ビットアンプって一瞬流行ったな
あれは今でもあんの？ -
れいわとか好きそうな脳だな
-
時代はシリアル
-
ネタスレみたいになってるけど、これ凄いからなｗ
-
安倍晋三とか好きそう
-
「これだけのスピードの差が出ている。また、当然ながらメモリ効率も高い」
ネトウヨ脳はハイスペック
パヨク脳は旧世代ってわけか -
秀逸なスレタイ
-
これ1bitじゃなくて1tritじゃないの
-
関連株漁った、まぁ宝くじみたいなもんよ
-
電子機器の話は細かい事は分からないなりに何となく仕組み分かった気になれるんだけど
量子はマジで全く分からん説明を聞いてても俺には何かの宗教の説法を聞いてるような気分になってしまう
何だよ重ね合わせの状態って -
>>20
これは量子力学や量子コンピューターの話は関係ないと思う
ニューラルネットの計算に今までは8bitや4bitの実数値を使って(量子化して)いたけど、さらに減らして{-1, 0, +1}の3値にしたら精度落ちるどころかむしろ良くなったという -
中国倒産は量子力学ガチ勢だから
量子通信衛星も2016年に打ち上げて、国家中枢では既に実用化されてる筈 -
やっぱりバカウヨの脳ミソって中国製だったのか。ナルホド納得だね。
-
三体問題解けそう？
-
どおりでネトウヨって中国に詳しいわけだw
-
ﾈﾄｳﾖ 0 1
BitNet -1 0 1ラベルが違う
-
左のネトウヨ「ネトウヨは脳が1ビット」
-
LLaMAが流出したときに64Bモデルを4bit量子化させて動かしてみたけどやっぱり量子化してない素の16Bのほうが正確に受け答えできてたね
その後もrinnaのGGMLモデルとか触ったりしたけど何だかんだで、16bit floatや32bit floatのほうが精度が高いのはどうしようもなさそうだけど、1bit量子化で4bit量子化程度の精度を確保できたとしたらすごいことだとは思う -
LLMは大量のパラメータをトレーニングすることで出来てるけど、そのパラメータを全部1ビットにしたって事ね
パラメータ数は多いから全体で1ビットということではない -
案の定
ネトウヨ「左のネトウヨガー」
絶対出ると思ってたw -
格子ベクトル問題やれそう？
コメント