Transformerは過去を見返す。Mambaは状態を書き換える——Mamba-1/2/3をMarkdown図解
> 長文を読むAIは、過去を全部保存するべきか。要点だけを持ち歩くべきか。 > TransformerとMambaの違いは、突き詰めるとこの問いに行き着く。
TOPIC ARCHIVE
pytorch
2本の記事
OpenMythosはFable 5 / Mythos 5を再現できているのか
判定: 公式モデルの正しい再現ではない。RDT・MoE・MLAなどを使った、教育的で面白い「推測アーキテクチャ」です。