Transformerは過去を見返す。Mambaは状態を書き換える——Mamba-1/2/3をMarkdown図解
> 長文を読むAIは、過去を全部保存するべきか。要点だけを持ち歩くべきか。 > TransformerとMambaの違いは、突き詰めるとこの問いに行き着く。
続きを読むPERSONAL ENGINEERING JOURNAL
james yusuke
個人ブログ
james-yusukeの個人的なブログです。
FEATURED NOTE
LATEST NOTES
最新の記事
図で理解するプログラミング言語の裏側：EBNF、AST、LLVM、各言語のコンパイル
プログラミング言語は、ソースコードをそのままCPUに渡しているわけではありません。多くの処理系では、まず文字列をtokenへ分け、構文を読み、ASTを作り、意味解析や最適化を行い、最終的に機械語・bytecode・JITコードなどへ変換します。
OpenMythosはFable 5 / Mythos 5を再現できているのか
判定: 公式モデルの正しい再現ではない。RDT・MoE・MLAなどを使った、教育的で面白い「推測アーキテクチャ」です。
図で理解する Plan 9 アセンブリと Go の中の Plan 9
Goで .s ファイルを書くと、TEXT ·Add(SB), NOSPLIT, $0-24 のような見慣れない記法に出会います。これは「Plan 9というOSそのものを使っている」という意味ではなく、Plan 9系アセンブラの入力スタイルを受け継いだ、Go専用アセンブラを使うという意味です。[^go-asm]
図で見るアセンブリ入門：種類・書き方・x86の基本
アセンブリは、CPUに近い言葉です。