初めて事前学習モデルを作った!車両の輪郭を塗る「JALO」の開発記録
初めて、自分で事前学習モデルを作りました。名前は「JALO」です。
続きを読む
3本の記事
初めて、自分で事前学習モデルを作りました。名前は「JALO」です。
> 長文を読むAIは、過去を全部保存するべきか。要点だけを持ち歩くべきか。 > TransformerとMambaの違いは、突き詰めるとこの問いに行き着く。
判定: 公式モデルの正しい再現ではない。RDT・MoE・MLAなどを使った、教育的で面白い「推測アーキテクチャ」です。