RockDesk

学习

关于底层机器的笔记——这些系统实际是怎么算的,而不是通常怎么被描述的。该动手的地方就能动手。

Interactive 状态估计

扩展卡尔曼滤波,不糊弄的那种

雅可比矩阵到底是从哪来的、协方差更新为什么写成那个样子、以及线性化不好时具体是什么坏掉了。是推出来的,不是抄来的——然后拿 GPS、轮速计和 IMU 现场融一遍。

可运行的模拟 滤波代码能改 每一步都推
Interactive 神经网络

一个小到能读完的 transformer

一个 18,304 参数的 decoder-only transformer,训练它背下乘法表——小到每一个矩阵、每一个注意力头、每一次梯度都能在训练过程中被逐个看清。可以一个 batch 一个 batch 地单步走,看着 loss 动。

可单步的实时训练 逐层拆开看 3D 激活流