学习
关于底层机器的笔记——这些系统实际是怎么算的,而不是通常怎么被描述的。该动手的地方就能动手。
Interactive
状态估计
扩展卡尔曼滤波,不糊弄的那种
雅可比矩阵到底是从哪来的、协方差更新为什么写成那个样子、以及线性化不好时具体是什么坏掉了。是推出来的,不是抄来的——然后拿 GPS、轮速计和 IMU 现场融一遍。
可运行的模拟
滤波代码能改
每一步都推
Interactive
神经网络
一个小到能读完的 transformer
一个 18,304 参数的 decoder-only transformer,训练它背下乘法表——小到每一个矩阵、每一个注意力头、每一次梯度都能在训练过程中被逐个看清。可以一个 batch 一个 batch 地单步走,看着 loss 动。
可单步的实时训练
逐层拆开看
3D 激活流