大家好啊！我是小白编程博主"码农小明"，今天要给各位分享一下在JAX里面用vmap和custom_vjp这两个东西时容易踩的坑。 精神内耗。 这篇文章会特别简单粗暴，适合像我这种刚学不会的人看。我们一起从零开始搞清楚这些东西吧！

先说说认识一下这两个东西

先说说什么是vmap和custom_vjp：

• vmap: 像一个魔法棒，能把一个只能处理单个数据点的函数变成能一边处理一批数据的函数。
• custom_vjp: 像一个翻译员，帮你定制前向传播和反向传播的规则。

简单 vmap可以让你不用写循环就能处理一堆数据， 躺平。 而custom_vjp可以让你控制怎么计算梯度。

最容易犯的错误 - 函数名被污染了！

⚠️ 警告：这个错误特别容易犯！⚠️

比如这样写代码：

# 错误示范！
test_func = vmap)
primal_out = test_func   # 啊哦！这里出问题了！
cotangent_out = f_vjp    # 梯度计算全乱套！

为什么不行呢？主要原因是你把原始的test_func覆盖掉了！当你调用test_func的时候，其实吧调用的是被vmapped后的版本。但是在custom_vjp里面它还需要原来那个单点版本的函数呢！后来啊就导致形状不匹配之类的奇怪错误。

怎么修复这个问题？

✅正确做法是：创建新变量存vmapped版本✅，这也行？

# 对比正确写法：
test_func_mapped = vmap)   // 注意给新变量起名字
primal_out = test_func                      // 原始函数保持不变
cotangent_out = f_vjp                       // 梯度计算正常运行

为什么会出错？深入理解一下原因吧～

简直了。 当我们混淆了原始函数和vmapped后的函数时会发生什么呢？来看个例子：

1. 假设原始test_func期望输入形状为输出
2. 但是被vmapped后它期望输入输出
3. 在前向传播过程中， original_fwd内部会调用原始test_func，但此时它已经被替换成vmapped版本了！所以实际施行的是vmap
4. 这样输出就变成了而不是预期中的标量值～导致梯度计算全乱套～ cotangent shape must match primal input shape
5. 到头来后来啊就是那个令人头疼又难以理解的形状不匹配错误～啧啧啧...

几个实用技巧分享给大家～

💡技巧1：明确区分原始函数和vmapped版本💡 💡技巧2：检查输入输出形状💡 💡技巧3 最后说一句。 ：先测试标量情况再 到batch💡 💡技巧4：善用partial包装器💡 比如这样使用:

礼貌吗？ from functools import partial

fixedftest = partial

resulta = fixedftest resultb = anorfixedtest，也是没谁了。

等等...还有其他需要注意吗?

• 别忘记in_axes参数!如果不想某个参数进行vectorize就设为None!
• 谨慎使用nondiff_argnums!
• 记得检查自定义VJP里面所有输入输出形状是否匹配!

一个完整案例展示正确做法:

import jax.numpy as jnp
from jax import grad,vmap,vjp,custom_vj p

大胆一点... def mycustomforward: return fx*x

def mycustombackward: return 深得我心。 residualjn p.log,residual+x)

又爱又恨。 mycustomwithjvp= customv j p(mycustomforward, mycustombackward)

mycustomwithjvpandbatch=v map( mycustomwithjvp, in_axes=)

fixed_f=jn p.array inputs=jn p.array

results=

切中要害。 for inputrow in inputs: primalresult=mycusto mwithjvpandbatch( fixedf, inputrow) _,backwardfn=prima l_result results.append))

print print