## infonce

### 动机

为了缓解 [对比学习需要大量负例] <-> [大量负例的训练需要更多算力] 这对矛盾

### 做法

1. 设置了两个encoder，一个是普通提供给训练的encoder，另外一个是随着训练动量更新的encoder。其中前者得到query的embedding的表示，后者得到key的embedding表示，由于动量encoder更新会比较缓慢，所以这些不同key可以看作是来自近似同一个encoder生成的，保持了数据的一致性。

2. 设置了队列，指的是上文中提到的字典，这个字典存储的是不同key的embedding，这些embedding都是由动量encoder生成的。在训练过程，query将自己作为正例，字典中所有embedding都作为负例。

总结：动量encoder+队列机制实际上在同一算力情况下扩大的负例的数量。

### 迁移到我们的场景

每个环境分别设置一个负例队列，随着训练过程不断扩充这个队列，并且同时计算这个队列轨迹奖励作为weight，