1.计算原理不同
Non-local操作是一种模拟人脑视觉处理机制的计算操作，它可以捕获图像中的长距离依赖关系，允许网络在任何位置的特征可以与其它位置的所有特征进行交互。而自注意力机制是一种在序列数据中，模型关注到每个位置的信息，并根据其重要性进行加权平均的计算方法。
2.应用场景不同
Non-local操作主要用于处理图像和视频等视觉任务，如物体检测，语义分割，行为识别等。而自注意力机制主要用于处理文本和语音等序列任务，如机器翻译，语音识别，文本分类等。
3.性能效果不同
Non-local操作能够捕获图像中的全局依赖关系，提高模型的表达能力。而自注意力机制能够捕获序列中的长距离依赖关系，提高模型的理解和生成能力。
4.计算复杂度不同
Non-local操作的计算复杂度较高，因为需要计算所有位置之间的相互作用。而自注意力机制的计算复杂度较低，因为只需计算当前位置与其他位置的相互作用。
5.模型理解和解释性不同
Non-local操作由于其全局交互的特性，理解和解释性较强，可以清晰地知道模型的关注点。而自注意力机制虽然关注点明确，但其权重分配方式较为复杂，理解和解释性较弱。
延伸阅读
在神经网络模型中，如何选择使用Non-local操作还是自注意力机制
1.Non-local操作：在处理图像和视频等视觉任务时，由于其能捕获全局依赖关系的优点，Non-local操作是一个不错的选择。同时，Non-local操作对于结构化的数据，如图像，能提供更直观的解释性。
2.自注意力机制：在处理序列数据，如文本和语音时，自注意力机制可以捕获序列中的长距离依赖关系，提高模型的理解和生成能力。尽管其理解和解释性相比Non-local稍弱，但其计算复杂度较低，适合处理大规模数据。
3.混合使用：在某些场景中，也可以考虑混合使用Non-local操作和自注意力机制。例如，Transformer模型就结合了自注意力机制和全连接层（类似于Non-local的全局交互），在机器翻译等任务上取得了很好的效果。这种混合使用的方式，可以综合两者的优点，提高模型的性能和表达能力。
京公网安备 11010802030320号