你是否曾经在手机相册里输入“海边日落”，然后神奇地发现，手机真的精准地找出了你几年前拍的那张夕阳照片？或者，当你使用像Midjourney这样的AI绘图工具时仅仅输入一句“赛博朋克风格的猫咪”，一张令人惊叹的画面就凭空生成？这些kan似科幻的场景背后往往dou隐藏着同一个大功臣——那就是OpenAI在2021年推出的划时代模型：CLIP。

今天我们不仅要聊聊CLIP是如何像一位精通双语的“红娘”一样，在图像和文字这两个截然不同的世界之间牵线搭桥的，还要通过PyTorch从零开始，亲手构建一个简化版的CLIP模型。别担心，虽然原理听起来hen高深，但我们会用Zui直观的方式拆解它，哪怕你只有基础的编程经验，也Neng跟上这次的技术探险。

要理解CLIP，我们不妨先Zuo一个有趣的类比。想象一下你经营着一家高端的“相亲配对公司”，你的手头有两批完全不同的客户资料：

图像组： 这是一堆照片，比如“一张笑得灿烂的男孩照片”、“一只在草地上奔跑的柯基”。

文字组： 这是一段段自我介绍，比如“我是一个热爱猫、喜欢旅行的男孩”、“这是一只活泼的狗狗”。

你的任务就是训练出一种特殊的“红娘本领”。当一张新照片和一段新文字摆在你面前时你需要迅速给出一个“配对分数”。分数越高，说明这两者越般配；分数越低，说明它们八竿子打不着。

在深度学习的术语里这叫Zuo对比学习。具体来说在一个训练批次里假设有N张图和N句话，每张图实际上只对应其中一句话。CLIP需要在一个N×N的巨大相似度矩阵中，玩一场“找对子”的游戏：把对角线上的N个正确配对分数拼命拉高，同时把其他所有的错误配对分数狠狠压低。

为了实现这一点，我们通常会使用对称交叉熵损失。这听起来有点拗口，但简单来说就是从两个方向去考核模型：

kan图找文： 给定一张图，模型Neng不Neng在N句话里精准找到对应的那句？

kan文找图： 给定一句话，模型Neng不Neng在N张图里精准找到对应的那张？

只有这两个方向douZuo好了我们的“红娘”才算合格。

CLIP之所以强大，是因为它采用了经典的双塔架构。这就像给公司配了两个独立的专家部门：

一个是图像编码器，通常基于Vision Transformer ，专门负责把图片kan懂，转化成计算机Neng理解的向量；

另一个是文本编码器，基于Transformer，专门负责把文字吃透，也转化成向量。

这两个编码器各司其职，互不干扰，但它们Zui终dou会把信息投射到一个共同的联合嵌入空间。在这个空间里图片“柯基”的向量和文字“柯基”的向量会靠得非常近，而图片“跑车”的向量则会离它们hen远。

文本编码器的核心是Transformer。这里有一个非常关键的概念：自注意力机制。

不妨想象一下你在主持一场团队头脑风暴会议。房间里的每个人dou需要关注其他人，以便理解上下文。对于每个人来说他会Zuo三件事：

发出一个查询“我想知道谁有关于我的信息？”

展示一个键“我手里有这些信息。”

提供一个值“Ru果对我感兴趣，就拿走这个。”

通过计算“查询”和“键”的匹配度，每个人决定要从别人那里吸取多少“值”。这就是Transformer的灵魂所在。它让模型在处理“狗咬人”和“人咬狗”时Neng通过词语间的相互关注，敏锐地捕捉到语序带来的语义差异。

但是Transformer本身对顺序是“盲目”的。为了解决这个问题，我们需要给每个词加上一个“座位号”，这就是位置编码。我们通常使用正弦和余弦函数来生成这些编码，让模型知道“第1个字在哪里第2个字在哪里”。

下面是关于位置编码的简易实现代码，它就像给每个单词的embedding加上了坐标：

import torch
import torch.nn as nn
import numpy as np
class PositionalEmbedding:
    def __init__:
        super.__init__
        # width: 每个token的嵌入维度
        pe = torch.zeros
        for pos in range:
            for i in range:
                if i % 2 == 0:
                    pe = np.sin))
                else:
                    pe = np.cos / width)))
        # 注册为buffer，不参与梯度geng新
        self.register_buffer)  # shape: 
    def forward:
        # x: 
        return x + self.pe

在文本处理中，还有一个细节需要注意。为了让一批不同长度的句子Neng一起训练，我们通常会把短句子补零。但是这些填充的“0”是没有意义的，不Neng让模型去关注它们。所以我们需要一个掩码，在计算注意力时把这些填充位置的分数变成负无穷大，这样经过Softmax后它们的权重就变成了0，相当于被彻底忽略。

下面是一个单头注意力的实现，你Ke以kan到mask是如何发挥作用的：

class AttentionHead:
    def __init__:
        super.__init__
        self.head_size = head_size
        self.query = nn.Linear
        self.key   = nn.Linear
        self.value = nn.Linear
    def forward:
        # x: 
        Q = self.query  # 
        K = self.key    # 
        V = self.value  # 
        # 计算注意力分数: Q @ K^T
        attn = Q @ K.transpose  # 
        attn = attn /    # 缩放，防止梯度消失
        # Ru果提供了mask，则填充位置设置为 -inf
        if mask is not None:
            attn = attn.masked_fill)
        attn = torch.softmax       # 归一化
        out = attn @ V                            # 
        return out

对于图像，我们不再使用传统的卷积神经网络，而是尝试使用视觉Transformer。它的思路非常有趣：把一张图片切成一个个小方块，比如把28x28的图片切成2x2个14x14的小块。

每个小块就像一个“单词”，我们把它拉直成一个向量。然后和文本处理一样，加上位置编码，再丢进Transformer里去处理。Zui后我们通常会在开头加一个可学习的cls_token，让它像班长一样，在经过层层信息交换后汇总整张图的信息。

理论讲多了容易犯困，让我们直接上手写代码。为了方便演示，我们使用经典的MNIST手写数字数据集。虽然它比COCO数据集简单得多，但用来验证原理绰绰有余。

我们需要把文字变成数字。这里我们采用Zui简单的策略：直接使用ASCII/UTF-8编码。每个字符对应一个0~255的数字。为了处理变长句子，我们设定一个Zui大长度，不够的就用0填充。

def tokenizer:
    if encode:
        # 添加开始和结束标记
        out = chr + text + chr
        # 填充
        if len 

class TextEncoder:
    def __init__:
        super.__init__
        self.token_embedding = nn.Embedding
        self.pos_embedding = PositionalEmbedding
        self.layers = nn.ModuleList for _ in range])
        self.projection = nn.Parameter)
    def forward:
        x = self.token_embedding
        x = self.pos_embedding
        # 构造二维mask用于注意力
        if mask is not None:
            mask = mask.unsqueeze.expand, -1)
        for layer in self.layers:
            x = layer
        # 取出EOT位置的向量
        eot_idx = mask.sum - 1
        x = x
        # 投影并归一化
        x = x @ self.projection
        return x / torch.norm

class ImageEncoder:
    def __init__:
        super.__init__
        h, w = img_size
        ph, pw = patch_size
        self.n_patches =  * 
        # 用卷积层实现Patch Embedding
        self.patch_embed = nn.Conv2d
        self.cls_token = nn.Parameter)
        self.pos_embedding = PositionalEmbedding
        self.layers = nn.ModuleList for _ in range])
        self.projection = nn.Parameter)
    def forward:
        B = x.shape
        x = self.patch_embed.flatten.transpose # 
        cls_tokens = self.cls_token.expand
        x = torch.cat
        x = self.pos_embedding
        for layer in self.layers:
            x = layer
        x = x # 取cls token
        x = x @ self.projection
        return x / torch.norm

class CLIP:
    def __init__:
        # 初始化图像和文本编码器
        self.image_encoder = ImageEncoder
        self.text_encoder = TextEncoder
        # 温度参数初始化
        self.logit_scale = nn.Parameter * np.log)
    def forward:
        I_e = self.image_encoder
        T_e = self.text_encoder
        # 计算相似度矩阵
        logits =  * torch.exp
        # 对称交叉熵损失
        labels = torch.arange.to
        loss_i = nn.functional.cross_entropy
        loss_t = nn.functional.cross_entropy
        return  / 2

# 搜索示例
query_text = "An image of Five"
tok, mask = tokenizer
query_feat = model.text_encoder, mask.unsqueeze)
# ... 计算query_feat与图库特征的相似度，取Top-K ...