xmlns="http://www.w3.org/2000/svg"

style="display:

Encodings

Authors:Suhyung

Jang,

Summary:

利用大语言模型编码增强

模型训练中的建筑语义保护

作者：Suhyung

Jang,

/>机构：延世大学建筑工程系（韩国）；慕尼黑工业大学高等研究院（德国）

1.

引言

AI

行业的有效应用取决于建筑项目信息在机器可理解格式中的准确表示。

以往研究多关注数据格式（如照片、点云、BIM

图），但往往忽视了编码方法的选择，默认使用

one-hot

模型训练中作为编码工具的潜力尚未得到充分开发。

本研究提出使用

LLM

编码”），并在建筑对象子类型分类任务中通过

GraphSAGE

生成的嵌入，并探讨了维度压缩对语义保留的影响。

3.

LLM

函数会稀释语义特征。

本研究将神经网络最后一层的维度设置为与目标

LLM

嵌入一致，并使用**余弦嵌入损失（Cosine

Embedding

Loss）**计算输出嵌入e

e_pe

style="height:

0.05em;">p​

style="height:

0.2861em;">与目标嵌入e

e_te

style="height:

0.05em;">t​

style="height:

0.15em;">之间的差异：

L

=

\frac{\mathbf{e}_p\cdot\mathbf{e}_t}{\|\mathbf{e}_p\|\|\mathbf{e}_t\|}

\quad

(1)L(e

style="height:

0.05em;">p​

style="height:

0.2861em;">,e

style="height:

0.05em;">t​

style="height:

0.15em;">)=1−

style="height:

-2.314em;">∥e

style="height:

0.05em;">p​

style="height:

0.2861em;">∥∥e

style="height:

0.05em;">t​

style="height:

0.15em;">∥

style="top:

-3.677em;">e

style="height:

0.05em;">p​

style="height:

0.2861em;">⋅e

style="height:

0.05em;">t​

style="height:

0.15em;">​

style="height:

0.9721em;">(1)

3.2

Matryoshka

表示模型

为了应对高维嵌入带来的计算效率问题，研究采用了

Matryoshka

表示模型，将高维嵌入投影到低维空间（如

1,024

维），同时保留关键语义特征。

5.

结果

如表

分数

5.1

One-hot

0.006596p=0.006596)。

这表明压缩过程可能在去除噪声的同时保留了关键语义线索。

5.2

LLM

编码之间的对比

在压缩格式下，不同

LLM

得益于其庞大的训练基数和参数量，表现优异。

结果还显示，压缩后的嵌入往往优于原始高维嵌入，这可能是因为当前使用的

模型（GraphSAGE）规模尚不足以充分捕捉极高维度的全部语义。

7.

LLM

/>

致谢

本项目由韩国国土交通部（KAIA）和德国慕尼黑工业大学高等研究院（TUM-IAS）汉斯·费舍尔高级奖学金项目资助。

Original

representation

Link:2602.15791v1

部分平台可能图片显示异常，请以我的博客内容为准