是什么

1. 在机器学习领域，”模态”被用来描述不同类型的数据形式，如文本、图像、视频、音频等。
2. 最开始以 ChatGPT 为代表的大语言模型，都是只支持文本这个单一模态。
3. 可以同时处理文本、图像、音频等多种形式的数据输入输出的大模型，就是多模态大模型。

特点：端到端

一个模型能同时理解和处理多种模态的数据输入。

1. 非端到端的例子：
   1. 在 ChatGPT 上，可以调用 DALL-E 生成图片，但实际流程是 prompt → GPT4模型 → 生成细节提示词 →DALL-E模型 → 生成高质量细节图像，只是一个能力串联，并不是一个多模态大模型。
   2. 在豆包或其他一些LLM APP上，支持语音输入→文字和语音输出，实际流程是 语音→ASR模型转文字→LLM→文字→tts模型转语音，并不是端到端 语音→LLM→语音。
2. 端到端的例子：
   1. GPT4o 的实时语音对话，流程是 语音→ GPT4o模型→语音。延迟低、语气/音色/停顿/语义都能综合理解到。
   2. claude3.5 支持按要求识别图片，流程是 图片+prompt → claude模型→文本。能很好结合 prompt 按要求输出对图片的识别。
3. 端到端的好处：
   1. 模型能直接从原始的数据中学习不同模态之间的关联和映射关系，发现隐藏在数据中的复杂跨模态模式，可以 scale up 达到涌现，没有中间折损，可以做到低延时。

（更多…）

经常看见有一些视频生成的模型出来，类型还不太一样，简单学习和调研下这个领域和相关技术的情况。在我所看到的有限的范围里，可以把近期出现的视频生成能力分成两类：

1. 一类是专门精细化控制人物表情动作的模型，驱动一张人像照片动起来。这类模型存在已久，老技术也能实现，近期不断有新模型出现，效果也越来越好，业界好像没针对这一类命个名，姑且叫它人像视频。
2. 另一类是通用的视频生成基础模型，包括基于扩散模型的，以及 sora 出现后的 DiT 架构模型。另外跟 Stable Diffusion 图片生成的生态类似，也会有一些为视频生成基础模型配套的可控编辑扩展模型。

人像视频

先来看看人像视频，常见有两类：

1. 表情控制：输入人物表情视频，让图片的人脸跟着做同样的表情。变种是输入音频，让图片人脸跟着音频的口型动，talking photo。
2. 姿态控制：输入人物动作的视频，让图片的人跟着视频的动作动。火过的 case 是通义千问的全民舞王科目三。

表情控制(Vimi)	姿态控制(Animate Anyone)

这里的技术都不是这波大模型后才有的，上个时代已经有很多做得不错，上一波爆火的蚂蚁呀嘿已经是 2021 年的事了，相关论文也是 2019 年就有了：《First Order Motion Model for Image Animation》。后面不断有新的方案，包括基于和不基于扩散模型的方案。下面列几个近期出现，看起来还行的方案。

表情控制

基于扩散模型

基于扩散模型的方案，大体思路看起来是在原网络插入 pose/人脸点位 控制，跟 ControlNet 原理差不多，扩散模型本身除了 SD Unet 那套外，基本都会加入视频生成常见的 spatial-attention 和 temporal-attention。

（更多…）

Transformer 作为新 AI 时代的基石，有必要深入了解下。网上对 Transformer 的教学文章/视频非常多，很多讲得很好，像 3Blue1Brown 的讲解视频，以及这篇文章。整个详细过程原理写不来，本文主要记录一下其中我觉得比较容易混淆的 Attention 模块运算过程，主要是里面的 Q K V 的概念/运算过程/作用。

这是 Transformer 架构图，左边是 encoder，右边是 decoder，实际 LLM 大模型是只由右边 decoder 构成，这里面大部分是常用的 Feed Forward（前馈网络）/ Add（残差连接）/ Norm（层归一化），核心还是 Multi-Head Attention 模块，我们来具体看看 Multi-Head Attention 模块里做了什么。

输入

假设一个字是一个 token，输入是”我有一个玩”（用于推测下一个字”具“），5 个字，每个字用一个向量表示，每个向量假设是 9 维（GPT3 是 12288 维），也就是用 9 个数值表示这个字，那每个词顺序排下来，就组成了 5 行 9 列的输入矩阵，称他为 X，每一行代表一个词。

6每一个圈圈代表一个数值。”我“字由蓝色的9个数值表示，“有”字是绿色的9个数值。这 9 个数值组成一个 9 维向量，这里每个字对应的向量值是一开始定好的，至于怎么定的不细说，可以看看相关文章。

这个输入矩阵经过 Multi-Head Attention 模块运算，输出另一个同宽高的矩阵，接下来详细看看这个运算过程。

权重矩阵 & Multi-Head Attention

Multi-Head Attention 是由多个 Self Attention 模块拼接而成，如果它只有一个 head，就是一个 Self Attension 模块。

Self Attention

Self Attention 模块里，会包含 Wq Wk Wv 三个参数权重矩阵，模型训练过程就是不断调整 Wq Wk Wv 里的数值。

这几个权重矩阵的行和列数，需要满足：

1. 行数：输入矩阵 X 会与它们进行相乘，所以行数需要与输入词向量的维度匹配，也就是 9。
2. 列数：Transformer 中整个 Attention 模块的输入数据和输出数据维度应该是一致的，才能多层重复叠加，从矩阵相乘特性知道，这些权重矩阵的列数也应该对齐词向量的维度，还是 9。

所以如果这里是单个 Self Attention，Wq Wk Wv 就是行数和列数都是与词向量维度一致的矩阵，也就是 9×9。

Multi-Head Attention

但这里希望模型能捕获到单词间的多种不同注意力，所以会把它拆出来再拼接。假设把它拆成 3 个 head，那就是能捕获到 3 种单词之间不同的关系。这里拆出来的 3 个 head 就是 3 个 Self Attention 模块，每个模块有自己的 Wq Wk Wv 矩阵，行列数是 9 x 3。这里每个 Self Attention 独自进行注意力运算后，再组合拼接。

这里文字描述得比较绕，见后续运算过程和结果的图示比较清晰。

Attention 运算过程

先来看这里每个 Self Attention 模块的运算过程。

这里输入向量分别与 Wq Wk Wv 相乘，得到新的矩阵 Q K V，Q(query) K(key) V(value) 名字已经对应了它的含义，看完它的运算过程后，再来补充下对它含义的理解。

可以认为这里 Q K V 这几个新的矩阵，每一行仍然是表示一个单词 token 向量，只是换了种表示 （矩阵的乘法特性，例如第一行里的每一个数据都是由原矩阵第一行与 W 矩阵运算得来，与其他行无关）。

下图是 Q 矩阵的运算过程，K V 的过程一样，只是 W 权重矩阵的值不同，略过。

接着要做的是，计算每一个单词对于其他单词的 Attention 系数，这是一个两两可重复排列组合。上面 5 个单词，每个单词都 K 矩阵里的自己以及其他所有单词逐一计算出一个值，生成一个 5 x 5 的矩阵。这个矩阵的计算方式就是 Q*KT(K的转置矩阵)，由矩阵乘法特性可以看出，这样算出来的矩阵，就是单词之间的关系值，比如第一行第五列数值，就是“我”和“玩”之间的注意力关系值。下图用颜色表示这个过程。

相乘后对这个矩阵进行 softmax （在这之前还会除以 √dk 向量维度，可以先忽略），每一行的和都为1，这里的矩阵第 i 行的数据表示的是第 i 个单词与其他单词的关系，这里归一化后，数值可以表示理解为，从全文范围上，每个单词对这第 i 个单词的重要程度比例。

最后这里的 Attention 系数矩阵，与矩阵 V 相乘，得到的是新的结合了每个单词之间 Attention 信息的矩阵。输出的矩阵中每一行还是表示一个单词，但这个单词向量经过这里注意力运算后，每个单词向量都集合了上下文每个单词的注意力信息。

单独拆除这里的第一行看看它的意义，单词”我“跟每一个字的注意力权重，再乘以每个字在 V 矩阵里的向量表示，结果再相加，组成最后的结果。比如这里第一个字”我“跟第三个字”一“的权重是0.1，那”一“的向量值对运算后最后表示”我“这个字的向量结果影响很小，如果是 0 就是没有影响。

上述整个过程，可以用这个数学公式表示：

Multi-Head Attention 模块里每个 Self Attention 模块都做同样的运算（但里面的 Wq Wk Wv 权重不同，数值结果不同），拼接起来，形成最终的结果，这个结果矩阵里，每一行每个字的表示，都已经集合了与其他所有字的注意力关系信息。

整个过程实际上还有个掩码的机制，按上述运算，这里输出的每个单词向量都包含了上下文所有的信息，通过掩码机制，会变成每个单词只包含单词所在前面位置的信息，比如第二行“有”只包含了“我”和“有”的信息，没有后面”一“”个“”玩“的信息。这里不继续展开了。

这里每一行包含了前面所有单词的注意力信息，也就可以通过这里的表示预测下一个单词，所以从这个矩阵最后一行“玩”的向量数值，就可以用于预测对应下一个单词是什么。

整个 Multi-Head Attention 的运算过程大致是这样了。实际模型如 GPT3，单词向量维度是12288，上下文长度2048（每个 token 都要跟2048个token计算注意力），每个 Multi-Head Attention 分成 96 个 head，同时有 96 层叠加，也就是 96 个 Multi-Head Attention，运算量是巨大的。

Q K V 的作用

Q 可以理解为原输入的词数据，拿着这个数据找谁跟我有关系。K 是被找的数据，用于计算输入的每个词之间的关系。Q 和 K 是为了算出 Attention 关系系数，知道每个 K 的数据跟 Q 是什么关系。

如果 Q 和 K 是同个输入变换来的，那就是自注意力，如果是不同输入变换来，那就是交叉注意力，比如 Stable Diffusion 里 Unet 的交叉注意力模块中，Q 是文字 prompt，K 和 V 是图片信息，Q 与 K 计算的是文字与图片信息的 Attention 关系系数。

K 和 V 是同个数据源，这个数据源，从 Q 和 K 的运算知道每个 Q 与数据源的关系系数，再与数据源做运算就是把这个关系数据作用到源数据上，源数据去做相应偏移，也就是可以在 Q 的作用下对源数据做相应推测。

感想

为什么这样一个算法架构，能衍生出智能，而且这个架构能扩展到多模态，语音、图像、视频基于它都有非常好的效果？我个人理解，最核心有两个点：

1. 上下文信息充足
2. 并行计算能力强

其他算法架构如果能充分融入上下文信息，规模大了也能有智能，只是 Transformer 可并行运算的特性，让目前的计算机算力可以触摸到涌现的那个点。

在客户端上跑大模型，一定是未来的趋势。

1. 上个时代 AI 的核心应用是推荐系统，推荐是依赖海量数据的，海量数据只有服务端上存在，在推荐这主场景下客户端 AI 上能做的事很少，发展得比较吃力。
2. 生成式 AI 时代，最大的应用就是模型本身，只有训练时依赖海量数据，使用时并不依赖数据，那理论上只要客户端硬件资源足够，在客户端使用，跟在服务端使用，场景和效果是一致的。
3. 生成式 AI 在端上跑模型，最大的优势是成本。成本是当前生成式 AI 应用除了效果以外第二大关键因素，在用户客户端上跑模型，对服务提供方来说就是 0 成本，0 成本使更多场景大规模免费应用成为可能。其他的优势还包括 隐私保护、实时性、离线可用。

硬件条件

那当前手机设备硬件条件如何？我们可以通过一些指标对手机和服务端的算力差距有个大概认识。

显存：一个模型能不能跑，取决于显存够不够，显存不够模型无法加载。

1. 服务端一般用独立显卡，有独立显存。
2. 手机通常使用系统级芯片 Soc（System on a Chip），无独立显卡，SoC 中包含了 CPU、GPU、基带等多个组件，使用统一内存架构允许 CPU 和 GPU 共享同一块内存，所以手机 GPU 显存跟手机内存是一个东西。

性能：而模型跑得快不快，取决于芯片性能怎样。

1. 芯片性能取决于很多因素，例如芯片架构、显存带宽，而算力是其中一个，通常用TOPS（万亿次每秒 Tera Operations Per Second）指标来衡量算力。TOPS 默认是针对 INT8 整型数的处理次数，另一个指标 TFLOPS 是针对 Float32 浮点数的处理次数。
2. 在通用 GPU 以外，现代芯片会搭载专门处理 AI 运算的硬件加速器，NVIDIA 是 Tensor Core，手机 SoC 芯片是 NPU （Neural Processing Unit 神经网络处理单元），以下是 Tensor Core 和 NPU 的运算性能指标。
3. 不同芯片性能，特别是涉及不同芯片架构设计的，应该以实测数据作为对比，但当前缺乏这类数据，先用 TOPS 指标看个大概。

我们看看当前常用的英伟达各种显卡芯片，以及移动端设备芯片这几个指标的情况：
（更多…）

接上篇，继续优化我们的黏土风 workflow。

引导图控制

来看看上篇里的最后一个case：

黏土风格效果还可以，但人物动作总会跟原图不一致，一会双手放地板，一会侧身。图生图一般希望整体轮廓、人物姿态与原图一致，有没有办法控制？

我们可以给它加上 ControlNet 节点，用 canny 边缘检测，试试控制画面主体的轮廓结构：

这下就比较准确地还原了原图的姿势了。

ControlNet 介绍

ControlNet 是一种神经网络架构，能做到通过添加额外的引导图片输入（如边缘图、姿态图等）来控制 SD 模型的扩散生成方向，实现对图像生成过程的精确引导。

通过这套架构，可以训练出每种控制方式对应的模型，生图过程中应用这个模型，输入对应的引导图，就能生成对应的图。

以下是 ControlNet 作者训练好的几种模型，以及用这些引导图生成的图片效果：sketch草稿、map法线贴图、depth深度图、canny边缘、line线、edge边缘、场景、Pose人物姿势

看下 ComfyUI ControlNet 相关的这几个节点：

1. 每个 ControlNet 模型的输入，都是预处理好的一张引导图，一般用简单的算法就能处理出来，这里用的是 ControlNet canny 边缘控制的一个模型，对应一个 canny 算法节点，一个古老的算法，python 的 OpenCV 库就有。
2. 接着加载 canny 对应的 ControlNet 模型。
3. 这张边缘图片输入到 ControlNet 模型，跟文本一起，作为模型降噪生成过程中的引导，指引降噪方向，生成符合文本描述、符合图片边缘形状的图。

这里的 canny 可以替换成 sketch、depth、pose 等算法，搭配上对应的 ControlNet 模型，就能实现不同的控制方式。

ControlNet 原理

扩散生图模型出现后，就有很多人探索怎样更好控制它的生成，显然如果只能用文字生图，可控性太差，最直观的还是能通过草图指引控制它画什么。

怎么解这个问题？对模型简单做一个端到端微调是否可行？例如想让模型按 canny 检测出来的边缘去生成图片，那造一堆 原图 – canny图 的配对作为训练集，微调让模型学习到边缘图和最终生图的关系，是否就可以？大思路是这样，但需要解决微调带来的过拟合、破坏原模型能力的问题，需要设计一个网络结构，能很好认得 canny 引导图特征、跟扩散模型很好结合、效果稳定。

有很多人做过不同的研究，提出过多种方法，ControlNet 的方法相对前人有很大优势，能稳定用在各种场景上，效果最佳，应用广泛。

网络架构

（更多…）

在前面的学习中，我们把 SD UNet 网络当成黑盒，不太影响对图片生成大致原理的理解，但在继续学 SD 的过程中，发现 ControlNet、T2I-Adapter、IPAdapter 等这些技术，都是在原 SD 网络模型上以各种方式对网络做修改叠加，要理解这些技术，还是得先了解下 SD UNet 网络结构的一些细节，不然看得很费劲。

SD 模型构成

从之前的学习我们知道，Stable Diffusion 模型里包含了三个组件：CLIP、VAE、UNet，这三个组件的参数和大小分布(来源)：

组件	参数个数	文件大小	占比
CLIP	123,060,480	492 MB	12%
VAE	83,653,863	335 MB	8%
UNet	859,520,964	3.44 GB	80%
Total	1,066,235,307	4.27 GB	100%

整个生图的核心网络就是 UNet。UNet 最初是用于医学图像分割任务而提出来的，但它的特性展现了在图像其他领域的应用潜力，后续经过扩散模型的改进，很好应用在了图像生成上，所以 Stable Diffusion 的 UNet 实际上在原 UNet 网络架构上做了一些改造。

基础 UNet 网络

我们先来看看原 UNet 网络架构：

（更多…）

继续学习 Stable Diffusion，这次想以搭建一个实际可用的生图场景 — 黏土风格作为引导，弄清楚整个流程的同时，把过程中遇到的相关概念和原理也做了解，所以这篇是掺和了应用流程和原理的文章。

ComfyUI & 模型

使用 Stable Diffusion 去生成图，有非常多的插件/模型/配置相互搭配组合使用，一般用 WebUI 和 ComfyUI 这两个工具，更推荐 ComfyUI，自由串联一个个模块，流程更清楚，网上有很多在自己电脑部署使用 comfyUI 的保姆级教程，比如这个，这里就不多介绍了。

先看 ComfyUI 这个默认的最简单的 workflow：

这里面简单的几个元素概念和生图流程，上篇文章都有介绍过：最左边的 Load Checkpoint 是加载 SD 模型，接着用 CLIP 模型编码文本 → 生成隐空间原始噪声图 → 采样器根据文本和噪声图输入→在隐空间里迭代降噪生成隐空间图片→最终用VAE解码图片。

为什么叫模型 checkpoint ？模型在微调训练过程中，会在关键节点保存模型参数的状态，这个保存点被称为 checkpoint，SD 有大量基于基座模型微调训练的模型，包括官方出的，比如 SDv1.5 是从 v1.2 的基础上调整得到的，SDXL Turbo 也是基于 SDXL1.0 基础上训练的，这些模型都被称为 checkpoint，这些 checkpoint 包含了生成图所需要的全部核心组件，包括 VAE、CLIP、UNet 的模型数据，可以直接使用。

那模型文件的后缀为什么是 .safetensors ？早期的模型文件后缀是 .ckpt （checkpoint缩写），一个通过 Python 序列化后的数据，使用时需要对它反序列化，这个反序列化过程也就容易被注入恶意代码，所以后面提出了新型安全的格式 safetensors，只包含张量数据（模型上的参数数据），无需反序列化，安全且速度快，目前模型基本都以这种方式存储。

我们用这个默认 workflow，选个模型，用纯提示词 claymation style, a tower 试试生成黏土风图片：（图上使用了 dreamshaperXL 模型，是在SDXL 的基础上微调的最受欢迎的一个模型）

可以看到效果并不是很好，比较生硬。可能加多一些细节提示词、调节下相关参数会好一些，但在图片训练过程中，黏土风格相关的图片数量应该是不多的，训练图片对应的文本描述也比较散，如果固定要这种风格，生图的 prompt 要尽量贴近训练时这类图偏对应的文本，才有可能有好一点的效果，这很难控制，也不保证效果，很难达到我们想要的风格。

（更多…）

最近关注和学习 AI 比较多，包括 AIGC 和 LLM 大模型，现在 AI 的原理介绍和入门教程已经非常多了，但还是想自己写一下，主要是遵从费曼学习法，分享是最好的学习，帮助自己整理思路。

本文介绍这一轮图片生成热潮的集大成者 Stable Diffusion 涉及的一些图片生成基本原理，这里全篇不会有数学公式，因为大部分公式我也不懂，但应该不会太影响理解基本原理和思路，有理解错误的地方欢迎指正。

扩散模型

在看图片生成这个逆天能力的时候，很好奇它是怎么做到的。要完全理解这里面的算法细节门槛挺高，但要了解基础原理概念还是简单的。

目前市面上文字生成图片基本上都基于 Diffusion 扩散模型，Stable Diffusion 自然也是，它最基本的原理是：根据文字指示，把一张随机生成的全是噪点的图片，一步步去掉噪点生成跟文字描述匹配的图片。

具体是怎样做到的？这里可以分步看两个问题：

1. 怎么从一张随机噪点的图生成一张正常的图
2. 怎么控制这个生成的图跟输入的 prompt 文字关联上

先看第一个问题，从随机噪点图生成一张正常图片，通过训练和组合 UNet 模型可以做到。

单步训练-生成

UNet 是个深度学习网络模型，模型细节不说，个人可以非常粗略地理解为，这个 UNet 模型里面的参数，记录了训练的图片的内容，但它不是精确存储，而是有一些映射和数学运算，做到可以识别提取图片特征，模糊地记忆图片的关键信息，混合存储。

这个模型训练出来后，如果你是用一张图片玩命训练它，那它最终恢复出来的就是这张图片(maybe?)。如果你用1万张图片训练这个模型，那它恢复出来的会是这一万张图片内容随机组合的一张图片。

（更多…）

背景

随着各业务流量红利逐渐见顶，如何在有限的流量下，提升流量给用户带来的体验，对流量进行精细化运营，进而提升转化效率，成为各业务的重要课题。

蚂蚁数字金融线包含了 保险/理财/信用/借贷 等业务，经过多年建设，形成了多样的金融资产/场景服务/权益/内容等多维度的产品去服务用户，而这些产品分发给用户时，决定曝转率的大体上以产品推荐是否精准，以及产品以什么样的UI表述方式进行展示决定。在产品推荐上，算法已经逐步覆盖，给业务带来很大的效果提升，在产品推荐算法优化到一定程度后，提升的投入产出比已经有限，我们开始在UI展示上探索，是否个性化智能化的展示能为业务带来提升。

探索

淘宝比较早地做了智能UI的尝试，在推荐出商品后，对于商品的UI展现方式进行千人千面个性化，商品列表有两列/三列/横排的布局方式，商品封面有 场景图/白底图/视频 等类型，商品本身有 标题/描述/评价/销量/属性/标签/活动/价格/快递/地区 等一系列字段标签，在列表上无法全部容纳，不同的人对不同的 布局密度/封面/字段标签 会有不一样的关注度，这里就有了智能化的空间，对这些属性进行自由组合千人千面推荐，取得不错的提升成果。

在数字金融线的业务，是否也可以这样做？数字金融线各业务的“货”并不是统一标准化的商品，主要由 金融资产/服务/权益/内容 构成。例如财富业务，金融资产(基金/定期等)在购买门槛高的情况下，会通过各种包装降低门槛，包括场景化包装成服务(工资理财/笔笔攒等），配合营销活动包装权益(体验金/财运金/黄金票等)，包装资讯/视频/直播等形式的内容。同时这些包装后的“货”在不同场景有不同的UI展现形式，并不是标准化的，这些“货”也没有多种字段可以直接进行自由组合搭配，如何能做个性化千人千面？

问题

我们可以针对一个个场景设计多个模板样式去匹配不同的人，这也是之前在一些业务上进行过一些尝试的，但有几个问题：

1. 无设计标准：设计什么不同的UI样式才可能有效，没有标准和指导，靠设计师个人经验。
2. 样式生产效能：UI样式需要一定量级进行分人群匹配，设计工作量大。
3. 算法匹配信息不足：算法难以识别不同UI样式间的差别，以 人<->样式ID 的方式匹配效果有限。
4. 无沉淀不通用：不同的场景割裂，设计经验/算法经验/工程链路无法复用，无法沉淀用户偏好，各场景实现成本大。

针对这些问题，我们探索了一套相对通用的个性化UI解决方案。

方案

语义标签体系

首先是根据过往数金各场景的设计经验，由设计团队主导抽象出一套UI语义标签体系，去描述一个UI样式里可能吸引用户点击的关键点。

这个标签体系分表现层和内容层两个层面：

1. 表现层去描述UI长什么样，比如它的风格是实物还是扁平的，色彩是鲜艳的还是偏透明的，字体相对大小。
2. 内容层表示这个UI展现有什么内在含义，比如它是突出权益的(红包/抽奖等)，代表从众心理的(xx人正在购买)，代表认知的(黄金图/人物图/降维描述/品牌权威描述)等等。

我们认为不同人对这里列出来的标签是会有不同偏好的，例如年轻持仓少的，可能用扁平图/从众/降维描述相对能打中，老年人可能对权益/实物图形/大按钮比较敏感。

这套标签期望能产生几个作用：

1. 指导设计往什么方向进行差异化设计。
2. 语义化描述UI，作为特征让算法更好地认识UI的外在和内在含义，多场景通用。
3. 后期可以针对线上数据进行归因分析，语义化看出不同用户的UI偏好差异。

工程算法

标签体系的思路把UI的维度拆细了，为不同人原子化设计不同的元素，我们沿着这个思路打造了相应的工程和算法方案：

1.多样式生成

我们将UI原子化打散-自由组合。一个产品可以以各种方式包装后呈现给用户，主要包括描述产品的创意物料（文案/图片/动画），再配合不同的样式和版式（字号/背景/布局排版）组成，这些元素可以进行自由组合，例如一个单图文模块，我们可以参考标签体系设计10个文案，10个图片，2个排版样式，排列组合就可以生成200个UI样式包，作为丰富的可以匹配不同用户的素材。

2.UI偏好模型

我们将组合生成的UI样式包结合UI标签与用户属性进行匹配关联，以CTR为目标训练模型。训练中取三种数据：

1. 用户属性，包括年龄性别等基础属性，以及像持仓情况、投资次数这样的业务属性
2. 每个UI样式包所打的UI标签数据
3. 每个UI样式包在线上随机投放的曝光点击数据

经过特征工程处理，组成训练集去训练出DNN模型，在线上部署使用，输入是 用户属性 + (UI样式包对应的)UI标签 列表，输出是每个UI包的点击概率排序。

3.工程链路打通

从样式配置，到数据组装，到召回排序，到最后前端渲染，对接各个平台串联整个链路，在各场景实现千人千面UI推荐能力。

落地效果

当前个性化UI在数金多个场景落地，不同场景有不同的提升效果，按流量平均下来CTR（曝光点击率)提升20%左右，同时接入的场景CVR(曝光转化率)也同步提升。

其中流量最大的是支付宝首页财富生活模块，组合了几百种样式进行匹配推荐，CTR的提升在首页大流量的加持下为业务带来很大价值。

CTR提升最大的是理财Tab蓄水版直通车里的黄金和黄金票卡片，一千多 种样式，CTR 和CVR可以提升50%左右。在这个版本里卡片在屏幕占比较大，不同元素的展示对用户点击的影响是非常大的，这也是最适合接入个性化UI的场景。

分析

有效性分析

为什么这套方案会有效提升CTR，尝试回答几个常见问题：

1.疲劳度

是不是用户对一成不变的样式有疲劳度，只要有新的样式点击率就会提高？我们在每个场景里上线个性化UI，会分几个桶进行AB效果对比，其中随机桶是对组合生成的几百个样式进行随机投放，比如这是财富生活的实验数据：

可以看到随机投放组合出来的样式效果并不好，并没有因为样式多了就能提升，反而因为组合出来的某些质量相对差的样式影响CTR下降，这在多个场景里都有类似的的情况，可以看到CTR的提升并不是疲劳度新鲜UI带来的。

2.UI外的因素

是否是UI以外的因素影响CTR，例如不同的产品/权益内容？每个展位接入的AB实验里，产品和权益是固定不变的，个性化UI用不同的表述方式（图片/文案/样式/排版）展示同样的产品和权益在同一时间随机人群进行AB对比，没有其他因素干扰。

3.新样式抢眼

是否有几个很吸引眼球的UI拉高了CTR，没什么人群偏好差别？很有可能因为原来的样式不抢眼，我们组合出来的某些样式加红加粗天然吸引用户注意力，实际上我们实践中因为设计规范的约束不会做太抢注意力的设计，同时我们也分析了，不同样式在随机投放和算法投放的差别，例如下图玩转理财场景里，一些样式算法推荐的人群比这个样式随机投放它的点击率提升了几十个百分点，说明不同人对这些样式有明显偏好，算法把这些样式分配给真正偏好的人，带来了点击率提升的收益。

归因分析

我们看到了用户对不同UI表述展示方式有不同偏好，期望能沉淀出具体人群跟UI的偏好关系，给设计师和业务方在新场景设计中提供参考帮助。得益于UI语义标签体系，我们是可以沉淀出UI偏好和画像的。

我们探索尝试了多种方法去做归因分析，包括：

1. 数据统计，直接统计线上不同人群在不同样式的点击率，在图表上找出点击率的差异，沉淀偏好结论。
2. EBM可解释性模型，解释DNN模型中各特征对最终效果的贡献度，以及交叉特征观察人群特征和UI标签的关联关系。
3. 网格分析，在表格上将多个人群特征-UI标签进行组合，列出所有组合的点击率，从中找出点击率变化规律和差异，找出偏好差异。
4. 标准化偏好，CTR(UI特征,人群特征,对应产品)/CTR(人群特征,对应产品)，衡量单个UI元素在指定人群特征里对点击率的影响程度，再进行对比找出偏好差异。
5. 单样本方法，建模的方式分析人群特征和UI特征的贡献度。

初步可以沉淀出一些偏好洞察，例如：

1. 理财货架场景上，收入较低者偏好产品名称，普通/高收入者偏好产品推荐语。
2. 按钮颜色上，总体红色比蓝色更吸引，但越年轻的用户，越偏好支付宝蓝。
3. 白领/初级投资者偏好金融元素，蓝领/高级投资者偏好品牌元素。
4. 有信用卡者对走势图不敏感，无信用卡者更偏好走势图。
5. 中年(40-50岁)年龄段特别偏好紧迫心理类型的标题，尤其偏好行业风口类。
6. 理财货架中，整体上宫格样式效果远低于列表样式(宫格面积相对小)，但年长者对宫格偏好不低。

归因洞察还未形成稳定分析体系，处于探索期，最终是期望探索到一种或多种分析有效通用的方法，沉淀为平台自动分析能力，能在平台沉淀 业务维度、场景维度、人群维度 的UI偏好画像。

产品化

在方案落地出效果后，我们看到这套能力是具备一定通用性，各业务可以接入获益的，于是我们致力于将它的能力产品化，沉淀多样式生成配置、通用高效的UI偏好模型等能力，让各场景可以快速接入。主要围绕接入效率和接入效果进行优化。

效率优化

个性化UI的接入成本比较高，需要设计素材，人工打标，前端/业务后台/中台对接工程链路，训练UI偏好模型，跟进实验，手工清洗数据分析。涉及流程长，对接的角色多，投入较大。在平台级大流量展位上接入这套能力，能产出很大的业务效果，这样的投入还能接受，但要覆盖更多的长尾场景，这样的接入效率性价比相对低，难以被接受，我们从几个方面建设去提升各场景的接入效率：

1. 一站式配置平台(万花筒平台)，完善样式配置、组合预览、打标、筛选审核、业务干预、样式三板斧发布、数据分析能力。
2. 通用链路，提供从样式包召回、推荐、数据组装的通用工程链路，通过 BFF SDK 输出，普通场景只需要前端BFF接入SDK即可完成接入，减少与业务后台和中台的链路对接。
3. 通用模型，用户特征和UI标签特征在各个场景里是通用的，也就可以训练出一个通用模型，映射用户特征和UI标签特征的偏好关系进行推荐，虽然效果相对专门训练的模型会打折扣，但适合长尾场景快速接入。
4. 专用链路，数金多数场景与各业务平台和中台结合较紧密，我们把个性化UI能力嵌入这些平台，可以提供更好的结合业务和特定场景的一站式使用体验，提升效率，例如对接UCDP/梵高/毕加索建设banner链路、对接洛可建设微贷专有链路等。

以上几点是短期内会建设完成的能力，此外有两个正在探索中的提升接入效率的课题：

1. 素材生成，当前接入的大多数场景需要设计师和运营一起产出多个图片和文案素材，这是接入流程中最大的成本，我们在探索素材自动生成的方案，沉淀符合设计规范的原子图片素材库，提供对不同场景尺寸和组合的处理适配能力，让图片素材可以在多个场景里复用。文案方面在中台智能文案基础上加入更多的业务语料，自动生产的文案更符合业务调性和用户偏好。
2. 自动化打标，当前需要手工对每个元素进行打标，当标签趋于稳定，并且打标量达到一定程度后，可以通过算法理解图片和文本，归类到指定的标签进行自动化打标，减少人工投入。

效果优化

如何对样式推荐的效果进行进一步提升，也是我们持续在探索的，算法效果的提升，很大一部分取决于特征数据的丰富和准确，围绕数据会在这几方面进行尝试：

1. 端智能结合，云端不直接推荐UI样式结果，而是推荐几个样式候选集，端上再进行实时重排。为什么端上重排可能会有效，端上可以根据用户的实时行为，判断用户看了还是没看(停留了、快速划过)，再结合它的行为路径(点了有某个UI标签的展位、快速离开、去了很多二级页等)，去综合判断是否因为疲劳度、兴趣变化等去切换其他样式，更好打中用户。
2. 自动特征工程，训练专用的UI推荐模型时，会根据对场景的理解进行特征筛选和交叉组合处理，这里选择什么特征交叉由个人经验决定，我们借助AI中台的能力，尝试autoCross自动筛选有效的交叉特征，理论上能得到比手工交叉筛选更好的效果，同时减少特征工程的人员投入。
3. 多模态建模，抽取图片素材/文本素材的高维特征，融合后作为UI标签的补充加入训练，丰富模型对UI的理解。
4. UI标签演进，我们一开始构建的表现层/内容层的标签体系，几个场景使用下来有不错的效果，但还没能做到很通用地描述UI，正在尝试以描述因子/驱动因子的方式组织标签，我们会尝试不断迭代标签的描述粒度和通用性。

未来

个性化UI在金融场景我们实现了从0到1的突破，后续从1到100我们还需要做很多工作，除了上面说的产品化效率和效果优化，还有三个方向持续探索：

1. 通用性，当前的标签体系、模型、工程链路都是围绕数金业务进行建设，实际上这套能力在多产品服务分发的场景都能适用，比较适合支付宝的业务形态，后续可提升通用性，在支付宝分发海量产品服务的展位上进行尝试。
2. UI偏好画像，接入的场景足够多，标签体系足够完善，归因的方法探索出通用有效的方案后，可以沉淀用户的UI偏好画像，作为体验端的数据资产，为后续算法模型、业务设计提供价值。
3. 能力扩展，我们围绕单展位模块的千人千面建设个性化UI能力，在这以外，跟智能展示相关的，还会有其他空间可以挖掘，例如全屏的注意力管理，用智能化的手段，避免全屏范围内 动画/红点/抢眼颜色/弹屏 不断抢占用户吸引力，以合适的方式分配用户注意力，提供更好的体验和效果，是一个可以探索的方向。

总结

我们针对数金的业务特性，在对产品的个性化UI展示上提出了 元素打散组合-语义打标-算法推荐-归因分析 的方案，落地取得了不错的效果，当前在将能力进行产品化沉淀的过程中，逐渐完善核心的 多样式生产、精准UI偏好模型、UI偏好画像 能力，让各长尾场景快速接入取得规模化的业务结果。过程中会碰到许多困难，但核心的“不同人有不同UI偏好”已被验证，我们会沿着这个方向，联合设计、产品运营、算法、质量一起持续深耕和拓展个性化UI能力。

去年团队在用户端上进行了一些简单的智能应用探索实践，这里记录梳理下。

现在很多“智能”，是普通推荐算法借深度学习的风包装的，核心也就是决策树/随机森林/SVM这些90年代已经提出的算法，我们这里的实践也是这样。在用户端上，智能应用最广泛的目前两个点：个性化和多媒体识别，我们主要实践是在个性化上，从原来所有用户都用同一套或几套规则，换成根据推荐算法给每个用户制定符合他个性化特征的不同规则。

实际上简单的个性化推荐也可以认为是规则，只是这个规则很复杂，里面的if/else/权重/概率计算不是人工写的，而是算法算出来的，大多采用监督学习的方式，这种需求大体实现步骤是：

1. 建模，把问题转化为三个点：输入/输出/算法。也就是挑选特征集X，确定输出目标值标签Y，挑选算法尝试找出Y=f(X)。
2. 取数，选择一坨线上数据，清洗出需要的特征和对应的目标值。
3. 训练，不断调整算法/参数/数据，找出用户特征->目标值的一个靠谱转化方式，输出一个模型。
4. 应用，部署线上应用，实时预测，分析效果输入特征。

按这个套路，寻找了一些应用场景，做了一些尝试。

金额推荐

金额推荐概念很简单，我们作为理财业务，有很多场景是需要用户填入金额的，例如工资理财（每月自动把钱存到理财），小星愿（许愿存入钱），基金定投，各种理财产品的购买等。目前这些填金额的地方不是空着，就是有一个固定的默认值，金额推荐想根据每个用户的情况给推荐不同的金额，可以预填进输入框或出提示供用户选择，提升体验，甚至做出一些引导提升客单价。接下来套在上述步骤里来看下大致实施过程。

1. 建模：
   • 输入特征基本上先拍脑袋尽量多的选取可能有关的特征，比如年龄，城市，过去交易金额等，后期训练迭代过程中会根据计算出的每个特征的重要性再进行几轮筛选。
   • 输出标签目标值是金额，但金额推荐这个需求不需要把每个用户的金额预测精确到个位数，从用户数据观察多数金额集中在有限的一些整数上（比如100/500/1000/2000等），所以这里只需要把金额分成一些档位，目标值是金额档位。
   • 算法，目标值是金额档位，是一个分类问题，分类算法中选用了随机森林这种集成算法，简单应用广，过程中也试过其他算法，效果差不多。
2. 取数：
   • 进行一些数据预处理，例如把非数值类型的特征转为数值，合并特征和标签等。
   • 把最近一次交易金额转为对应金额档次分类作为目标值标签。
3. 训练：使用第二步的部分数据进行训练，拟合出一个模型，再使用另一部分数据评估模型的预测效果。过程中通过各种调参/分析/数据处理，优化模型评估效果，例如：
   • 提升数据质量，筛选出过去购买金额有一定规律的人群数据，比如多次购买的方差不超过某个数值。
   • 参考随机森林特征重要性中的 entrophy 和 gini 指数，去除重要性较低的特征。
   • 减少标签金额档次的个数，只保留多数用户会命中的几个档次。
4. 应用：部署模型，不同的交易产品有不同的用法，可以把预测值直接预填进输入框，也可以在旁边出输入提示显示推荐的金额。然后就是一系列ABTest、性能优化、监控、数据效果分析的工作。

不同交易产品(工资理财/小星愿)对特征和标签的选取有一些小的不同，但大致处理流程一致。实践中工资理财把固定的1000元引导改成推荐的金额，订单平均金额提升60%，32%用户直接使用了推荐的金额。小星愿把金额推荐作为提示供用户选择，相比直接放一个该用户历史交易金额作为提示，点击率高十几倍，用户对推荐金额的接受程度较高。

智能push

智能push想做的是在合适的时间给人推push，提高点击率。基于一个假想：每个用户都有不同时间段的活跃时间点，如果push不是统一固定时间下发，而是选择每个用户对应活跃的时间点下发，可以提高点击率。这里的push是促活类的，例如资讯的push。这里的问题可以转化为：怎样根据一个用户已有信息预测出他的活跃时间点。

1. 建模
   • 输入，选取可能跟用户作息有关的年龄/收入/城市等基础信息，再加上用户过去7天的push点击数据作为特征值。
   • 输出，用户的活跃时间点，精确到小时，用户一天可能在多个时间点活跃，需要输出多个时间点。因为需求原因，push时间点限制在8-21点。
   • 算法，8-21点共14个小时，14小时->14个分类，多个时间点活跃->属于多个分类，是个多标签分类问题，我们用多个二分类的方式实现，同样用随机森林的算法，14个时间点每个点都单独做一次二分类，每个二分类的计算结果都是0-1之间的数，可以当成这个用户在这个时间点的活跃概率，最后合起来，得到每个时间点的概率。再根据指定阈值确定是否活跃时间点，例如：
     
2. 取数：
   • 对过去的push数据进行处理，根据8点-21点每个时间是否有点击push，合成多条特征数据，取过去8天的数据，1-7天的数据作为特征，第8天的数据作为目标值标签。
   • 清洗用户基础特征，数据转换，拼接push特征。
3. 训练：根据第二步的数据分14个二分类(14个时间点）训练，得到14个模型，每个时间点一个模型，最后合成一个。
4. 应用：经过算法模型可以得到用户每个时间点的活跃概率，有多种使用策略，可以通过阈值得到几个活跃时间点，也可以直接选用概率最高的时间点，还可以在业务发送push时，往后选取概率最大的时间点发送，例如业务12点发送push，选12点-21点之间概率最大的时间点，把push进队列延迟到该时间点发送。

同样是经过了多轮的数据分析、模型调整、特征优化、AB实验、Android分链路优化等，最终同一条push内容，使用智能push链路和普通链路直接推送相比，点击率稳定在提升25%左右。

本地处理

push的优化上当时我们想做更多，除了活跃时间段，实际上影响用户点击push的还有他当前手机的实时状态，例如是否在看视频/玩游戏/放在口袋里等状态，在这些情况下用户点击push概率一定很小，如果在收到push后显示前能实时检测到这些状态，就可以推迟到更合适的时间显示。为此我们在iOS上做了一些尝试：

1. 需要在用户收到push后执行代码逻辑，再决定是否显示push，经调研 Notification Extension 没有取消展示push的能力，VoIP 需要特殊权限，只能用普通的静默push去做。
2. 每条push都改成静默push，收到后唤起执行代码，经过各种判断后创建Local Notification，在指定时间展示push。
3. iOS 无法直接判断用户正在运行的程序和手机状态，只能通过一些侧面属性判断，包括横竖屏状态、耳机插入、内存情况、cpu情况、锁屏情况、网络状态这些信息，模糊猜测用户当前所处环境，给出一条运算公式计算用户当前是否适合展示push，公式可以动态下发，根据效果调整。
4. 用户本地保存上面跑出来的每个时间点活跃概率数据，把push延迟到下一个较活跃的时间点显示。

Android 也实现了差不多的方案，不过iOS和Android的方案都有缺陷，iOS方面用户手动kill掉的APP情况会收不到静默push，会影响push的到达率，Android方面没有可靠的延迟展示push手段，若延迟的时间点APP处于非活跃状态，会无法展示，同样也是会影响 push 到达率，这些缺陷导致最后本地处理的方案实现后没有很好地应用上。

其他

除了金额推荐、智能push，还做了一些其他智能的尝试，包括

1. 智能异常检测：客户端的一些异常很多时候无法通过代码准确地检测到，例如图形引擎在一些安卓机器上的花屏，没有报错的白屏/黑屏，期望是有统一的手段检测到这些显示的异常。做法是在端上内置机器学习框架，云端训练模型，输入是截屏图片，输出是异常分类，我们挑了三种情况作为异常截屏样本：白屏/黑屏/花屏，做一个简单的图形分类模型，典型的深度学习cnn入门级项目，压缩模型下发到客户端运行，用户运行过程中根据一定的规则抽样进行截屏检测，有异常可能即上报。
2. 股票OCR导入：自选股票从不同APP迁移时，需要逐个股票进行输入->搜索->添加自选，这里要做的是在应用A自选列表截屏，在应用B导入截屏，OCR识别出截屏上的股票代码。OCR是比较通用的识别能力，直接用现成模型，配合一些逻辑处理就能实现了。

还有像智能预加载/智能分页/交互预测/交易流失归因分析这些实践，但还没有做完整，就不描述了。

感想

1. 当智能基础能力的基建（训练平台，模型部署，数据打标等）做好了，要把智能能力应用到业务上时，需要的更多是业务理解和数据分析能力，多数精力会耗费在清洗数据、模型调优上，这个能力跟工程能力有很大不同。
2. 简单的“智能”需求，不需要理解具体算法实现也能做出来，只是理解了算法可能对优化有帮助。
3. 机器学习算法繁多，与过往计算机通用经验复用度不高，要达到创造/改进算法的程度门槛太高。
4. 用户端体验上的智能应用在多媒体、IoT、系统级优化上比较有空间，其他的并没有找到特别大的应用场景。
5. 即使做了几个智能的应用，也没法说已经入门了这个领域，只是接触到一点皮毛，而且当时去补的各种知识点在一段时间没有接触使用后，也很容易就遗忘了。