Transformer 里的 Q K V 是什么

2024-7-7 评论(0) 分类:技术文章 Tags:

Transformer 作为新 AI 时代的基石,有必要深入了解下。网上对 Transformer 的教学文章/视频非常多,很多讲得很好,像 3Blue1Brown 的讲解视频,以及这篇文章。整个详细过程原理写不来,本文主要记录一下其中我觉得比较容易混淆的 Attention 模块运算过程,主要是里面的 Q K V 的概念/运算过程/作用。

1

这是 Transformer 架构图,左边是 encoder,右边是 decoder,实际 LLM 大模型是只由右边 decoder 构成,这里面大部分是常用的 Feed Forward(前馈网络)/ Add(残差连接)/ Norm(层归一化),核心还是 Multi-Head Attention 模块,我们来具体看看 Multi-Head Attention 模块里做了什么。

输入

假设一个字是一个 token,输入是”我有一个玩”(用于推测下一个字”具“),5 个字,每个字用一个向量表示,每个向量假设是 9 维(GPT3 是 12288 维),也就是用 9 个数值表示这个字,那每个词顺序排下来,就组成了 5 行 9 列的输入矩阵,称他为 X,每一行代表一个词。

2

6每一个圈圈代表一个数值。”我“字由蓝色的9个数值表示,“有”字是绿色的9个数值。这 9 个数值组成一个 9 维向量,这里每个字对应的向量值是一开始定好的,至于怎么定的不细说,可以看看相关文章。

这个输入矩阵经过 Multi-Head Attention 模块运算,输出另一个同宽高的矩阵,接下来详细看看这个运算过程。

3

权重矩阵 & Multi-Head Attention

Multi-Head Attention 是由多个 Self Attention 模块拼接而成,如果它只有一个 head,就是一个 Self Attension 模块。

Self Attention

Self Attention 模块里,会包含 Wq Wk Wv 三个参数权重矩阵,模型训练过程就是不断调整 Wq Wk Wv 里的数值。

这几个权重矩阵的行和列数,需要满足:

  1. 行数:输入矩阵 X 会与它们进行相乘,所以行数需要与输入词向量的维度匹配,也就是 9。
  2. 列数:Transformer 中整个 Attention 模块的输入数据和输出数据维度应该是一致的,才能多层重复叠加,从矩阵相乘特性知道,这些权重矩阵的列数也应该对齐词向量的维度,还是 9。

所以如果这里是单个 Self Attention,Wq Wk Wv 就是行数和列数都是与词向量维度一致的矩阵,也就是 9×9。

Multi-Head Attention

但这里希望模型能捕获到单词间的多种不同注意力,所以会把它拆出来再拼接。假设把它拆成 3 个 head,那就是能捕获到 3 种单词之间不同的关系。这里拆出来的 3 个 head 就是 3 个 Self Attention 模块,每个模块有自己的 Wq Wk Wv 矩阵,行列数是 9 x 3。这里每个 Self Attention 独自进行注意力运算后,再组合拼接。

4

这里文字描述得比较绕,见后续运算过程和结果的图示比较清晰。

Attention 运算过程

先来看这里每个 Self Attention 模块的运算过程。

这里输入向量分别与 Wq Wk Wv 相乘,得到新的矩阵 Q K V,Q(query) K(key) V(value) 名字已经对应了它的含义,看完它的运算过程后,再来补充下对它含义的理解。

可以认为这里 Q K V 这几个新的矩阵,每一行仍然是表示一个单词 token 向量,只是换了种表示 (矩阵的乘法特性,例如第一行里的每一个数据都是由原矩阵第一行与 W 矩阵运算得来,与其他行无关)。

下图是 Q 矩阵的运算过程,K V 的过程一样,只是 W 权重矩阵的值不同,略过。

5

接着要做的是,计算每一个单词对于其他单词的 Attention 系数,这是一个两两可重复排列组合。上面 5 个单词,每个单词都 K 矩阵里的自己以及其他所有单词逐一计算出一个值,生成一个 5 x 5 的矩阵。这个矩阵的计算方式就是 Q*KT(K的转置矩阵),由矩阵乘法特性可以看出,这样算出来的矩阵,就是单词之间的关系值,比如第一行第五列数值,就是“我”和“玩”之间的注意力关系值。下图用颜色表示这个过程。

6

相乘后对这个矩阵进行 softmax (在这之前还会除以 √dk 向量维度,可以先忽略),每一行的和都为1,这里的矩阵第 i 行的数据表示的是第 i 个单词与其他单词的关系,这里归一化后,数值可以表示理解为,从全文范围上,每个单词对这第 i 个单词的重要程度比例。

最后这里的 Attention 系数矩阵,与矩阵 V 相乘,得到的是新的结合了每个单词之间 Attention 信息的矩阵。输出的矩阵中每一行还是表示一个单词,但这个单词向量经过这里注意力运算后,每个单词向量都集合了上下文每个单词的注意力信息。

7

单独拆除这里的第一行看看它的意义,单词”我“跟每一个字的注意力权重,再乘以每个字在 V 矩阵里的向量表示,结果再相加,组成最后的结果。比如这里第一个字”我“跟第三个字”一“的权重是0.1,那”一“的向量值对运算后最后表示”我“这个字的向量结果影响很小,如果是 0 就是没有影响。

8

上述整个过程,可以用这个数学公式表示:

9

Multi-Head Attention 模块里每个 Self Attention 模块都做同样的运算(但里面的 Wq Wk Wv 权重不同,数值结果不同),拼接起来,形成最终的结果,这个结果矩阵里,每一行每个字的表示,都已经集合了与其他所有字的注意力关系信息。

10

整个过程实际上还有个掩码的机制,按上述运算,这里输出的每个单词向量都包含了上下文所有的信息,通过掩码机制,会变成每个单词只包含单词所在前面位置的信息,比如第二行“有”只包含了“我”和“有”的信息,没有后面”一“”个“”玩“的信息。这里不继续展开了。

这里每一行包含了前面所有单词的注意力信息,也就可以通过这里的表示预测下一个单词,所以从这个矩阵最后一行“玩”的向量数值,就可以用于预测对应下一个单词是什么。

整个 Multi-Head Attention 的运算过程大致是这样了。实际模型如 GPT3,单词向量维度是12288,上下文长度2048(每个 token 都要跟2048个token计算注意力),每个 Multi-Head Attention 分成 96 个 head,同时有 96 层叠加,也就是 96 个 Multi-Head Attention,运算量是巨大的。

Q K V 的作用

Q 可以理解为原输入的词数据,拿着这个数据找谁跟我有关系。K 是被找的数据,用于计算输入的每个词之间的关系。Q 和 K 是为了算出 Attention 关系系数,知道每个 K 的数据跟 Q 是什么关系。

如果 Q 和 K 是同个输入变换来的,那就是自注意力,如果是不同输入变换来,那就是交叉注意力,比如 Stable Diffusion 里 Unet 的交叉注意力模块中,Q 是文字 prompt,K 和 V 是图片信息,Q 与 K 计算的是文字与图片信息的 Attention 关系系数。

K 和 V 是同个数据源,这个数据源,从 Q 和 K 的运算知道每个 Q 与数据源的关系系数,再与数据源做运算就是把这个关系数据作用到源数据上,源数据去做相应偏移,也就是可以在 Q 的作用下对源数据做相应推测。

感想

为什么这样一个算法架构,能衍生出智能,而且这个架构能扩展到多模态,语音、图像、视频基于它都有非常好的效果?我个人理解,最核心有两个点:

  1. 上下文信息充足
  2. 并行计算能力强

其他算法架构如果能充分融入上下文信息,规模大了也能有智能,只是 Transformer 可并行运算的特性,让目前的计算机算力可以触摸到涌现的那个点。

AI 瞎想 – LUI交互/新计算机

2024-6-29 评论(0) 分类:互联网 Tags:

LUI 交互

LUI (Language User Interface,自然语言 or 输入框为主的交互) 有几大缺点:

  1. 效率低(打字)or 隐私性差(语音)。
  2. 说话是填空题(要动脑),GUI 是选择题(可无脑选)。
  3. 难以精确表达。

这三点都是成本,如果一些场景想尝试 LUI 代替部分 GUI,需要时刻想好,如果用户得到的体验大于这几点成本,那就是合适的场景,否则不要勉强。

用 LUI 操作使用工具,模型能力(识别/执行能力)得在这个垂直领域靠近 AGI(代指跟人的识别和执行能力一致),或者能在这领域内限定在尽量小的范围内靠近 AGI,否则交互过程中模型不理解/无法执行带来的挫败,加上第一二点的成本,用户得到的体验大概率是负的。

微软copilot 尝试了GUI 为主,LUI为辅的方式。剪映的对话式剪辑尝试了以 LUI 为中心,GUI 为辅或者没有 GUI 的方式。目前看起来都没达到预期。原因自然是模型能力还达不到,识别和执行能力差。

视频剪辑/PPT制作 领域都太大,在这个大垂直领域模型要做到 AGI 的程度还太早,也是高估了短期模型能力的进步速度,需要把领域范围限定得更小,在这范围内用户的输入都能很好理解和执行,才可能跑通。

假如模型真达到 AGI 的程度,跟人的能力一样,是否视频剪辑用 LUI 是最好的方式?想象中不一定,工具能力不会是无限的,总有个范围,这个范围 GUI 能清楚地告诉你,LUI 很难,到时可能会有其他演化的交互配合 LUI。

新计算机

最近学习 transformer,看那些向量/矩阵的乘法,有种在学数字电路原理的感觉,要作类比的话,模型就是新的计算机,transformer 像芯片,SFT 像汇编,prompt 像 c 语言,往上 langchain/coze 是高级语言的尝试。原计算机是确定性计算,模型是概率性的模拟人脑的计算机。

但模型并没有遵循摩尔定律,18 个月性能翻一翻,GPU 运算能力确实每年性能都在暴涨,但模型的性能不是计算速度,而是理解能力。GPT-3.5 出来已经 18 个月了,GPT-4 已经 15 个月,模型能力的进步很有限,在这过程最大的变化只是开源模型逐渐追上,以及基于模型上层搭建的应用和生态上,基础模型能力没有大的突破。

我们预期模型性能能持续增强,基础是 Scaling Law,Llama3 训练中的最大参数量模型是4000亿,传闻 GPT4 参数量是1万亿,而人类大脑神经元突触连接有1000万亿(来源Wikipedia,也有说100万亿的),神经网络本身就是模仿大脑的构造,如果做类比有 100-1000 倍的差距,有很大的空间。Scaling Law 目前看还没收敛,能继续往这条路走,只是技术上的承接还没看到规律,无法形成新的摩尔定律,所以大家很期待 GPT-5,它能一定程度上让人判断模型的摩尔定律大概是什么节奏和速度。

图生成和视频生成领域,反而在过去18个月里有非常明显的提升,因为相对 LLM 它还在早期,而图像和视频的特性导致它早期也能有很好的应用。若 LLM 不顺利,图片视频能持续保持这提升速度,更有可能成为这几年的重点。

手机能跑图生成和 LLM 大模型吗

2024-6-11 评论(0) 分类:技术文章 Tags:
💡 能,但还比较勉强。

在客户端上跑大模型,一定是未来的趋势。

  1. 上个时代 AI 的核心应用是推荐系统,推荐是依赖海量数据的,海量数据只有服务端上存在,在推荐这主场景下客户端 AI 上能做的事很少,发展得比较吃力。
  2. 生成式 AI 时代,最大的应用就是模型本身,只有训练时依赖海量数据,使用时并不依赖数据,那理论上只要客户端硬件资源足够,在客户端使用,跟在服务端使用,场景和效果是一致的。
  3. 生成式 AI 在端上跑模型,最大的优势是成本。成本是当前生成式 AI 应用除了效果以外第二大关键因素,在用户客户端上跑模型,对服务提供方来说就是 0 成本,0 成本使更多场景大规模免费应用成为可能。其他的优势还包括 隐私保护、实时性、离线可用

硬件条件

那当前手机设备硬件条件如何?我们可以通过一些指标对手机和服务端的算力差距有个大概认识。

显存:一个模型能不能跑,取决于显存够不够,显存不够模型无法加载。

  1. 服务端一般用独立显卡,有独立显存。
  2. 手机通常使用系统级芯片 Soc(System on a Chip),无独立显卡,SoC 中包含了 CPU、GPU、基带等多个组件,使用统一内存架构允许 CPU 和 GPU 共享同一块内存,所以手机 GPU 显存跟手机内存是一个东西。

性能:而模型跑得快不快,取决于芯片性能怎样。

  1. 芯片性能取决于很多因素,例如芯片架构、显存带宽,而算力是其中一个,通常用TOPS(万亿次每秒 Tera Operations Per Second)指标来衡量算力。TOPS 默认是针对 INT8 整型数的处理次数,另一个指标 TFLOPS 是针对 Float32 浮点数的处理次数。
  2. 在通用 GPU 以外,现代芯片会搭载专门处理 AI 运算的硬件加速器,NVIDIA 是 Tensor Core,手机 SoC 芯片是 NPU (Neural Processing Unit 神经网络处理单元),以下是 Tensor Core 和 NPU 的运算性能指标。
  3. 不同芯片性能,特别是涉及不同芯片架构设计的,应该以实测数据作为对比,但当前缺乏这类数据,先用 TOPS 指标看个大概。

我们看看当前常用的英伟达各种显卡芯片,以及移动端设备芯片这几个指标的情况:
(更多…)

在复刻黏土风图生成中学习(2) — ControlNet / IPAdapter / instantID

2024-6-2 评论(0) 分类:技术文章 Tags:

接上篇,继续优化我们的黏土风 workflow。

引导图控制

来看看上篇里的最后一个case:

1

黏土风格效果还可以,但人物动作总会跟原图不一致,一会双手放地板,一会侧身。图生图一般希望整体轮廓、人物姿态与原图一致,有没有办法控制?

我们可以给它加上 ControlNet 节点,用 canny 边缘检测,试试控制画面主体的轮廓结构:

3

这下就比较准确地还原了原图的姿势了。

ControlNet 介绍

ControlNet 是一种神经网络架构,能做到通过添加额外的引导图片输入(如边缘图、姿态图等)来控制 SD 模型的扩散生成方向,实现对图像生成过程的精确引导。

通过这套架构,可以训练出每种控制方式对应的模型,生图过程中应用这个模型,输入对应的引导图,就能生成对应的图。

以下是 ControlNet 作者训练好的几种模型,以及用这些引导图生成的图片效果:sketch草稿、map法线贴图、depth深度图、canny边缘、line线、edge边缘、场景、Pose人物姿势

2

看下 ComfyUI ControlNet 相关的这几个节点:

4

  1. 每个 ControlNet 模型的输入,都是预处理好的一张引导图,一般用简单的算法就能处理出来,这里用的是 ControlNet canny 边缘控制的一个模型,对应一个 canny 算法节点,一个古老的算法,python 的 OpenCV 库就有。
  2. 接着加载 canny 对应的 ControlNet 模型。
  3. 这张边缘图片输入到 ControlNet 模型,跟文本一起,作为模型降噪生成过程中的引导,指引降噪方向,生成符合文本描述、符合图片边缘形状的图。

这里的 canny 可以替换成 sketch、depth、pose 等算法,搭配上对应的 ControlNet 模型,就能实现不同的控制方式。

ControlNet 原理

扩散生图模型出现后,就有很多人探索怎样更好控制它的生成,显然如果只能用文字生图,可控性太差,最直观的还是能通过草图指引控制它画什么。

怎么解这个问题?对模型简单做一个端到端微调是否可行?例如想让模型按 canny 检测出来的边缘去生成图片,那造一堆 原图 – canny图 的配对作为训练集,微调让模型学习到边缘图和最终生图的关系,是否就可以?大思路是这样,但需要解决微调带来的过拟合、破坏原模型能力的问题,需要设计一个网络结构,能很好认得 canny 引导图特征、跟扩散模型很好结合、效果稳定。

有很多人做过不同的研究,提出过多种方法,ControlNet 的方法相对前人有很大优势,能稳定用在各种场景上,效果最佳,应用广泛。

网络架构

(更多…)

理解 Stable Diffusion UNet 网络

2024-5-26 评论(0) 分类:技术文章 Tags:

前面的学习中,我们把 SD UNet 网络当成黑盒,不太影响对图片生成大致原理的理解,但在继续学 SD 的过程中,发现 ControlNet、T2I-Adapter、IPAdapter 等这些技术,都是在原 SD 网络模型上以各种方式对网络做修改叠加,要理解这些技术,还是得先了解下 SD UNet 网络结构的一些细节,不然看得很费劲。

SD 模型构成

从之前的学习我们知道,Stable Diffusion 模型里包含了三个组件:CLIP、VAE、UNet,这三个组件的参数和大小分布(来源):

组件 参数个数 文件大小 占比
CLIP 123,060,480 492 MB 12%
VAE 83,653,863 335 MB 8%
UNet 859,520,964 3.44 GB 80%
Total 1,066,235,307 4.27 GB 100%

整个生图的核心网络就是 UNet。UNet 最初是用于医学图像分割任务而提出来的,但它的特性展现了在图像其他领域的应用潜力,后续经过扩散模型的改进,很好应用在了图像生成上,所以 Stable Diffusion 的 UNet 实际上在原 UNet 网络架构上做了一些改造。

基础 UNet 网络

我们先来看看原 UNet 网络架构:

1

(更多…)

在复刻黏土风图生成中学习(1) — 模型微调/LoRA 原理/图生图

2024-5-19 评论(0) 分类:技术文章 Tags:

继续学习 Stable Diffusion,这次想以搭建一个实际可用的生图场景 — 黏土风格作为引导,弄清楚整个流程的同时,把过程中遇到的相关概念和原理也做了解,所以这篇是掺和了应用流程和原理的文章。

ComfyUI & 模型

使用 Stable Diffusion 去生成图,有非常多的插件/模型/配置相互搭配组合使用,一般用 WebUIComfyUI 这两个工具,更推荐 ComfyUI,自由串联一个个模块,流程更清楚,网上有很多在自己电脑部署使用 comfyUI 的保姆级教程,比如这个,这里就不多介绍了。

先看 ComfyUI 这个默认的最简单的 workflow:

1

这里面简单的几个元素概念和生图流程,上篇文章都有介绍过:最左边的 Load Checkpoint 是加载 SD 模型,接着用 CLIP 模型编码文本 → 生成隐空间原始噪声图 → 采样器根据文本和噪声图输入→在隐空间里迭代降噪生成隐空间图片→最终用VAE解码图片。

为什么叫模型 checkpoint ?模型在微调训练过程中,会在关键节点保存模型参数的状态,这个保存点被称为 checkpoint,SD 有大量基于基座模型微调训练的模型,包括官方出的,比如 SDv1.5 是从 v1.2 的基础上调整得到的,SDXL Turbo 也是基于 SDXL1.0 基础上训练的,这些模型都被称为 checkpoint,这些 checkpoint 包含了生成图所需要的全部核心组件,包括 VAE、CLIP、UNet 的模型数据,可以直接使用。

那模型文件的后缀为什么是 .safetensors ?早期的模型文件后缀是 .ckpt (checkpoint缩写),一个通过 Python 序列化后的数据,使用时需要对它反序列化,这个反序列化过程也就容易被注入恶意代码,所以后面提出了新型安全的格式 safetensors,只包含张量数据(模型上的参数数据),无需反序列化,安全且速度快,目前模型基本都以这种方式存储。

我们用这个默认 workflow,选个模型,用纯提示词 claymation style, a tower 试试生成黏土风图片:(图上使用了 dreamshaperXL 模型,是在SDXL 的基础上微调的最受欢迎的一个模型)

2

可以看到效果并不是很好,比较生硬。可能加多一些细节提示词、调节下相关参数会好一些,但在图片训练过程中,黏土风格相关的图片数量应该是不多的,训练图片对应的文本描述也比较散,如果固定要这种风格,生图的 prompt 要尽量贴近训练时这类图偏对应的文本,才有可能有好一点的效果,这很难控制,也不保证效果,很难达到我们想要的风格。

(更多…)

Stable Diffusion 图片生成原理简述

2024-5-13 评论(1) 分类:技术文章 Tags:

最近关注和学习 AI 比较多,包括 AIGC 和 LLM 大模型,现在 AI 的原理介绍和入门教程已经非常多了,但还是想自己写一下,主要是遵从费曼学习法,分享是最好的学习,帮助自己整理思路。

本文介绍这一轮图片生成热潮的集大成者 Stable Diffusion 涉及的一些图片生成基本原理,这里全篇不会有数学公式,因为大部分公式我也不懂,但应该不会太影响理解基本原理和思路,有理解错误的地方欢迎指正。

扩散模型

在看图片生成这个逆天能力的时候,很好奇它是怎么做到的。要完全理解这里面的算法细节门槛挺高,但要了解基础原理概念还是简单的。

目前市面上文字生成图片基本上都基于 Diffusion 扩散模型,Stable Diffusion 自然也是,它最基本的原理是:根据文字指示,把一张随机生成的全是噪点的图片,一步步去掉噪点生成跟文字描述匹配的图片。

具体是怎样做到的?这里可以分步看两个问题:

  1. 怎么从一张随机噪点的图生成一张正常的图
  2. 怎么控制这个生成的图跟输入的 prompt 文字关联上

先看第一个问题,从随机噪点图生成一张正常图片,通过训练和组合 UNet 模型可以做到。

单步训练-生成

UNet 是个深度学习网络模型,模型细节不说,个人可以非常粗略地理解为,这个 UNet 模型里面的参数,记录了训练的图片的内容,但它不是精确存储,而是有一些映射和数学运算,做到可以识别提取图片特征,模糊地记忆图片的关键信息,混合存储。

这个模型训练出来后,如果你是用一张图片玩命训练它,那它最终恢复出来的就是这张图片(maybe?)。如果你用1万张图片训练这个模型,那它恢复出来的会是这一万张图片内容随机组合的一张图片。

1

(更多…)

2023

2023-12-31 评论(5) 分类:生活

最后一刻才动笔,本想不写了,但已经是连续第17年年终博客了,不管好赖,还是不要断了,随便写写。

旅游

疫情开放了,本来想去更多的地方,但真是很难,只在下半年去了香港和马来西亚,一家人出去还是比较紧张的。

关于香港,上一次去是十年前了,今年再去看不到什么变化,很明显能感受到的是香港的科技互联网跟十年前也差不多,很差,比如八达通充值后扣了钱但没到账,一搜一堆人这半年反馈很多,这在国内互联网是P0级别按小时修复的问题,香港好像没打算修,其他还有很多槽点,比如买地铁票被吞/出票错误,因为垄断了这些事不重要吧。但它还是国际化大都市,各国各色的人,多样化国际化的感觉很好。

马来西亚去了吉隆坡和兰卡威,感受了下伊斯兰教清真寺,挺友好的,特别是布城的粉红清真寺,接待人热情,很多宣传资料以非常直白的方式介绍伊斯兰教,探讨生命的意义,探讨的过程挺好,很科学很思辨,但结论是人类的意义就是相信并崇拜安拉,这让人难以接受。在兰卡威首次驾驶右舵汽车,稍微熟悉一下没啥问题,也是个新体验,整个兰卡威感觉还行,不是旅游旺季人很少,是挺舒服的,听说东马仙本那更好点,下次有机会再去。

6月再出差去了次美国,对洛杉矶市中心的印象就是脏乱差,尿骚味,流浪汉。入住的第一天同事的东西在酒店里还全被偷了,还好有苹果的find功能,否则整个街道都没有摄像头,完全不可能找回。旧金山也是脏乱差的代表,坑人、垃圾乱飘、砸车风险高、拥挤,但其他地方似乎又很好,像阿纳海姆就很漂亮,美国太大了,差异很大,有机会都体验下。住了airbnb美国的大house,住的几个小区应该不差,但整个感觉很僻静,很冷清,不怎样。

家庭

今年身体是近十年最差的,有一半的时间在咳嗽,上半年已经连续咳了两个月,6月底中招后又一直持续咳了半年,断断续续咽炎鼻窦炎轮流来,搞得很严重,病总是一直不好,很影响心情。3月中开始健身一直到6月,本来希望坚持锻炼下身体能好点的,结果好像身体免疫力越来越差,平时不运动,马上去健身似乎也不是好事,6月开始咳后也没法继续了,咳的时候不敢运动,等好了还是得再看看别的锻炼方式。

对两个小孩的教育还是很佛系,有点放养,也导致一些问题,难以教育,两个娃在探索上的缺乏,拒绝尝试新东西,看电视也喜欢看已看过的,一遍又一遍,十分念旧,怎么引导他们的好奇心和探索欲,没找到方法。另一个是锻炼缺乏,身体素质不太好,也是我的问题,来年要跟家人一起加油。

年末经历了亲人过世,面对死亡很沉重,怎样能尽可能安心地面对后续可能的离别?好好对待在的人,也好好对待自己,不要时间到了后悔。

学习

在各种行业的萎靡下,AI 的发展几乎是唯一能触动大家神经的,发展速度太快,主要是研究方向明确了,全世界那么多聪明人/先进的组织/最多的资本支持,都沿着这条路跑,自然很快,但跑了一年后,大家期望的大模型跟各行各业结合的应用还没跑出来比较好的,还需要继续探索,总体上,它的未来是显而易见让人兴奋的,今年没有多少时间投入学习,明年得规划好投入,希望有进展。

今年读的书很少,但上下班听讲述和小课程比较多,印象比较深的是华衫讲儒学,听完对很多概念都理解了,格物致知/必有事焉而勿正/中庸/近悦远来/诚意正心,非常强的正气,当然道理都懂但难的就是做到,做到的真是圣人。我至今没找到修身养性的方法,通过多看这些书明白这些概念,远远不行,看的另一本书《悉达多》,明确讲到这个问题,没有任何宗派教义可以教人领悟涅槃,都要靠自己体验,自己领悟。

其他

股票继续跌,我一直放着一直存着希望,这么低的价格,真的不涨回来吗,结果真的不涨,还继续跌,核心是什么都知道,信心很重要,但信心不断被殴打。房子方面年初还有回涨趋势,当时甚至想搞满杠杆进入,还好最后没有,越来越往下走刹不住车,等经济好了,信心有了,房子才有可能回来吧,现在保命就行了,还了房贷,安心活着。

今年35岁了,国内特有的年龄槛,虽然有时候是调侃,但焦虑切实存在,来年加油吧。

2022

2022-12-31 评论(0) 分类:生活

疫情

2022是疫情防控拉胯的一年,各种大规模封控带来的不合逻辑的事情频繁出现,到11月顶峰,太多魔幻的事情,真是挺怕要倒退50年,一个不符合逻辑的社会,还好后面止住了。那段时间在家办公关了一个多月,真是给闷坏了,12月放开后,某天开车出去转转,看到街边恢复生气的样子有点感动,自由而归于正常的感觉。

紧接而来的就是大规模的快速感染,速度确实是快到出乎意料,而zf在这块确实继续在拉胯,核酸全撤,抗原不准以及难抢,导致想尽早自我隔离避免感染家人是很难做到的,撤了所有防控措施,药也储备不足,拉胯,全得靠自己。放开后去深圳出了趟差,一不注意,回来就导致全家中招了。

两三天的反复发烧,最高到40度,头痛欲裂,睡不着非常痛苦,脑子乱七八糟转,感觉在非常高速地运转,各种碎片漂移凑不成一块但又停不下来,夹杂着痛苦,在万花筒的世界中。全身酸软、刺痛、咳嗽加剧、肠胃不舒服、鼻塞,症状确实是很猛,还好布洛芬能帮助扛一下。家人有各不一样的症状,总的来说还好,算平安度过,希望以后不要再得了。

不知道世界接下来能不能恢复正常,传播力这么强的病毒,变种又那么多,持续下去受不了。回看以前出去玩的照片,人堆中没有戴口罩,有种恍如隔世,希望世界能恢复。

股票

还以为去年股市已经是惨案了,没想到今年更拉胯,持续下跌,最低只跌剩最高点的20%,我买的都是中概股,跌的也都是中概,也是跟疫情的操作有关,对中国的信心快被疫情期间的各种操作消磨殆尽了,从奋斗变成躺平,爱怎样怎样,放弃幻想,做好打工人,不想玩了。

教育

俩小孩大娃上学了,小娃上幼儿园,小学还好,没有传说中那么卷,作业不多,我们也是很佛系,前面还有每天晚上陪着做作业看英语绘本,后面也少了。虽然不卷,但像英语没有提前学就容易跟不上,跟不上就容易产生厌学情绪。大娃在学习上算是很乖了,目前还没有血压高涨的经历。小娃幼儿园基本就上了一个多月,后面就因为自己感冒、疫情一直没去,社交能力基本为0,希望下学期能正常。

回看小孩的成长,今年2月希希才掉第一颗牙,转眼间牙掉了七八颗,大牙都长出来了,挺快的。希希年初也还不会玩游戏,下半年跟她一起通关了双人成行,现在也玩得很溜了。

旅游

很想旅游的一年,5月去了下潮州汕头转转,7月去了呼伦贝尔,带着大娃三个人,幸运地没被疫情封控影响,完整地游玩了草原,大片大片的草原,金黄色的油菜花田比草原更美,村庄里看漫天繁星,高空秋千和滑草,麋鹿卡丁车骑马,玩得还算不错,不过就景色来说,还是去年的新疆最美。

8月跟公司团队去成都开会,再去了下川西海螺沟一片,不过时间太短过于仓促,没玩什么,仅到此一游,走非常险的山路到若丁山,很适合野营的一个地方,大片草地配合漂亮的山景,下午在那里度过很舒适惬意,要是晚上能住下看星星就更好了。

期望明年可以出国游,可憋太久了,疫情以后不断把自己缩小在两点一线,封控期间还只剩一个点,整个人感觉非常闭塞,长久下去对身心健康不利,希望能更多出游,对在全国全世界留下脚印这事很感兴趣。

玩乐

当前几乎唯一持久的兴趣就是看看NBA22赛季一整个赛季勇士库里看下来,最后竟然真的夺冠了,有点梦幻,G4感受到库里强悍的意志力,体育不是体能技巧的比拼,精神力量在当中占的比重很高,才会这么有魅力。同时这一年也见识了威少、杜兰特从各种嘲讽中不受影响一步步走出来的坚韧,球星确实身心都很强大,看别人做到自己做不到的事,敬佩。

科技和互联网变得有些无趣,以前喜欢体验感受各种手机,现在千篇一律,已经玩不出花了,iPhone也没什么惊喜,反而摄像头越来越傻大黑粗,VR彻底凉凉的感觉,互联网产品没什么让人惊艳的新品,也就chatGPT稍微亮眼。倒是今年玩了个让人惊叹的游戏双人成行,每次玩都在感叹它的创意创造力,不愧是年度最佳游戏,强烈推荐亲子或情侣玩。

及时行乐,成了新的标语,之前工作的比重占太大了,现在各方面都无趣的情况下,不如多让自己玩得开心,旅游、游戏、体育娱乐等,看到同事们也在开拓自己的兴趣找乐子,多玩玩多体验生活,别到老了后悔。

最后

2022年元旦全家感冒咳了两个月,年末全家中新冠又是一波,希望来年都能健康,多体验美好生活。

2021

2021-12-31 评论(9) 分类:生活

一年没写博客,生疏了,到了年终这篇不知道该写啥,博客这个词现在也变得非常有年代感,差不多要彻底消失了。没写的最主要原因是懒了,另外好像也变得不那么愿意发表观点了。

总的来说今年还是一个对自己不太满意的一年,对自己的期望没达到,一整年时间,做成了什么事情?达成了什么成就?认知有什么提升?回想起来并没有多少值得一提的,只能写写一些生活小事。

经历了一次特别的体验,住在6月份广州疫情最中心地区,被完全封闭在家27天,不能下楼不能收快递,物资紧缺,吃肉成奢侈,体验了一下物资相对匮乏的生活,感受上还好,在哪不是一样拿着电脑手机联网工作,差别不是很大。

还有一次体验,跟一个人聊技术聊了一个多小时,感觉进入了心流的状态,很怀念心流的感觉,岗位不同以后,进入这种状态就变得很困难。当时聊完挺兴奋,工作10年,回想起这个互联网大航海时代,有很多参与其中的回忆,只不过是纯技术的。往后10年,希望能再做些事,为自己留下更多好的回忆。

今年各种政策轰炸,行业一个个毁灭和暴跌,去年那个外滩事情真是中国互联网的拐点。上半年在各种纠结,真是很难,下半年感觉开始佛了,爱怎样就怎样。有时会想,向前看这么简单的道理为什么实践起来难呢,进化论的角度看,是绝对理性倾向向前看的人在原始社会活不下来吗,没想明白。

今年也成了资深韭菜,以前每次股灾一般中概股不会太怎样,今年倒是纯中概股股灾,完全踩在雷区里,美股的资产变成负数,确实自己不是这块料也没有太大兴趣投入,也是直接躺平了。

挤着时间还是转悠了几个地方,带家人去北京,跟朋友去了阳江,两人去了新疆,喀纳斯的美景值得多去看看,是个好地方,青色湖水山色配得上仙境的称呼,可惜在禾木刚好阴天没看到星星银河,这个愿望继续往后推了。

今年大娃小娃健康成长,小娃到2岁还不说话,最近一个月才开始开窍咿咿呀呀各种学说话,是最可爱的时候了。大娃继续经常撒娇可爱,但很多时候不讲理,被气得够呛,以前看的育儿方法在情绪面前都忘光了,情绪控制也是今年对自己很失望的一点,不仅没长进还退步了。

2022年,希望明年回顾时对自己的表现能满意一些。