YoQ Blog

「反者道之动, 弱者道之用」

理解 Self-Attention

十分钟掌握 self-attention 的设计原理

受到 信息检索系统 (如搜索引擎) 的启发, 但是它们的数学实现和具体行为有本质区别. 核心思想类比: 在搜索引擎中：用户输入一个 Query ，系统通过匹配 Key （如文档索引），返回对应的 Value （如网页内容）。 在 Transformer 中：每个词（或 token）生成自己的 Query ，通过与其他词的 Key 计算相关性，最终从 Value 中聚合信息。 设...

Posted by YongQiang on March 10, 2025

理解 LayerNorm

Layer Normalization 原理与实现

LayerNorm 介绍 Layer Normalization 由 Ba et al. 在 2016 年的论文 “Layer Normalization” 中提出。与 Batch Normalization (BatchNorm) 不同，LayerNorm 对单个样本内的所有特征进行归一化，而不是在 batch 维度上做统计。 具体来说，对于一个形状为 (B, H) 的输入（B 为 b...

Posted by YongQiang on March 10, 2025

初等函数的导数公式速记

​常数的导数​ \((c)' = 0\) ​幂函数导数​ \((x^a)' = a x^{a-1} \quad (a \in \mathbb{R})\) ​三角函数导数​ \((\sin x)' = \cos x, \quad (\cos x)' = -\sin x\) ​正切、余切及正割、余割导数​ \((\tan...

Posted by YongQiang on March 7, 2025

理解 Batch Normalization

深度学习中的 Batch Normalization 原理与实践

Batch Normalization 介绍 Batch Normalization (BN) 由 Sergey Ioffe 和 Christian Szegedy 在 2015 年的论文 “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift” 中提出。它是...

Posted by YongQiang on March 7, 2025

理解 Jacobian 矩阵

从数学定义到深度学习中的反向传播

Jacobian 矩阵介绍 在多元微积分中，Jacobian 矩阵（雅可比矩阵）是一个非常重要的概念。它以德国数学家 Carl Gustav Jacob Jacobi 的名字命名，描述了一个向量值函数的所有一阶偏导数。 对于一个向量值函数 $\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$，即输入为 $n$ 维向量、输出为 $m$ 维向量的函数： \...

Posted by YongQiang on March 7, 2025

WhisperV3 模型介绍

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 # audio.mp3 -> log_mel 计算过程 # lib/python3.9/site-packages/transformers/models/whisper/processing_whisper.py#69 inputs = self.feature_extractor(audio,...

Posted by YongQiang on March 4, 2025

How to compute the log-Mel spectrogram?

1 2 3 4 5 past_key_value是在Transformer中的self-attention模块用于处理序列数据时，记录之前时间步的键（key）和值（value）状态。在处理较长的序列或者将模型应用于生成任务（如文本生成）时，它可以提高计算效率。 在生成任务中，模型会逐个生成新的单词。每生成一个新单词，模型就需要处理包含新单词的序列。通过使用 past_key_value，我...

Posted by YongQiang on March 4, 2025

编程小白也能制作自己的微信小程序?!

TRAI 下载 安装, 打不开, 安装 sudo spctl –master-disable 在 System Preferences > Security & Privacy 多了一个选项 Anywhere, 选中 就可以打开了. 同步配置 登录 登陆后即可看到主界面 生成代码 微信开发者工具下载 https://develope...

Posted by YongQiang on March 2, 2025

大模型 Embedding 详解

本文深入解析 Embedding 技术原理, 涵盖文本/图像/视频/音频四大模态的实现方案, 并提供HuggingFace实战代码示例. Embedding 简介 所谓 Embedding 是将「文本」、「视频图像」、「音频」或其他格式的数据转换为向量的过程. Embedding是将高维数据映射到低维连续向量空间的技术, 可理解为数据的”DNA序列”. 其核心价值体现在： ...

Posted by YongQiang on February 26, 2025

Jekyll Know-How

本节内容主要分享 Jekyll 的操作技巧, 例如不同 web 引用、不同的图像展示方法等, 代码不同, 风格各异. 网页内嵌方法: 显示部分博文区域并点击跳转 当你想要在当前文章中以图形图像的方式引用之前的博文, 并且可以触发点击跳转到原博文的功能, 可以参考以下实现. 📌 内嵌网页有一个边框, 且居中展示 📌 点击 iframe 直接跳转到原博客 📌 ...

Posted by YongQiang on February 25, 2025

FEATURED TAGS
数学基础 模型部署 深度学习基础 LLM Normalization 博客开发 激活函数 HuggingFace Jekyll Whisper
ABOUT ME

资深炼丹员, 深度学习专家 😁😁
React Team @ OPENAI

FRIENDS