分类: AI | 折翼天使

AI 未读

数语觅类的评估从来没让我纠结过。精度、召回、F1、完全匹配率——四个指标各管一个维度，算起来也简单：模型输出一组标签，标签要么对要么错，逐个比完就有数了。我甚至做了个加权 score 把它们合成一个数，直接塞进训练循环当监控信号： @property def score(self) -> float

NLP LLM BLEU Accuracy Exact Match Precision Recall F1 Hamming Loss Loss ROUGE Recall@K MRR NDCG Perplexity Cross Entropy 2026-04-03

AI 未读

训练控制的统计化——当 loss 和评估分数开始撒谎

衔言渡意第二轮训练（15.5M）的末期，val loss 从 2.461 一路降到 2.422，模型还在学。但同一段时间里 BLEU 的表现是这样的： 19.95 → 17.91 → 18.96 → 16.56 → 18.14 → 18.30 → 18.51 上蹿下跳，epoch 间跳两三分是常态

LLM NLP Loss AdamW Dropout BLEU 2026-04-03

AI 未读

KV Cache 实现手记——高估了，低估了，然后搞懂了

在衔言渡意的训练收尾阶段，我给自己的最后一项技术任务是给推理加上 KV Cache。我对这个东西的第一印象来自行业讨论——到处都在说 KV Cache 管理、PagedAttention、prefix sharing。脑子里自动补全了一整套分布式系统的画面：用户登录鉴权，会话状态持久化，多轮对话中

LLM NLP KV Cache MHA MultiheadAttention Bias AttentionMask Transformer Projection 2026-04-03

AI 未读

模型容量不够——下一步是加层还是加宽？

衔言渡意是一个中英法三语互译的小模型。训练到第二版（15.5M 参数，192 维，6+6 层），BLEU 到 15.6 后走平，val loss 不再下降——容量到顶了。需要扩容，但往哪个方向扩？加层和加宽不是同一件事。层数管的是串行处理深度——嵌套从句需要逐层解开，层不够就解不动内层。维度管的

NLP LLM 2026-03-31

AI 未读

从数据反推模型架构：一个小模型训练的经验公式

引言：差了一个数量级韵染流光是6060万参数，数语觅类是420万参数。同样是从零训练的小语言模型，参数量差了14倍。我知道数语觅类更简单。韵染流光的DSL是我多次推翻重新设计的结果，自然语言理解、多轮上下文追踪、近似方法调用的DSL解析——这些东西叠在一起，学习难度很高。数语觅类就是给列名和样本

LLM NLP 2026-02-27

AI 未读

通用 Tokenizer 评估方案——从项目专用到任务无关

数语觅类（我的第二个项目，数据库列语义分类）里写了一个 verify 函数，用来评估 tokenizer 的词表大小是否合理。核心逻辑是对样本做编码，统计平均 token 数，然后给建议： # 评估建议（基于样本） if avg_length > 20: print(f"⚠️ 建议: 单项

LLM NLP 分词 Tokenizer 2026-02-27

AI 未读

LLM模型加载

通常情况下，直接使用HuggingFace的pipeline加载即可，如下： from transformers import pipeline pipeline("text-generation", model="JetBrains/Mellum-4b-sft-kotlin", torch_dt

LLM HuggingFace NLP 2025-06-22

AI 未读

LLM模型的训练

有些时候，一个模型虽然已经很好用了，但在某些场景下仍不满足需求(比如之前的这次尝试)，就可以使用HuggingFace提供的api对它进行再训练，把自己的场景也包含进去在那次尝试中，为了快速看到效果，我跳过、简化了许多关键步骤，整个过程本质上是一场“过拟合实验”，那只是一个体验——可用，但不通用

HuggingFace LLM NLP 2025-06-21

AI 未读

LLM常用任务类型

这篇文章是LLM环境搭建完成后，基于HuggingFace，马上可以开始尝试的一些事情基本上，就是通过调用模型完成一些简单的任务(分词与编码/情感分析/翻译/文本生成/本地问答)，简单的熟悉一下这些东西：工作流程

LLM NLP HuggingFace 2025-06-14

AI 未读

LLM模型资源占用优化

模型加载流程模型加载时，做这些事情：加载配置信息模型结构、层数、注意力头数、参数精度等元信息加载模型权重下载或使用已经缓存的模型权重文件如果模型使用bin格式，需要PyTorch版本大于等于2.6 若PyTorch版本低于2.6，则需要使用safetensors格式

LLM HuggingFace NLP 2025-06-13