标签: LLM | 折翼天使

AI 未读

引言：差了一个数量级韵染流光是6060万参数，数语觅类是420万参数。同样是从零训练的小语言模型，参数量差了14倍。我知道数语觅类更简单。韵染流光的DSL是我多次推翻重新设计的结果，自然语言理解、多轮上下文追踪、近似方法调用的DSL解析——这些东西叠在一起，学习难度很高。数语觅类就是给列名和样本

LLM NLP 21天前

AI 未读

引言数语觅类（我的第二个项目，数据库列语义分类）里写了一个 verify 函数，用来评估 tokenizer 的词表大小是否合理。核心逻辑是对样本做编码，统计平均 token 数，然后给建议： # 评估建议（基于样本） if avg_length > 20: print(f"⚠️ 建议:

LLM NLP 分词 Tokenizer 22天前

溯源 • 求索 • 笃行未读

引言：VARCHAR(255)没告诉你的数据库里有几百张表，每张表几十个列。 VARCHAR(255)告诉你它是字符串，INT告诉你它是整数，但这些只是物理类型。它们不回答真正重要的问题：这个VARCHAR是邮箱、手机号、还是普通文本？这个INT是年龄、金额、还是状态码？ nl 这个列名是什么

NLP LLM 2025-11-01

溯源 • 求索 • 笃行未读

韵染流光 • 其一：代码三百行

引言：写不出的第一行韵染流光完成后，我能清楚地说出训练循环的每个环节。 dataset从文件中提取第idx个样本，dataloader通过sampler控制采样顺序，collate把样本组装成batch，模型接收batch开始前向传播。为什么要padding？因为GPU需要形状一致的数据。为什么要

LLM NLP 2025-10-31

溯源 • 求索 • 笃行未读

引言：一个看似简单的想法 “红色，深一点，再偏蓝一些。” 当我试图让计算机理解这句话时，以为这会是件简单的事情——就算不简单，也不会太难。我的想法很理所当然：颜色词是有限的，修饰词也是有限的。把它们的关系建立起来，训练一个模型，应该就可以了——最多，再加上一些修饰组合的不同方式。这和让AI写文章、

LLM NLP 2025-10-07

溯源 • 求索 • 笃行未读

引言：一句话的旅程打开GPT，和它说一句话：我今天很开心它通常会给出这样的回应：听到你今天很开心，真是太好了！✨ 有什么特别的事情让你这么高兴吗？这看起来就像是它明白了“我今天很开心”是什么意思，并且自己做出了什么思考，居然试图进行有来有回的聊天一样。但是真的如此吗？它真的理解了吗？恐怕

LLM NLP 2025-07-18

AI 未读

LLM模型加载

通常情况下，直接使用HuggingFace的pipeline加载即可，如下： from transformers import pipeline pipeline("text-generation", model="JetBrains/Mellum-4b-sft-kotlin", torch_dt

LLM HuggingFace NLP 2025-06-22

AI 未读

LLM模型的训练

有些时候，一个模型虽然已经很好用了，但在某些场景下仍不满足需求(比如之前的这次尝试)，就可以使用HuggingFace提供的api对它进行再训练，把自己的场景也包含进去在那次尝试中，为了快速看到效果，我跳过、简化了许多关键步骤，整个过程本质上是一场“过拟合实验”，那只是一个体验——可用，但不通用

HuggingFace LLM NLP 2025-06-21

AI 未读

LLM常用任务类型

这篇文章是LLM环境搭建完成后，基于HuggingFace，马上可以开始尝试的一些事情基本上，就是通过调用模型完成一些简单的任务(分词与编码/情感分析/翻译/文本生成/本地问答)，简单的熟悉一下这些东西：工作流程

LLM NLP HuggingFace 2025-06-14

AI 未读

LLM模型资源占用优化

模型加载流程模型加载时，做这些事情：加载配置信息模型结构、层数、注意力头数、参数精度等元信息加载模型权重下载或使用已经缓存的模型权重文件如果模型使用bin格式，需要PyTorch版本大于等于2.6 若PyTorch版本低于2.6，则需要使用safetensors格式

LLM HuggingFace NLP 2025-06-13