标签: LLM | 折翼天使

AI 未读

引言：理铸成器的桥与炉理论如钢，需入炉锻打，方能成器。在前文中，我透视了大语言模型推理的底层链路，理解了每一个 token 如何在向量空间中被捕捉、加工与释放。然而，工程并非单纯地将原理照搬成代码——在原理与落地之间，还存在一层厚重而关键的"中层"：它承载着结构设计的抉择、任务拆分的策略、训

LLM NLP 26天前

AI 未读

引言：一句话的旅程打开GPT，和它说一句话：我今天很开心它通常会给出这样的回应：听到你今天很开心，真是太好了！✨ 有什么特别的事情让你这么高兴吗？愿意和我分享一下吗？这看起来就像是它明白了“我今天很开心”是什么意思，并且自己做出了什么思考，居然试图进行有来有回的聊天一样。但是真的如此吗？

LLM NLP 2025-07-18

AI 未读

LLM模型加载

通常情况下，直接使用HuggingFace的pipeline加载即可，如下： from transformers import pipeline pipeline("text-generation", model="JetBrains/Mellum-4b-sft-kotlin", torch_dt

LLM HuggingFace NLP 2025-06-22

AI 未读

LLM模型的训练

有些时候，一个模型虽然已经很好用了，但在某些场景下仍不满足需求(比如之前的这次尝试)，就可以使用HuggingFace提供的api对它进行再训练，把自己的场景也包含进去在那次尝试中，为了快速看到效果，我跳过、简化了许多关键步骤，整个过程本质上是一场“过拟合实验”，那只是一个体验——可用，但不通用

HuggingFace LLM NLP 2025-06-21

AI 未读

LLM常用任务类型

这篇文章是LLM环境搭建完成后，基于HuggingFace，马上可以开始尝试的一些事情基本上，就是通过调用模型完成一些简单的任务(分词与编码/情感分析/翻译/文本生成/本地问答)，简单的熟悉一下这些东西：工作流程

LLM NLP HuggingFace 2025-06-14

AI 未读

LLM模型资源占用优化

模型加载流程模型加载时，做这些事情：加载配置信息模型结构、层数、注意力头数、参数精度等元信息加载模型权重下载或使用已经缓存的模型权重文件如果模型使用bin格式，需要PyTorch版本大于等于2.6 若PyTorch版本低于2.6，则需要使用safetensors格式

LLM HuggingFace NLP 2025-06-13

AI 未读

Win11下使用wsl2完成LLM环境搭建

首先，确保系统的显卡驱动是最新的终端(Windows Terminal) 安装不推荐使用CMD或者PowerShell 不是不能用，只是终端更好一些——个人感觉，它有如下优点：拖拽选中，右键直接复制/粘贴支持复制粘贴快捷键可以选中内容直接输入替换有不错的语法高亮对于写代码的来说，多么有

Windows 11 WSL2 NLP LLM 2025-06-10