溯源 • 求索 • 笃行
未读
心潮涌链:它真的懂我说的话吗?
引言:一句话的旅程 打开GPT,和它说一句话: 我今天很开心 它通常会给出这样的回应: 听到你今天很开心,真是太好了!✨ 有什么特别的事情让你这么高兴吗? 这看起来就像是它明白了“我今天很开心”是什么意思,并且自己做出了什么思考,居然试图进行有来有回的聊天一样。 但是真的如此吗?它真的理解了吗?恐怕
AI
未读
LLM模型资源占用优化
模型加载流程 模型加载时, 做这些事情: 加载配置信息 模型结构、层数、注意力头数、参数精度等元信息 加载模型权重 下载或使用已经缓存的模型权重文件 如果模型使用bin格式,需要PyTorch版本大于等于2.6 若PyTorch版本低于2.6,则需要使用safetensors格式
AI
未读
Win11下使用wsl2完成LLM环境搭建
首先,确保系统的显卡驱动是最新的 终端(Windows Terminal) 安装 不推荐使用CMD或者PowerShell 不是不能用,只是终端更好一些——个人感觉,它有如下优点: 拖拽选中,右键直接复制/粘贴 支持复制粘贴快捷键 可以选中内容直接输入替换 有不错的语法高亮 对于写代码的来说,多么有