title: 模型部署与推理优化实战：微调完的模型怎么上线？
# 模型部署与推理优化实战：微调完的模型怎么上线？
上一篇文章我们聊了多轮对话微调，用 Chat Template 把一问一答的模型训练成了能记住上下文的对话助手。但微调完只是第一步——模型躺在训练机上的 .bi...
2个月前 (06-18) 196℃ 0评论
0喜欢
📌 回顾
上篇我们讲了模型评测工具箱——如何用自动化评测脚本、标准 Benchmark 和 LLM-as-Judge 来判断微调效果。但系列里所有的微调样例都是单轮问答：一个 user 消息，一个 assistant 回复。
现实中的对话不是这样的。用户会追问、补充、切换话题，模...
2个月前 (06-15) 219℃ 0评论
0喜欢
开篇：微调一时爽，评测火葬场
前两篇文章我们学会了 LoRA 和 QLoRA 微调，把通用大模型变成了”专属小助手”。但有一个灵魂拷问始终绕不过去——微调完之后，怎么知道它真的变好了？
只看 Loss 曲线下降就高兴得太早了。我见过很多人微调后模型反而变笨...
2个月前 (06-10) 178℃ 0评论
0喜欢
QLoRA 微调：4GB 显存也能跑大模型训练
上篇文章我们聊了 LoRA——用两张小矩阵代替全量参数更新，把 7B 模型的微调显存需求从 60GB 打到了 12GB 左右。这个门槛对一张 RTX 4070 或 3080 来说已经可以接受了。
但问题来了：如果你只有一张老旧的 R...
2个月前 (06-07) 233℃ 0评论
0喜欢
LoRA 微调实战：在自己电脑上给大模型”打补丁”
上篇文章我们用手写200行代码，搭了一个本地 RAG 知识库问答系统。RAG 解决了”让模型知道你的私有数据”这个问题——把文档切片、向量化、检索，再丢给大模型回答。
但 RAG ...
2个月前 (06-01) 256℃ 0评论
0喜欢
上篇文章《从零学大模型》我们聊了入门路线图，其中反复提到一个观点：RAG 解决 90% 的问题，微调只解决剩下的 10%。今天就来兑现这个承诺——从零搭一个能用的 RAG 系统，全程不超过 200 行 Python。
RAG 到底是什么？一句话说清楚
大模型的知识截止于训练数据那...
2个月前 (06-01) 265℃ 0评论
0喜欢
从零学大模型：一个前端开发者的入门路线图
ChatGPT 横空出世两年多了，大模型早已不是科研圈的专属玩具。如果你是个普通开发者，看别人用 AI 写代码、做自动化、搭智能体，心里痒痒但又觉得门槛太高——这篇文章就是写给你的。
零基础，纯实操，不讲数学公式，不推晦涩论文，只告诉你一...
2个月前 (05-29) 180℃ 0评论
0喜欢
新手NAS搭建全攻略：零基础也能上手，告别网盘焦虑，私有云自由太香了！
有没有网友和我一样，被网盘限速、会员续费、隐私泄露烦透了？手机内存天天红警、电脑硬盘告急，全家的照片视频、工作文件、追剧资源没地方存，想随时随地调取文件还得看网速脸色……
其实解决这些问题超简单，入手一台NA...
3个月前 (05-03) 399℃ 0评论
0喜欢
全文共计2720个字，预计阅读时间7分钟
前言：做小程序的都知道，微信接口天天变，本来便捷的一键注册，获取头像和昵称的接口变成了鸡肋，使用户注册单调了许多，所以我搭建了一个多元化订制头像服务，方便我的小程序更快的完善信息，今天我就来分享一下！
为了摆脱这种窘境，我就寻思着...
4年前 (2023-01-10) 7813℃ 1评论
2喜欢
在 2021 年的国庆前两天，群里有人说，想弄一个给微信头像增加国旗渐变和国庆节气氛边框的小程序，并发出了一个案例。
我打开看了看，这感觉挺简单的。然后脑海中大概的形成了一个实现思路，然后说干就干，花了两个晚上的时间，就把代码给撸了出来，赶在放国庆假期之前完成了上线。
先体验一下...
5年前 (2022-01-24) 4587℃ 1评论
3喜欢
