llama.cpp 部署 Gemma 4 12B MTP 指南
提供基于原生 llama.cpp 部署 Gemma 4 12B Unified 架构与多 Token 预测 (MTP) 投机采样的实战调优方案。
按主题或标签探索所有内容,了解我最近的想法与实践。
提供基于原生 llama.cpp 部署 Gemma 4 12B Unified 架构与多 Token 预测 (MTP) 投机采样的实战调优方案。
在 IDE 中使用 Antigravity 这类自治 AI 编程助手时,很多开发者最常抱怨的往往是:AI 自动提交了有问题的代码、偷偷改了单元测试断言来“假装通过”,或者模型配额太快耗尽,不得不等待漫长的冷却时间。 实际上,解决这些问题的核心在于夺回控制权。我们可以通过在 IDE 中进行拦截配置、善...
每次屏幕脏了都很难受,尤其是沾上指纹、灰尘。于是我被大模型忽悠,花一下午“清理出”了一个网页小工具,来帮我快速定位和清理屏幕上的脏污。 许愿编程的“意外收获” 最初,我只是通过大语言模型进行“许愿式编程”,我的原始需求极其简单: “帮我写一个纯色的全屏网页,能够点击切换黑白底色,方便我把屏幕调亮来找...
本指南旨在帮助您快速上手并有效应用提示词工程技术,提升大型语言模型(LLM)在各种任务中的表现。我们将技术分为基础提示、高级推理和实用优化三大类,并提供清晰的使用方法和模板示例。 一、 基础提示技术:快速入门 这些技术简单易用,适合快速验证模型能力或处理基础任务。 1. 零样本提示 (Zero-sh...
即将进入梦乡,就被蚊子的嗡嗡声拉回现实?被叮得一身包却连反击的力气都没有? 如果你有同样的困扰,可以看看我在用的处理方式,还挺好用的。 我的驱蚊方法包括三个步骤: 1. 减少蚊子滋生(开空调,让家里保持干燥) 2. 降低室内蚊子密度(电蚊拍,被动击杀) 3. 彻底清空(开电热蚊香液) 老实说,我折腾...
每天和不同客户端的 AI 对话,重复写相同的提示词费时费力。 DRY Prompt 让你一次编写、一键应用,实现机械飞升! 痛点:碎片化的客户端与重复输入 想要把 AI 用得游刃有余,我往往需要在不同的客户端发力。 比如: 在 网页端 使用 ChatGPT,Gemini等聊天界面 在 VSCode ...