🦙 从 HuggingFace 拉取 GGUF 模型并导入 Ollama 完整教程(Windows 环境)
🦙 从 HuggingFace 拉取 GGUF 模型并导入 Ollama 完整教程(Windows 环境)📝 前言本教程详细记录了在 Windows 系统下,如何从 HuggingFace 下载 yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF 模型的 Q4_K_M 量化版本,并将其成功导入 Ollama 本地运行的全过程。教程针对 12G 显存显卡 进行优化配置,同时讲解了踩坑要点与解决方案,适合所有想将 HuggingFace GGUF 模型迁入 Ollama 的用户。 🧭 完整流程回顾 阶段 核心操作 关键产出 环境配置 设置 OLLAMA_MODELS 到 D 盘、安装 huggingface_hub 避免 C 盘爆满,获得下载工具 下载模型 通过国内镜像下载 Q4_K_M 量化文件 得到约 6.87GB 的 GGUF 文件 编写配置 创建 Modelfile,指定绝对路径与对话模板 告诉 Ollama 如何加载和运行模型 导入模型 执行 ollama create 命令 将 GGUF 注册 ...
📖 把一本长篇小说拆成分集候选:六个阶段与三条硬闸
手上有几十万字的小说原文,要判断它能不能改竖屏短剧、能切几集。第一反应是”扔给模型让它读一遍,给个结论”。 这条路走不通。长文本进不了上下文,分段丢进去又会导致第 47 章按一种边界分析、按另一种边界聚合,而且没有人会发现。更麻烦的是,AI 读长篇特别擅长写一份“读起来很完整”的总结——它会自作主张地补齐缺章,让缺失在结果里不留痕迹。 下面这套流程的核心不是”读得更全”,而是让每一步都可追溯、可证伪。 一、索引是唯一切片真源第一步不是读小说,是建章节索引。而且整个流程只建一次。 12python3 novel_index.py index 输入/{原文} --out _work/_index.next.jsonpython3 novel_index.py verify _work/_index.next.json 输入/{原文} 如果每个阶段各跑一次正则去切章节,就会切出互相对不上的章节。所以索引一旦发布,后续所有阶段都只引用它——引用的是行号 span,不是章节内容。 脚本的识别规则很朴素,但每条都对应一个真实问题: 识别阿拉伯数字与中文数 ...
CNN 实战:用 ResNet 做图像分类
经验驱动。CNN 的基本前向我用纯 numpy 手搓跑通了(真实 shape 在下面);再讲 ResNet 怎么在这个基础上”加深不退化”。完整 ResNet 训练需要 torch + GPU,本机未装 torch,那部分给出规范实现并诚实标注。 CNN 在算什么(先跑通最小单元)CNN 本质是一连串”卷积提特征 → 激活 → 池化降维 → 展平 → 全连接分类”。我用一个 8×8×3 的图,手搓一个最小 CNN 前向,看每个阶段 shape 怎么变: 12345conv = conv2d(img, w, b) # 8x8x3 -> 6x6x2 (2 个 3x3 卷积核)relu = np.maximum(0, conv) # 激活,非零比例 0.43pool = maxpool2d(relu, 2) # 6x6x2 -> 3x3x2flat = pool.reshape(-1) # 展平 18 维logits = flat @ Wd # 18 -> 3 类 真跑结果: 12345输入 ...
Linux 网络连通性排查:ping / traceroute / tcpdump / curl
经验驱动。本文所有命令输出都来自本机真实执行(Windows 下同名命令,语义一致)。网络问题最忌”瞎重启”,按 OSI 分层一层层验,五分钟定位。下面是我常用的四件套和真实读数。 排查总思路:从下往上遇到”连不上”,别急着改配置。按层查: 物理/网卡层:网卡 up 吗?IP 拿到了吗?(ip addr / ipconfig) 网络层(L3):到目标 IP 通不通?(ping) 路由层:包走哪条路、卡在第几跳?(traceroute / tracert) 传输层(L4):端口开没开?握手到哪步?(telnet / nc / curl / tcpdump) 应用层(L7):TLS 握成功了吗?HTTP 状态码对吗?(curl -v) 下面用真实数据演示。 1. ping:网络层通不通12345正在 Ping 8.8.8.8 ... 来自 8.8.8.8 的回复: 时间=204ms TTL=107数据包: 已发送 = 4,已接收 = 4,丢失 = 0 (0% 丢失),平均 = 206ms正在 Ping github.com [140.82.113.3] ... 时间=270ms T ...
把知识体系做成可点击的单文件站点:交互教学网页工作流
把知识体系做成可点击的单文件站点:交互教学网页工作流一、场景:知识地图比文档更适合复习备考面试那阵,笔记攒了一堆 Markdown,但复习效率极低——文档是线性的,知识是网状的。于是把整套 AI 面试知识做成了一套单文件 HTML 站点:12 个页面、深色浅色双主题、全局搜索、点开任何概念都有解释。后来这套工作流固化成了技能,短剧创作台、知识梳理图都复用同一套方法。 二、设计约束:单文件、零依赖、双击即用第一条约束就毙掉了绝大多数现代前端方案:整个站点是一个 HTML 文件,零外部依赖,双击就能开。意味着: 不引框架、不引 CDN(断网、拷走、发人都在); 全部视觉由 HTML/CSS 卡片构成,不用图表库; 单个文件 90KB 左右,12 页全站 ~1.1MB。 这条约束听着原始,但「发给任何人任何设备都能开」的价值,在面试前夜比什么都实在。 三、交互模型:Tab + 弹窗 + 全局搜索三层交互覆盖所有使用场景: Tab:每页顶部模块切换(如「架构 / 术语 / 面试题 / 课程题 / 周知识点」五大区); 弹窗:点任何词条弹出详情,分四类——术语(glos)、面试题(iv)、 ...
从 0 搭一个 RAG Agent:工具调用 + 检索闭环
普通 RAG 是「一问一答」,RAG Agent 是「会自己决定要不要查、查什么、查完怎么用」。这篇讲我搭一个带检索闭环的 Agent 的完整思路,以及几个让循环不跑飞的关键设计。 一、RAG Agent 和普通 RAG 的区别普通 RAG:用户问 → 检索 → 拼 prompt → 答。检索是固定前置的。 RAG Agent:用户问 → 模型判断要不要检索 → 决定检索词 → 检索 → 看结果决定要不要再查/调别的工具 → 综合作答。检索是模型决策的一部分。 价值场景:多跳问题(答案要拼多个来源)、需要实时数据(接搜索/数据库工具)、问题模糊(先拆解再查)。 二、架构四步循环1规划(Plan) → 行动(Act: 检索/调工具) → 观察(Obs) → 反思(Reflect) → 回到规划 规划:让模型先把问题拆成子问题; 行动:调用检索工具或外部 API; 观察:把结果回填上下文; 反思:判断信息够不够,不够继续,够了就总结。 三、把检索包成一个工具关键设计:检索不再是管道,而是一个可被模型调用的函数。这样模型能决定「现在该查吗、查什么」。 123456789def retr ...
Nginx 反向代理与 HTTPS 实战
经验驱动。本文的配置文件和验证结果都来自本机真实操作:下载 nginx 1.26.2(Windows 绿色版),写了一份生产级配置,并用 nginx -t 真实验证通过。证书是用 Python 真实生成的,不是占位。 为什么要反向代理 + HTTPS 反向代理:把外部请求转发到内部服务(比如 127.0.0.1:8080 的 Java/Python 后端),对外只暴露 443,后端无需直接暴露,还能做负载均衡、限流、缓存、统一 TLS 终止。 HTTPS:现在浏览器默认标记 http 为不安全,且涉及任何登录/API 都必须加密。TLS 在 nginx 这一层统一终结最省事。 真跑:写一份生产级配置本机下载解压后,我把 conf/nginx.conf 改成下面这样(节选核心): 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152worker_processes auto;events { worker_connections 1 ...
🔒 提交那一刻就计费:给生成任务加一道确认闸门
视频生成最贵的一课是:任务在提交那一刻就已经计费了,不是在你拿到结果的时候。 这句话听起来像常识,但它决定了一整块流程设计。因为提交之后的一切——轮询几分钟、下载、重试——都可能被进程被杀、断网、机器休眠打断。而这些打断不退还那笔钱。 踩过一次之后,我给生产环节加了一道四步闸门。下面说说为什么是四步,以及那个“不要重投”的坑。 一、四步闸门,顺序不能合并12341. 建立有边界的 job2. prepare —— 只预览,不生产3. 等创作者在看到预览之后明确确认4. run —— 才启动真实生成 每一步的职责是分开的,合并就会出问题。 第 1 步:job 必须有边界一个 job 只做一种模态。要写清: 数量 · 完整 prompt · 参考文件 · 参数 · 输出路径 · adapter profile 一个 job 不混合模态。 大批量工作拆成创作者能看清数量和成本边界的小 job——不要把整季隐式塞进一次确认。 第 2 步:prepare 只预览prepare 会返回一份完整预览:数量、prompt、来源条目、参考绑定、输出路径、是否覆盖、走哪个 adapter。 这一步还会做 ...
从零用 numpy 实现 Transformer 前向(含代码)
经验驱动。不装 torch,用纯 numpy 把 Transformer 的前向传播手搓跑通(本机真跑,输出在下面)。重点不是训模型,而是把”它到底在算什么”拆清楚——这是面试被问 Transformer 时最值钱的部分。 为什么要手搓前向很多人背得出”自注意力 = QKᵀ/√d·V”,但一问”Q/K/V 从哪来、多头怎么拼、位置信息怎么进来的”就卡壳。用 numpy 把前向过一遍,每个张量的 shape 都看得见,比看十篇图解都扎实。 四个核心部件 词嵌入 + 位置编码:token 先查表成向量,再叠加正弦位置编码(不加位置,模型不知道词序)。 多头自注意力:Q/K/V 三个投影,按头切分后各自做缩放点积注意力 softmax(QKᵀ/√d_k)·V,拼回再投影。 前馈网络(FFN):两层线性 + 中间 ReLU,逐位置作用。 残差 + LayerNorm:每个子层外包 LayerNorm(x + Sublayer(x)),这是训练深层不崩的关键。 真跑代码(节选)123456789101112def mh_attention(x): Q, K, V = x@Wq, x@ ...
用 CO-STAR 写系统提示词(附模板)
经验驱动。CO-STAR 是我最常用的提示词框架,把”上下文/目标/风格/语气/受众/响应”一次写清。本文附上我本机用 qwen2.5-0.5b-instruct 真跑过的完整案例和真实输出。 CO-STAR 是什么六个字母对应六个要素: C — Context(上下文):背景、前置信息。 O — Objective(目标):这次具体要完成什么。 S — Style(风格):模仿谁、什么文风。 T — Tone(语气):正式 / 轻松 / 自信 / 克制。 A — Audience(受众):写给谁看。 R — Response(响应):输出格式、长度、禁忌。 它和上一篇”方法论”的关系:方法论是原则,CO-STAR 是把原则落到纸面的固定模板。 真跑案例:给 DevNote 写推广文案我本机用 0.5B 模型跑过这条完整提示词: 1234567# 用 CO-STAR 写的提示词C(背景): 我们是一款面向程序员的云笔记工具,叫 DevNote。O(目标): 写一条 60 字以内的朋友圈推广文案,突出「本地优先、端到端加密、Markdown 原生」。S(风格): 极客、克制、不浮 ...
avatar
HYRX-TG
运维工程师 | AI算法学习者 | 热爱写作与技术分享
关注 河岳日星的 GitHub
公告
欢迎来到河岳日星的博客,记录技术与成长
最新文章
网站资讯
文章数目 :
122
已运行时间 :
本站总字数 :
171.6k
本站访客数 :
本站总访问量 :
最后更新时间 :
一言
:D 获取中...
:D 获取中...