8 张 2080Ti 上的两种切法:张量并行生成快,预填充却慢
同一套卡、同一个模型,llama.cpp 的 --split-mode 从 layer 换成 tensor,token 生成变快了、预填充却慢了好几下。这篇文章把 layer split(流水线)和 tensor split(张量并行)到底切了什么、通信差在哪讲清楚,再 …
THE NOTEBOOK / 文章归档
按发布时间倒序浏览指尖魔法屋的全部文章,涵盖前端开发、Python、人工智能、边缘设备、系统配置和博客折腾记录。
同一套卡、同一个模型,llama.cpp 的 --split-mode 从 layer 换成 tensor,token 生成变快了、预填充却慢了好几下。这篇文章把 layer split(流水线)和 tensor split(张量并行)到底切了什么、通信差在哪讲清楚,再 …
想给自己的程序加上 Agent,未必需要从模型 API、Function Calling 和 Agent Loop 开始造轮子。这篇文章用 Python 接入 Cursor ACP,先跑通一个最小 Agent,再讲清楚会话、权限和业务入口该怎么接,并讨论什么时候该用、什 …
很多 Transformer 教程从完整架构图和 Q/K/V 公式开讲,初学者每个词都认识,连起来却看不懂。这篇文章跟着“我爱猫”的翻译过程,从 token 怎样交换信息,一步步拼出 Encoder、Decoder、训练与推理。
JSON 要等整包到齐才能读,Agent 却得边跑边吐状态。NDJSON 把这件事拆成一行一条记录,这篇文章讲清它是什么、什么时候该用,以及几处容易被忽略的用法。
用 lark-cli 收飞书消息,Python 桥接 Cursor ACP(agent acp),项目代码里不集成任何大模型 API;适合已有 Cursor 订阅、想在本机跑 Agent 的场景。
从残差连接解决深层网络退化问题讲起,梳理 ResNet 的基本结构,并结合篆书 OCR 项目说明如何把 ResNet18 改造成灰度单字识别 backbone。
记录一次在投资研究 Agent 中调试 OpenAI Responses API Web Search 的过程,重点梳理请求格式、SSE 流解析、工具名兼容性和结构化数据源设计。文中的 provider、模型和估值结果都属于当时环境,不能替代正式行情接口或投资建议。
这篇文章从 AI 编程的真实工程场景出发,梳理 Harness Engineering 如何通过上下文、工具、沙盒、验证和人工闸门,让 Agent 从“会写代码”走向“能稳定交付”。