归档
时光荏苒,文字留痕
共 84 篇文章
Qwen3-32B + vLLM 大模型服务部署与开发实战
本文以 Ubuntu 22.04、双 A40、vLLM 0.28.0 和 Qwen3-32B BF16 为基线,系统介绍通过 Docker 部署 vLLM 推理服务的方法,涵盖 GPU 与模型管理、Tensor Parallel、YaRN、Reasoning、Tool Calling、OpenAI-compatible API,以及 Python、Node.js 和 Streaming 调用。文章还讲解健康检查、性能指标、监控、常见故障、API 安全、模型切换与回滚,并强调容器运行不等于服务就绪、总耗时不等于 Decode 吞吐,以及模型、推理服务、SDK 和业务应用之间的职责边界,为构建可复用的大模型推理基础设施提供实践参考。
DeepSeek V4.1 Flash发布!
DeepSeek V4.1 Flash中间版本已开启内测,采用全新模型架构,原生支持多模态,并在模型能力、响应速度和使用成本方面进行优化。实测速度达到1538 tokens/s,首字时延为775ms。调用时无需修改base_url,仅需将API模型ID改为deepseek-v4.1-flash-expires-on-0910。当前计费标准与deepseek-v4-flash相同,每个账号最多支持20个并发。
别急着赶工:先看懂这场数字媒体竞赛的"隐藏规则"
全国大学生数字媒体科技作品及创意竞赛(CMIT)本质上是将数字技术转化为好用、好看且具现实价值的作品,视觉效果与互动体验共占60分,选题策划占20分,说明材料和现场演示各占10分。团队应结合自身专长选择赛道,关注具体应用场景、学科交叉与社会关怀。备赛重点是先明确选题和视觉规范,再完善交互、材料与演示,严格核对视频、图片、展板、压缩包等格式要求。省二等奖可认定全国三等奖,建议先稳住省二,再冲刺省一及国赛答辩。
从 Coding Agent 到办公 Agent:AI 模型公司正在争夺谁的工作流?
第一章:从 Coding Agent 到办公 Agent,为什么焦点开始转向办公室? 我最近观察到一个变化:前一段时间,大家谈 AI Agent,最容易想到的是让它读代码、改代码、跑测试、提交补丁。到了 2026 年,模型公司的产品介绍里,邮件、文档、表格、客户系统和审批流程出现得越来越频繁。这个变
智启未来 创领非凡 | 大学生人工智能协会招新啦!
河南理工大学大学生人工智能协会启动2026学年招新。该协会为校级学术社团,由计算机学院指导,现有注册成员83人,覆盖多学院。协会实行会长团与办公室、宣传部、活动部、比赛部等职能部门架构,由芦碧波教授、郑艳梅副教授等名师指导。过去一学年开展8场线下活动、7期阶梯技术培训,涵盖AI知识普及、赛事宣讲、CUDA环境搭建、智能体框架等内容。社员参与二十余项权威竞赛,获国家级奖8项、省级一等奖7项等四十余奖项。新学年计划继续吸纳会员,开设9期培训(新增鸿蒙开发、大模型微调等),目标新增国家级奖5项以上。欢迎对AI感兴趣的各专业学生加入。
20 天,170 万次请求——我的阿里云 ESA 数据复盘
基于ESA控制台20天真实数据复盘:区间内累计约170万次请求,日均8万多,单日峰值27.9万;可缓存请求命中率约66%。流量大头是自建Git仓库(100.93万),而非博客(22.45万);移动、电信、联通均有真实访问,约50.47万次请求被识别为Bot,说明防护确实在承接压力。结论:对国内个人站,阿里云ESA值得用,理由是国内节点就近接入、加速与防护一体化、接入门槛低。后续将继续观察命中率与Bot占比变化。
当 DeepSeek Harness 遇上 Spring Boot:AI 时代的架构课
作者将 DeepSeek Harness 与 Spring Boot 对比,指出两者共享同一核心思想:通过运行时组装、替换和管理能力,而非把功能写死在代码中。DSH 基于 Cordis 插件框架,模型适配器、工具注册表、会话日志乃至 agent loop 本身均可配置替换,类似 Spring 的 Bean、依赖注入与自动配置。文章强调,AI 降低编码成本后,架构设计成为程序员的核心竞争力。关键问题包括:隔离变化、明确契约、确保可替换性、安全边界与可审计性。读者收益:理解智能体系统应从边界、契约和替换点入手,而非只关注模型能力。
因为喜欢开源,我用 Halo 写了一个插件并发布到了应用市场
作者因热爱开源,在发现 Halo 后台无深色模式后,亲自开发了深色模式插件并上架应用市场。插件后端用 Java,前端用 Vue 3 + TypeScript,核心集成开源 Dark Reader 引擎,支持浅色、深色、跟随系统三种模式,能记忆偏好并兼容第三方动态内容。开发中借助 AI 工具辅助,但核心思路自定,同时遵守 MIT 许可。经过打磨,规范了设置入口、统一了界面风格,并完善 CHANGELOG、CI 自动发布和依赖安全审计,版本迭代至 1.1.3。插件通过官方审核后上架,包名为 top.liuhangyv.darkmode,任何 Halo 用户可一键安装。作者认为开源是互惠的,鼓励人们从微小贡献开始回馈生态。
我的腾讯云服务器突然烧掉几百G流量?一场与"代码搬运工"的较量
服务器月初流量异常飙高,日均消耗7~20GB,带宽持续满速。通过监控数据发现异常时段,登录排查排除中毒可能,转而检查容器日志,锁定Gitea日志中一天内5.3万行记录、98.6%请求来自同一网段,发现机器人地毯式抓取源码。真正原因并非端口暴露,而是FRP隧道绕过了腾讯云安全组,使内网服务通过阿里云公网域名可达。将Gitea改为仅登录可见后,流量回落至正常水平。经验包括:内网穿透工具等同公开服务,需加强鉴权;日志体积是排查流量大户的关键;匿名可见易招爬虫;应先分析数据和日志,再定位修复。
从 5 个到 17 个:我的 Windows 终端工具链升级记
作者从一句“我的 Scoop 用了吗”出发,发现终端里除了 5 个常用工具,还残留着 14 个断链 shim 和旧配置。原本只想清理,最终升级为一次完整的终端工具链改造。核心方法:先用 AI 调研(Exa 搜索核验 164 条来源),确认 `bat`、`fd`、`fzf`、`zoxide` 仍是主流;用排除法决定“不装什么”,留下 17 个工具并按使用频率分两批安装;装完后配置 PowerShell profile(别名、zoxide、PSFzf、delta、oh-my-posh)实现联动。作者强调,工具不是装完就完事,需在实际场景中验证价值,并沉淀为按用途分类的手册——装 17 个工具不难,难的是知道哪 17 个不用装。