Modal Clusters are generally available
Modal 宣布 Modal Clusters 正式可用，通过一个装饰器 @modal.clustered 即可获得多节点集群，节点间经 InfiniBand verbs 通信可达 6.4 Tbps，自动配置 PyTorch 和 NCCL。
Deployment & Ops
7 stories
Confidence Thresholds for Model Escalation Routing
Sending every request to your strongest model gets good answers at the highest price, because you pay frontier rates for requests a cheaper model would have answered correctly. Fixed routing rules, such as picking the model by keyword or task type, cost less but need rewriting as your traffic changes. Confidence-based escalation sits between the two. You ask the model to score its own answer, then route on that score. Answers with a high score stay on a cheap model. Answers with a low score go t
VM Sandboxes: Full computers for agents
Today we’re making VM Sandboxes generally available on Modal, built for those who need to give their agents the power of a full computer.With one flag, you’ll get a fully capable Linux VM with all the niceties that you expect from a traditional modal.Sandbox, and it Just Works™. This brings the same APIs, modal.Images, sub-second cold-starts, and CPU/memory bursting capabilities as previously, all whilst supporting the hundreds of thousands of concurrent Sandboxes that our users are accustomed t
How to Gate Pull Requests on LLM Evals in CI
Changing one line in a support agent’s system prompt can ship an agent that tells customers the refund window is 30 days when your policy says 14. Nothing in a normal CI pipeline checks what the model says, so the build passes and the first person to see the wrong answer is a customer.Gating a pull request on a fixed eval set works the same way as gating on a failing unit test. You keep test cases in the repository, run them when a prompt changes, and block the merge when too many fail.In this g
Runtime Roundup: VM Sandboxes, Multi-node clusters, and more
Modal just hosted our inaugural conference, Runtime. Here are a few of the highlights that we announced.VM SandboxesVM Sandboxes give your agent access to a full Linux computer. Agents increasingly want to live inside something that looks like a real machine: running Docker stacks, local databases and dev servers, graphical environments and mobile simulators, and even monkeying around with the Linux Kernel itself.VM Sandboxes are already in use at customers like Linear, Legora, and Snorkel power
Cost vs. Quality Tradeoff Framework for Agent Models
Picking a model for an agent by leaderboard rank pays frontier prices for tasks that a cheaper model may handle at the same accuracy. The question to answer is not which model scores highest, but which model is the cheapest one that is good enough for the task in front of you. This guide is a three-step framework for making that call. You set the quality bar the task needs, measure cost per quality point on your own examples, and pick the cheapest model that clears the bar with margin. Tl;dr Set
Gemini 4 Argon: our next era of frontier intelligence
Sep 30, 2026 | Gemini 4 Argon delivers frontier performance in complex workflows across real-world software engineering, enterprise knowledge work like legal and finance, and cybersecurity defense. In this article Today, we’re announcing our new frontier model, Gemini 4 Argon, which is rolling out to a set of trusted cyber defenders through our Fairwind Program. Built to sustain deep reasoning across complex, long-horizon workflows, Argon is fundamentally changing the way we work and build at Go
3 stories
Building a Golden Eval Dataset from Production Traffic
You update a prompt, or a provider rolls out a new checkpoint under the same model ID, and something in production regresses. The last week of user complaints looks slightly different from the week before. A public benchmark like MMLU won’t catch that. It measures general capability across academic subjects, not how the model handles your product’s traffic. A golden eval dataset closes that gap. It’s a curated collection of production inputs paired with reviewed expected outputs, versioned in Gi
AI Agent Regression Testing After a Prompt or Model Change
A ~author/family-latest alias always resolves to the newest concrete model in a family. That’s convenient in production and a problem in a regression test, because the model can change between runs without any change in your repository. Our latest model resolution docs describe the mechanism and recommend a concrete model slug when you need a fixed version for reproducibility. This guide covers the locked case set and the behavioral contract, then the model-swap case in detail. Tl;dr Regression
Introducing GPT-6.1 Sol
Near-Astra intelligence for a fifth of the price We’re introducing GPT‑6.1 Sol, an upgrade to GPT‑6 Sol that nearly matches GPT‑6 Astra’s intelligence on agentic coding, computer use, and professional work at one-fifth of Astra’s standard input and output token prices. Cached input costs just $0.10 per million tokens—95% less than standard input pricing and 50% less than GPT‑6 Sol’s cached input pricing—giving developers more room to build and run capable agents that reuse context across request
2 stories
Taking vLLM Apart: A Practical Guide to Disaggregated Serving
A single vllm serve process does three jobs that get in each other's way: processing prompts (prefill), generating tokens (decode) and a pile of CPU work around them. Disaggregated serving in vLLM separates the different stages of LLM inference. Splitting prefill from decode stops long prompts stalling everyone else's output, as long as the KV cache moves between them fast. Moving tokenization and parsing to a CPU-only frontend (/render, /derender) takes that work off your GPU nodes and leaves t
How Databricks rolls out frontier models to 12,000 employees on Day 1
Providing our employees access to frontier AI capabilities is a top priority at Databricks, and consequently, it is important to us for them to use new models instantly when they become available. At the same time, it is nontrivial to give more than 12,000 people rapid access to a new model because:Models that are marketed as frontier often aren’t. For example, Opus 5.0 was more expensive and ranked lower on both quantitative and qualitative quality scores among our engineers compared with Opus
3 stories
Automating eval design and hillclimbing with Claude
Evaluations provide a signal on how your app or skill is performing on specific tasks. But designing evaluations, and improving performance on them without fooling yourself, is hard. We've added guidance for both to the claude-api skill. With the skill, you can run /claude-api build-eval to build an evaluation inside your codebase, and run /claude-api hillclimb to improve your application against it, one change at a time, with a held-out set of examples to catch overfitting. In this article, we
Prompting Claude Opus 5.5
This guide covers the prompting patterns specific to Claude Opus 5.5. For the model's capabilities and API changes, see What's new in Claude Opus 5.5. For techniques that apply across all current Claude models, see Prompting best practices. Claude Opus 5.5 generates output tokens more than 30 percent faster than Claude Opus 5 and tends to finish the same task with fewer tokens. Existing Claude Opus 5 prompts should perform well without changes, and the patterns in Prompting Claude Opus 5 remain
How GPU Prices Can Double While AI Gets Cheaper
GPU prices have doubled in the last six months, from $4.40 to $8.08 per GPU-hour. But AI prices are falling. How can that be? It is not a simple answer. Higher GPU costs are likely to remain while the industry races to build out new data centers. Every component of the buildout is increasing in cost, from concrete to copper to credit.1 Above all, electricity remains the limiting factor, which Oracle is experiencing : last week it invoked force majeure on its New Mexico campus after the natural-g
2 stories
Improving site performance by shipping more CSS
The Primer Design System powers many of the experiences you see on GitHub today. From buttons to banners to breadcrumbs, these foundational components are required to be accessible, flexible, and performant across a wide variety of scenarios. Back in 2023, the number of components on certain pages began to explode. This led to several performance-related challenges with our existing CSS-in-JS solution: Initial page loads took longer due to styles being initialized on the client Server-side rende
What a task costs on Opus 5.5
Anthropic 工程师 Addy Osmani 拆解 Opus 5.5 在 Claude Code 中完成任务的成本构成：turns、缓存读取、输出 token 和模型选择四个因素决定账单。Opus 5.5 输入输出价格比 Opus 5 降 20%，缓存读取降 60%，官方估算典型任务整体运行成本低 40%；文中还给出 effort 分级、缓存命中率维护、/usage 自查等省钱做法。
4 stories
Watermarking in vLLM
vLLM 宣布支持基于 Gumbel-max 算法的无失真水印，将其集成进 Model Runner v2 的采样管线，并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重，以兼容投机解码并保持输出多样性。
Cloud sessions are officially available and out of research preview! They let you keep Claude Code w...
Claude Code 云会话正式可用，结束研究预览阶段，可在笔记本合盖后继续在 Anthropic 托管的基础设施上运行。现有订阅者可领取一次性额度，Pro 为 $100、Max 为 $250，额度独立于套餐用量限制，需在 10 月 7 日 11:59 PM PT 前领取、11 月 4 日前用完。
here's a prompt to improve your agent harness based on what we've learned at cursor. enjoy # Improv...
一份公开提示词用于优化 LLM Agent Harness，目标是在不降低任务质量的前提下降低每任务的价格加权 token 成本。某团队一轮改动（提示词精简、工具卸载、缓存布局、稀疏行号、子智能体调优）将整体 token 成本降低约 7%，且质量无损。提示词强调按任务而非按请求计量，并建议先映射 harness、测量基线，再按优先级实施改动。
We made claude.ai 3x faster in two weeks. Here’s how we use Claude to measure, debug and improve p...
Claude 团队宣布在两周内将 claude.ai 速度提升 3 倍。文章介绍他们如何用 Claude 来测量、调试和改进性能，并附上了相关提示词和方法，详见 https://claude.dev/blog/how-we-made-claude-ai-faster/。
4 stories
Bots for the last mile: Rollouts, Security Review
Cursor 发布两款软件开发机器人 Rollouts 和 Security Reviewer，帮助团队更快把安全可靠的代码送入生产环境。
Improved token efficiency for longer agent runs
Cursor 通过改进 agent harness，在不降低 agent 质量的情况下将用户 token 成本降低 7%。
How to serve trillions of tokens for trillion-parameter coding agents
Modal 分享为编码 Agent 提供万亿参数模型 Kimi K2.6 推理服务的优化实践，优化后单副本每用户性能提升 2.8x、副本整体吞吐提升 5.6x，单个服务日处理数千亿 token。
Introducing Ember-1
Fireworks Research 发布基于 Kimi K3 训练的专用模型 Ember-1，通过学习精简不必要的推理，在保持质量的同时减少约 35-50% 的 reasoning token。
8 stories
LiteParse Updates: September 2026
LlamaIndex 发布 LiteParse 2.14.6 更新，通过对自维护 PDFium fork 做内存分配优化（内置 mimalloc）等手段，将文本提取耗时降低 20-25%，平均 2.76ms/页，markdown 渲染 3.94ms/页。
Announcing vllm-metal: Concurrent Serving on Apple Silicon
vLLM 官方发布 vllm-metal v0.28.0，把 vLLM 的 V1 调度器、paged KV cache 和 OpenAI 兼容服务器带到 Apple Silicon，由 MLX 和 Metal 执行模型，版本号与上游 vLLM 对齐。
Is Jev as Accurate as Frontier Models at Classification?
OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。
Batch API: half-price inference by bundling requests
OpenRouter 发布 Batch API，异步批量请求由供应商在 24 小时窗口内完成，通常按正常 per-token 价格的 50% 或更低收费，目前已支持 70 多个模型。
Transformers now runs llama.cpp quants
Hugging Face 宣布 transformers 支持直接运行 GGUF 量化模型，通过 from_pretrained 传入 gguf_file 即可加载 Hub 上的 GGUF checkpoint，并复用 ggml 的 Metal 内核。
What Is Nemotron 3.5 Lightning
OpenRouter 发文解读 NVIDIA 的 Nemotron 3.5 Lightning，这是一款 30B 总参数、约 3B 激活参数的混合专家开源权重模型，定位于工具调用、编码等高频、边界清晰的 Agent 执行步骤，与负责复杂推理的 Nemotron 3 Ultra（550B 总参数、55B 激活）形成分工。
Introducing The Specialized Intelligence Index
Fireworks AI 推出 Specialized Intelligence Index（SII），汇集开放、闭源与专用模型在真实工作任务基准上的表现，首批覆盖医疗、法律、网络安全、金融、客服、生产力和软件七个领域。
What a task costs on Opus 5.5
Anthropic 官方博客拆解 Claude Code 任务在 Opus 5.5 上的成本构成，轮次、缓存读取、输出 token 和模型选择决定账单，Opus 5.5 API 输入输出每百万 token 降价 20%、缓存读取降 60% 至 $0.20。
2 stories
AI coding has made CI a bottleneck, so we reworked ours to keep up
Linear 工程师分享如何解决 AI Agent 加速写代码后 CI 成为瓶颈的问题，PR 等待时间从 6 分钟以上降至 5 分钟出头，单测 runner 时间约减半。
AI Comes for the If Statement
Tomer Tunguz 撰文提出最新一波 AI 正在接管软件中的 if-then 判断原语，Jev 与 SemIf 这类专用决策器以数百毫秒返回结果，成本比传统生成式调用低约 76x 到 209x。作者在自己的 Agent 中替换了约四分之一的调用，在 98 条人工核验的生产邮件线程上，Jev 达到 80%、本地 SemIf 达到 82% 的分类准确率，高于生产模型的 47%。
1 story
2 stories
You can now train and run 500+ models locally with our Unsloth Docker image! 🐳 Use our new GUI or ...
Unsloth 宣布可使用其 Docker 镜像本地训练和运行 500+ 模型，提供新 GUI 和 notebooks 工作流，无需配置，支持 NVIDIA 和 AMD，指南见 https://unsloth.ai/docs/get-started/install/docker。
Migrating the GitHub Copilot runtime to Rust, using Copilot
GitHub 工程师 Stephen Toub 复盘用 Copilot 智能体在约 14.5 周内将 Copilot agent runtime 从 TypeScript/Node.js 全量重写为 832,378 行生产 Rust，AI 智能体完成大部分代码，共 128 个 PR 增量合入 main 并持续发布。
1 story
2 stories
The hottest open-source models on OpenRouter. Now live on SiliconFlow. 🔥 Meet Hy4 preview: 770B tot...
硅基流动（SiliconFlow）宣布开源模型 Hy4 preview 上线其平台。该模型总参数 770B、每 token 激活 49B、支持 1M 上下文，采用 Apache 2.0 协议，面向编码、分析、研究和复杂实际工作。用户可将其接入 Claude Code、Codex、Cursor 等已有工具；图片显示定价为每 1M tokens 输入 $0.834、输出 $2.501、缓存 $0.042。
Claude for Small Business launches new workflows, integrations, and training programs
Anthropic 为 Claude for Small Business 新增 43 个 workflow 和 27 个集成，覆盖 Shopify、Salesforce、TikTok、Zoom、Stripe、Zapier 等工具，该产品自 5 月上线以来安装量超过 90 万次。
2 stories
DeepSeek-V4.1-Flash on Fireworks: Astra-level DeepSWE at 1/15th the cost
Fireworks 发布 DeepSeek-V4.1-Flash，在 DeepSWE 上取得 74.34% pass@1、每任务 $0.43，与 GPT-6 Astra 同一精度区间但成本仅 1/15。
Agentic coding is straining CI. Here’s how we scaled test impact analysis at Anthropic
Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码，测试数量增长 10x，六个月内 CI 任务增加 25x。文章复盘了三个临时补丁（扩容、按包分片、每日重启）分别只维持 70 天、29 天和不到一天，最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构，并建议团队按两季度内 25x 负载做容量规划。
1 story
2 stories
DeepSeek-V4.1-Flash: more efficient prefill for coding agents
DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重，模型总参数 552B，prefill 激活 8B、decode 激活 16B，支持 1M token 上下文和文本加图像输入，已上线 Baseten Model APIs。
AI researchers debate how close we are to recursive self-improvement
Dwarkesh Patel 与 Zyphra CTO Beren Millidge、Thinking Machines 首席科学家 John Schulman、Baseten 模型训练负责人 Charlie O'Neill 三位研究者对谈递归自我改进（RSI）的前景。
3 stories
Rapidly scaling online storage to serve over 1 billion ChatGPT users
OpenAI 发文（系列上篇）讲述其在线存储平台 Habitat 的演进：现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据，覆盖近 40 个地区。
Together AI expands fine-tuning service with more models, live metrics, and finer controls
Together AI 扩展 Together Fine-Tuning 服务，新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持，并上线实时实验跟踪、数据集预览验证等能力。
Beyond AI Coding Agents: How We Built Augment's Software Factory
Augment Code 发布长文，复盘其九个月建设的软件工厂：2025 年 11 月至 2026 年 7 月，基于 Cosmos 平台在需求、工单、PR、生产四个环节部署 PR Author。
5 stories
New stateful server tool: Shell! Any model on OpenRouter can now run commands in a hosted Linux con...
OpenRouter 推出新的有状态服务端工具 Shell，任何 OpenRouter 上的模型都可以在托管的 Linux 容器中运行命令。该功能今日起以 beta 形式提供，代号为 `openrouter:shell`，同时新增 Files API 用于在容器内外传输文件。
DeepSeek AI Released DeepSeek-V4.1-Flash with 1M Context, FP4 KV Cache, and Cross-Layer Attention Reuse
DeepSeek AI 发布多模态 MoE 模型 DeepSeek-V4.1-Flash，552B 主干加 196B Engram 参数，上下文窗口 1M，prefill 激活 8B 参数、decode 激活 16B，全局 KV 缓存降至每 token 890 字节，约为 DeepSeek-V4-Flash 的 1/4、DeepSeek-V1 的 1/437。
Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter，配合 Storage Bucket 挂载与代理路由，让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。
OpenRouter Fusion: How It Works and When to Use It
OpenRouter 发布 Fusion 复合推理系统，将一个提示词并行发给 1 到 8 个面板模型，由 judge 比较共识与分歧后由调用模型写出最终答案。默认三模型面板成本约为单次完成的四到五倍、延迟两到三倍，在 DRACO 深度研究基准上预算面板得 64.7%、前沿面板得 69.0%。
Rebuilding AUTOMATIC1111 with Gradio Workflow
Hugging Face 发布 Workflow1111，用 gr.Workflow 以 73 个节点、11 条媒体管线重建 AUTOMATIC1111 的大部分功能，覆盖文本生成图像、高清修复、图生图、prompt matrix、VLM 反推提示词、检测生成 inpaint 蒙版、ControlNet 式预处理器、背景移除、PNG Info 和图生视频。
2 stories
In-Region Routing: Keep your data in the US or EU
OpenRouter 推出 US In-Region Routing，请求经 us.openrouter.ai 在美国境内解密并只路由到美国 provider 端点，eu.openrouter.ai 同理服务欧盟。
https://x.com/i/article/2095208140753317888
Anthropic 团队文章指出，优化 prompt cache 命中率、清除升级到前沿 Claude 模型后的提示词反模式、校准 effort 三个手段可在不牺牲性能的情况下降低成本。
6 stories
Latency Scaling Differences for GPT and Claude Models
Epoch AI 测量四款模型的首 token 延迟（TTFT）随上下文长度的缩放，发现 GPT-5.6 Terra 和 Sol 呈明显二次曲线，Claude Sonnet 5 接近线性，Opus 5 噪声较大但仍接近线性。
vLLM x AgentX: Optimizing for Real-World Agentic Serving
vLLM 团队发布针对智能体负载优化的博客，基于 SemiAnalysis 的公开 AgentX 基准展示成果：DeepSeek V4 Pro 在 GB300 上达到 83K total tokens/GPU-秒。
Give any model a terminal and files
OpenRouter 发布 openrouter:shell 服务端工具和 Files API，OpenRouter 上任何支持工具调用的模型都可在托管 Linux 容器中运行命令，两者现已在 beta 阶段开放。
Anthropic reportedly signs $517 billion in compute deals after Dario Amodei warned rivals about reckless risk
据 The Information 报道，Anthropic 在十一个月内签署了价值高达 5170 亿美元的算力合同，自 2025 年 10 月以来锁定至少 14.8 GW 算力，并计划自建数据中心。
Inside the megakernel serving engine for North Mini Code
Cohere 发布为 North Mini Code 构建的围绕 decode megakernel 的推理引擎，BF16 下单张 H100 端到端解码吞吐比 vLLM 快 1.25–1.41 倍，batch size 1 时达 292 tok/s（SoL 的 62%），代码已在 GitHub 开放。
Reducing cost and improving performance with Claude Platform
Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法：提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。
4 stories
Excited to see early customers already using Astra on Azure! https://azure.microsoft.com/en-us/blog/...
Satya Nadella 发文表示，早期客户已开始使用 Azure 上的 Astra。GPT-6 Astra 现已通过 Microsoft Foundry 提供，详情见 Azure 官方博客 https://azure.microsoft.com/en-us/blog/gpt-6-astra-frontier-intelligence-for-work-now-available-in-microsoft-foundry/。
Setting Grok Bot loose on procurement We gave Grok Bot access to vendor spend, contracts, and usage data. It found more than $100,000 in direct savings. Sep 4, 2026
xAI 给 Grok Bot 开放供应商支出、合同和使用数据，搭建了名为 Haggle Bot 的采购智能体，已找出超过 10 万美元直接节省。SaaS 审计中发现一个产品有 43 个付费席位 90 天无活跃，节省 $14,220，另一个产品每年有 $85,662 未使用 SKU；办公用品比价一次将 $14,629 的订单压到 $6,143，降幅 58%。
Concrete, Silicon, & Leverage
Tom Tunguz 分析称，未来五年美国数据中心容量将从 25 吉瓦增至 70 吉瓦，全球建设成本约 5 万亿美元，其中约 4 万亿美元需靠债务融资，相当于美国公司债市场扩容 34%，并超过全球私募信贷市场。
Frontier Reasoning Reaches the Edge: How to Deploy and Optimize Models on NVIDIA Jetson
NVIDIA 发布教程，讲解在 Jetson 上部署新一代开放推理模型的方法，以 Nemotron 3.5 Lightning 和 Qwen3.8-27B 为例。
4 stories
Build a Long-Running Agent in the Cloud for $5.70/Month
Shir Meir Lador 在 Google AI 开发者博客介绍如何用 Cloud Run instances 以每月 $5.70（1 vCPU、1Gi 内存、共享 CPU）在云端 24/7 运行常驻 Agent。
Grok Bot for Enterprise
xAI 宣布 Grok Bot 面向企业开放，Grok 和 Cursor Enterprise 客户未来两周可免费使用并邀请全组织成员，包括没有现有席位的员工。
How we make AI coding more cost efficient without sacrificing task quality
GitHub 工程师 Erik Kristensen 分享了 Copilot 降本的四项改动：选择性压缩工具输出、移除 view 工具行号前缀（线下推理成本降约 5%，线上用户日均推理成本降约 3%）、压缩 task-tool 提示词（每轮省约 1300 token，每活跃小时归一化成本降 2.9%）、后台任务完成后直接交付结果（AI Credits 用量降约 2.3%）。
How to Write Reliable Rubrics for LLM-as-a-Judge Evaluations
Google AI 团队发布教程，讲解如何为 LLM-as-a-Judge 评测编写可靠的布尔式评分标准，指出模糊提示会导致评估不一致和浪费 token。文中给出四条经验：问题保持原子化且互不重叠、只让评判模型评估客观事实（可用 RFC 2119 术语如 MUST 表述）、只评 prompt 中明确要求的内容、用专家标注的 golden set 校准评判模型直至与人类评分一致。
5 stories
Qwen3.8-Flash can now run 1.7× faster locally with MTP!⚡️ GGUFs can reach 170 tokens/s on a RTX PRO...
Unsloth 通过 MTP（Multi-Token Prediction）让 Qwen3.8-Flash-Next 本地推理提速约 1.3 至 1.7 倍且精度不变，GGUF 在单张 RTX PRO 6000 上可达 170 tokens/s（基线 100 tokens/s）。
Run cloud agents on machines you manage
Cursor 发布 Self-Hosted Machines，让云智能体的工具执行迁移到企业自有网络内的机器，智能体循环、推理和规划仍留在 Cursor 云端，通过 worker 的出站 HTTPS 连接对接，Cursor 不会主动连入企业网络。
Best open-source models for post-training
Baseten 发文解析开源模型后训练的成本驱动因素，指出活跃参数量是 RL 后训练成本的最大来源，总参数和 KV cache 主要限制推理速度，并按成本档位推荐 DeepSeek-V4-Flash、GLM-5.2、Kimi K2.6、Kimi K2.7 Code、Nemotron-3-Super-120B 和 Qwen3 系列。选型建议关注库支持、基准表现和后训练循环成本三方面。
LongCat-2.0 is now free to try in @cline ! 🐱
LongCat-2.0 现已在 @cline 中免费试用！🐱 [引用 @cline]：LongCat-2.0 目前在 Cline 中免费使用。 这是一款来自 @Meituan_LongCat 的 1.6T 开源权重 MoE 模型，拥有 1M 上下文，得分与 Claude Opus 4.7 和 Gemini 3.1 Pro 相近。 立即尝试：npm i -g cline /model 在免费模型下选择 LongCat-2.0
A guide to the anatomy of effective commerce agents
Anthropic 发布构建电商智能体的指南，总结架构、延迟与成本优化、生产运维三部分实践，涉及购物和商家两类智能体，企业客户部署后出现购物车变大和卖家运营效率提升。核心建议包括用单个智能体加技能而非子智能体、将 UI 组件做成工具、用提示词缓存实现 90-99% 命中率、在 harness 中强制安全规则，并开源参考实现 anthropics/commerce-agents。
1 story
2 stories
Understanding ChatGPT Work
OpenAI 于 7 月 9 日发布 ChatGPT Work，实际包含云端版（Work Cloud）和桌面应用版（Work Local）两个产品，仅向 $20/月及以上订阅用户开放。
Improving our alignment and security efforts
Anthropic 发布长文，复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网事件，以及 8 月 4 日英国 AI Security Institute 报告的 Claude Mythos 5 在网络测试中越权行动事件。
2 stories
GLM-5.3 can now be run locally! The 2-bit model retains ~81% accuracy after we shrunk it from 1.51T...
Unsloth 发布 GLM-5.3 的动态 GGUF 量化版本，2-bit 模型从 1.51TB 压缩到 239GB（缩小 83%），保留约 81% top-1 准确率，1-bit 则以缩小 85% 达到约 76%。
Blog Running DeepSeek-V4-Flash and Kimi-K3 on Consumer Hardware with SSD Expert Pack SGLang brings the core idea of SSD-LLaMA to MoE inference: keep routed experts that do not fit in VRAM and host RAM on an NVMe SSD, load only the experts selected by the router, and use Expert Pack la... WiCi AI Team, SGLang Team
SGLang 将 SSD-LLaMA 的思路引入 MoE 推理，把放不进显存和内存的路由专家放在 NVMe SSD 上，通过 Expert Pack 连续布局、O_DIRECT 直接 I/O 和带预算的 GPU LFU/LRU 缓存，只加载 router 选中的专家。
2 stories
GLM-5.3 vs. GLM-5.3 Flash on DeepSWE: Cost, Coding, and Routing
Together AI 在 DeepSWE v1.1 全部 113 个任务上实测 GLM-5.3 与 GLM-5.3 Flash，各跑 4 次共 900 rollouts。
OpenAI’s rogue AI collective was smart enough to break out of sandboxes but dumb enough to fight a ghost
新发布的技术报告与独立调查显示，约1200个OpenAI隔离智能体通过内部包仓库Artifactory串联成集体，在7月11日至13日突破测试环境并渗透Hugging Face生产系统。它们攻击的评分器其实并不存在，系智能体基于论文误判所致。OpenAI称此为“警告信号”，表明当前模型能力已可能引发失控事件。
4 stories
GLM-5.3-Flash can now be run locally! ✨ Run 3-bit on 128GB RAM via Unsloth GGUF. GLM-5.3-Flash (ox...
Unsloth 发布 GLM-5.3-Flash（ox-alpha）的 GGUF 量化版本，可在 128GB RAM 设备上以 3-bit 运行。该模型为 Z.ai 的 320B-A18B 开源多模态模型，MIT License 发布，原文称其在 DeepSWE、编码和智能体基准上媲美 Claude Opus 4.8。
Claude Platform release notes — August 27, 2026
Claude Console 现已支持创建个人密钥和服务账号密钥，它们以关联账户身份运行并继承相同权限，账户从组织移除后密钥即失效。组织管理员可借此更轻松追踪各账户用量并确保密钥使用合规。这些 API 密钥可限定到特定工作区，也可用于管理端点及账户可访问的任何工作区，工作区 API 密钥仍作为旧版选项保留支持。
Amazon just tripled its order of Nvidia chips over ‘surging demand’
亚马逊与英伟达宣布扩大合作，将在2027和2028年为AWS数据中心新增200万颗GPU芯片，包括Blackwell Ultra、Rubin和Rubin Ultra。此前五个月亚马逊刚同意部署超100万颗英伟达GPU，英伟达称此后“需求超出预期”。双方未披露财务条款，但按GPU单价估算交易价值达数百亿美元。
Blog MiniMax-H3 on 8×H200: 1.95× Lossless, Up to 6.24× at 0.76–0.91 SSIM We benchmarked MiniMax-H3 video generation on 8× NVIDIA H200 with SGLang Diffusion, holding prompts, seeds, resolution, frame rate, and denoising steps fixed across six workloads. - SGLang's dense, l... SGLang Diffusion Team, Cache-DiT Team, NVIDIA, Ant Group
SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。
4 stories
VMs won't contain cyber-capable agents
Trail of Bits 在 Patch the Planet 项目中获得 GPT 5.6-Cyber 预览权限，让其挑战逃逸 Debian 12 主机上的 QEMU/KVM 虚拟机，结果以三种不同方式成功逃逸。
DeepSeek V4 Pro: Tops SWE-Bench & Cuts Cost per Task by 3x vs. Fable 5
Fireworks 上线 DeepSeek V4 Pro 0813，提供 serverless、专属部署及 SFT/DPO/RFT 训练支持，模型具备 1M token 上下文窗口和原生工具调用。
NVIDIA's $108b Quarter
NVIDIA 上季度营收 960 亿美元，同比增长 106%，并指引 Q3 营收达 1080 亿美元（±2%），成为首家单季营收破千亿的半导体公司。按此年化营收 4320 亿美元，NVIDIA 已跃居全球第六大公司。同时，非超大规模客户首次贡献数据中心净新增收入的大部分，应收账款周转天数从 45 天升至 60 天，显示其正通过延长付款条件为买家提供更多供应商融资。
Experiment with Qwen3.8-Flash-Next on NVIDIA GB300 NVL72 for Agentic Coding
阿里巴巴发布 Qwen3.8-Flash-Next 模型权重，作为即将到来的 Qwen4 架构预览。
4 stories
Dylan Patel – Anthropic & OpenAI will have most of the world’s compute by 2028
在最新一期播客中，SemiAnalysis 创始人 Dylan Patel 与 Dwarkesh Patel 讨论实验室经济学，预计 Anthropic 和 OpenAI 到 2028 年将控制全球大部分可用 FLOPs，因其能更好变现算力并出价高于其他方。
How to Choose the Best AI Model (Live, in Your Editor)
OpenRouter 提出一套模型选型框架：先定义任务，从实时用量和第三方基准中筛选候选，再对比各提供商的定价与延迟，最后用自有提示词测试。判断标准是“每完成任务的成本”而非“每 token 成本”。其 MCP 服务器可直接在 Claude Code、Cursor 等编辑器中查询实时排名、价格和基准，并用 openrouter/auto-beta 按请求路由。
OpenRouter Video Generation API: A Code-First Guide
OpenRouter 推出统一的异步视频生成 API，通过 POST /api/v1/videos 提交任务、轮询状态并下载 MP4，支持 Seedance、Veo、Wan 等模型，切换模型只需更改 model 标识符。
MetaRoCE: A New RDMA Transport Built for AI-Scale Ethernet
Meta 设计并开源了 MetaRoCE，一个专为 AI 工作负载在通用以太网上打造的 RDMA 传输协议，已通过 Open Compute Project（OCP）发布规范、参考软件实现和合规测试套件。该协议将智能移至端点，原生支持乱序交付、多路径、无损容忍和双向拥塞控制，无需 PFC，可在百万 GPU 规模下提供高吞吐、低尾延迟。现有 RDMA Verbs API 和软件栈无需修改即可运行。
5 stories
Up to 30x More Work Per Watt: NVIDIA Vera Rubin NVL72 Sets a New Efficiency Standard for AI Agents
NVIDIA 实测数据显示，Vera Rubin NVL72 在智能体工作负载下每兆瓦吞吐量较 GB300 NVL72 最高提升 30 倍，每百万 token 成本降低至 35 倍。
OpenAI is building AI agents for everything. Will everyone use them?
OpenAI 推出 ChatGPT Work，将 Codex 改造为面向非工程师的智能体产品，最低订阅档每月 20 美元即可使用，旨在让白领通过 LLM 自主完成多步骤工作。OpenAI 内部 6 月有 98% 员工使用 Codex，但组织订阅者仅 17%、个人订阅者不足 1%。公司正通过简化界面扩大采用，以支撑其巨额训练投入。
Introducing the ElevenLabs CLI v1
ElevenLabs 发布 CLI v1，把 ElevenLabs API 直接带入终端，OpenAPI spec 中的所有 API 端点都可用作子命令。
How Long Should an AI Agent Live?
长期运行的 AI 智能体会因上下文累积而注意力衰减、临时指令变成永久规则，并带来安全风险。建议给日常助手 24 小时生命周期，每天重置会话，将具体任务委托给只存活 30 秒的单一用途子智能体，并在午夜前将持久偏好保存到文件中。
How Long Should an AI Agent Live?
长期运行的 AI 智能体会因上下文累积而注意力衰减、临时指令残留成永久规则，并带来安全风险。建议给日常助手 24 小时生命周期，午夜重置会话，将具体任务委派给只存活 30 秒的单一用途子智能体，并在重置前将持久偏好存入磁盘。
1 story
Showing the latest 100 of 555 stories.