在自己的硬件上跑前沿 AI
来自 Hacker News · 期号 2026-09-22
摘要
Tim Dettmers 发文，核心观点是个人硬件跑前沿 AI 并非遥不可及，关键在于模型量化和硬件优化。 评论区有用户分享了自己在 24GB 显存的消费级显卡上运行 70B 模型的经验，指出量化到 4-bit 后，推理速度可达每秒 5-8 token，足以用于实验和轻度任务。也有用户反驳，认为这离“可用”还很远，尤其是需要长上下文或高吞吐量的场景。 “量化让 70B 模型在 24GB 显存上跑起来，但每秒 5 个 token 的体验，和 API 的流畅度差了一个时代。”——来自评论区。