arXiv Artificial Intelligence· Shinan Liu, Ted Shaowang, Gerry Wan, Jeewon Chae, Jonatas Marques, Sanjay Krishnan, Nick Feamster·· 19 小时前AI 评分22
FlowWise：面向流式流量智能的有状态快慢模型服务系统
FlowWise: Stateful Fast-Slow Model Serving for Streaming Traffic Intelligence
AI 导读
FlowWise 是一个面向流式有状态流量分析的服务系统，通过不确定性驱动的快慢级联，先用单包模型给出早期预测，仅将不确定的流升级到等待更多数据包的慢模型。它能在 16 ms 内服务 76.3% 的流，中位端到端延迟改善 40.5 倍，并在单台 16 核 CPU 服务器上每秒处理超 48.5k 条新流。该系统已开源，论文被 SoCC 2026 接收。
来源：arXiv Artificial Intelligence · arxiv.org