1. 项目概述当账单开始“说话”上个月我像往常一样打开阿里云的费用中心准备例行检查一下项目成本。一个刺眼的数字跳了出来对象存储OSS的费用尤其是“外网流出流量”这一项比平时高出了近三倍。心里咯噔一下这可不是个小数目。对于任何将核心数据、静态资源托管在OSS上的团队或个人开发者来说流量费用失控就像水管在暗处漏水悄无声息地侵蚀着预算。这个标题指向的问题非常具体阿里云对象存储OSS的外网流出流量异常增多并导致了费用上升。这里的“外网流出流量”指的是用户通过互联网公网地址访问你OSS桶里文件时产生的数据下行流量。比如你的网站图片、APP下载包、用户上传的文档预览只要是从OSS通过公网被拉取就算。问题在于这种增长往往是“异常”的——并非业务自然增长所致而是由配置疏忽、程序缺陷、甚至恶意爬取、盗链所引发。简单来说这项目就是一场“成本保卫战”。它适合所有使用阿里云OSS的运维、开发、以及项目负责人。接下来我会结合我踩过的坑和解决过的案例把这个问题掰开揉碎从如何发现异常到定位根因再到实施解决方案和建立长效监控给你一套完整的“止血”和“防复发”方案。2. 核心问题诊断与根因分析流量费用飙升第一步不是急着改配置而是当好“侦探”找到流量到底去哪了。盲目操作可能误伤正常业务。2.1 识别异常流量的关键指标阿里云OSS控制台和云监控提供了多维度的数据我们需要像看财务报表一样交叉分析流量监控云监控重点看InternetSend外网流出流量指标。在云监控控制台为你的OSS Bucket创建仪表盘观察其趋势图。异常通常表现为在业务低峰期如凌晨流量依然很高流量曲线出现规律的、尖锐的峰值流量基线在无业务变更情况下持续缓慢上升。对比看将InternetSend与IntranetSend内网流出流量例如从ECS内网访问OSS、GetObject请求次数等指标对比。如果流量暴涨但请求次数增长平缓可能意味着有大文件被持续下载或盗链。如果请求次数同步暴涨则可能遭遇高频爬取或程序循环调用。日志分析OSS访问日志 这是最关键的取证工具。你需要为Bucket开启访问日志记录日志会详细记录每一个请求。日志字段解读Remote IP客户端IP。如果发现大量请求来自少数几个非常用IP非你的服务器、CDN或已知业务IP极有可能是爬虫或盗链。Request-URI请求的文件路径。看看是不是某些特定的大文件如视频、安装包或目录被频繁访问。HTTP Status状态码。大量的403拒绝访问可能意味着防盗链生效但被频繁试探大量的404可能是有程序在暴力扫描而持续的200成功则说明资源被正常或异常获取。Referer请求来源。空Referer或来自陌生站点的Referer是盗链的典型标志。User-Agent客户端标识。统一的、奇怪的User-Agent如某个爬虫库的标识也是判断依据。分析方法将日志下载后使用awk,grep或导入到ELK、甚至用简单的Python pandas进行聚合分析。按Remote IP、Request-URI排序一眼就能看出“流量大户”。账单与用量明细 在“用户中心-费用中心-用量明细”中选择OSS服务可以下载CSV格式的用量明细。这份数据能精确到小时级别告诉你具体在哪个时间点、哪个Bucket、产生了多少外网流出流量是锁定问题时间窗口的利器。实操心得不要只依赖控制台概览图。概览图可能因为数据聚合而平滑掉突发峰值。务必结合小时级用量明细和访问日志进行微观分析真相往往藏在细节里。2.2 常见根因场景拆解根据我的经验流量异常无外乎以下几类你可以对号入座配置疏漏型Bucket误设为“公共读”这是最常见的新手坑。Bucket ACL或Policy被设置为允许匿名用户*GetObject。这意味着你的文件裸奔在公网上任何人都可以通过直接链接访问、下载甚至被搜索引擎收录引来无数不必要的流量。防盗链Referer设置错误或未设置没有配置白名单或者白名单配置有误如格式错误、漏了域名导致正常业务的图片无法加载而异常请求却可能畅通无阻如果Referer为空或伪造。程序缺陷型循环调用或逻辑错误客户端代码中存在Bug例如在循环中重复生成签名URL并下载同一个文件或者前端组件在渲染时意外多次请求同一资源。预热/预加载策略过激为提高用户体验有些系统会主动预加载大量资源。如果策略设计不当可能预加载了用户根本不会访问的内容产生大量无效流量。爬虫程序失控自己写的爬虫或数据处理任务在从OSS读取数据时并发过高或陷入死循环。外部侵害型资源被盗链你的OSS资源链接尤其是图片、视频被其他网站直接嵌入使用消耗你的流量为他人的网站服务。恶意爬虫与扫描OSS的公开或半公开资源被爬虫盯上进行大规模内容抓取。有些甚至是针对你文件名的字典扫描攻击。内容被意外分发例如某个包含大量OSS资源链接的页面被分享到高流量社区如技术论坛、社交媒体导致突发流量洪峰。架构变更型CDN回源配置变更如果你使用了CDN加速OSSCDN节点的缓存失效策略、回源频率设置不当会导致大量请求穿透CDN直接回源到OSS产生外网流量。业务功能上线新上线了一个允许用户下载历史文件、导出数据的功能未对其流量进行充分评估和限制。3. 解决方案工具箱从紧急止血到系统优化找到根因后我们就可以对症下药了。措施分为“紧急止血”和“长期优化”两类。3.1 紧急处置与快速止损当发现流量正在持续快速消耗时应立即采取以下措施修改Bucket读写权限最快 立即登录OSS控制台将问题Bucket的“读写权限”从“公共读”修改为“私有”。这是最彻底的“断电”操作。修改后所有匿名访问将立即被拒绝返回403错误。影响你的网站/APP中所有直接使用OSS原始链接访问的资源将全部失效页面上的图片、样式等会裂图。这仅用于极端情况下的临时止损并需要立刻通知业务方。操作路径OSS控制台 - Bucket列表 - 选择Bucket - 概览 - 读写权限。设置IP黑名单针对性拦截 如果通过日志分析锁定了少数恶意IP可以通过Bucket Policy存储空间策略快速封禁。{ Version: 1, Statement: [ { Effect: Deny, Principal: *, Action: oss:*, Resource: [acs:oss:*:*:your-bucket-name/*], Condition: { IpAddress: { SourceIp: [123.123.123.123/32, 456.456.0.0/16] } } } ] }这个策略会拒绝指定IP段的所有请求。注意Policy的Deny优先级很高要小心不要误封自己的办公网络或服务器IP。启用并严格配置防盗链Referer 这是防御盗链的标准姿势。在Bucket的“防盗链”设置中添加白名单。白名单填写填写允许访问的域名如https://www.yourdomain.com、http://app.yourdomain.com。可以包含通配符如*.yourdomain.com。一个重要选项“是否允许空Referer”。如果你的资源需要在浏览器地址栏直接打开、或者被某些APP其请求可能不带Referer访问那么需要勾选“允许空Referer”。否则这些请求会被拒绝。但这也会让直接使用链接的盗链行为得逞所以需要权衡。一个折中方案是通过签名URL或STS临时授权来访问不允许空Referer的资源。注意事项防盗链不是万能的。Referer头部可以被客户端轻松伪造或禁用。对于高价值、大流量的资源防盗链只能防“君子”还需结合其他手段。3.2 长期优化与架构调整止血后要建立更健壮的体系防止复发。推行“私有Bucket访问凭证”最佳实践原则默认所有Bucket均为私有。任何前端直接访问的资源都不使用永久OSS链接。实现方法前端直传使用服务端生成的上传Policy和签名让前端直接上传到OSS上传后文件即为私有。详情可参考阿里云官方Web端直传实践。资源访问对于需要在前端展示的图片、文件通过后端应用服务器或函数计算FC动态生成签名URL。签名URL具有时效性如30分钟过期后自动失效完美控制访问生命周期。代码示例Python生成签名URLimport oss2 from datetime import datetime, timedelta auth oss2.Auth(your-access-key-id, your-access-key-secret) bucket oss2.Bucket(auth, https://oss-cn-hangzhou.aliyuncs.com, your-private-bucket) # 生成一个30分钟后过期的签名URL用于下载 ‘folder/example.jpg’ url bucket.sign_url(GET, folder/example.jpg, expires1800) # expires单位秒 print(url)进阶对于移动端等场景可以使用STS服务临时授权颁发具有指定权限和过期时间的临时Token客户端使用该Token初始化OSS SDK进行访问。融合CDN加速与成本优化为什么用CDN将OSS作为源站通过CDN分发资源。用户访问CDN边缘节点大部分请求在节点缓存命中极大减少回源到OSS的流量即外网流出流量。OSS回源到CDN的流量是内网流量免费或极低价。配置关键缓存配置针对不同类型的文件如图片、CSS/JS、视频设置合理的缓存过期时间充分利用缓存。回源配置设置智能回源、分片回源等优化回源效率。HTTPS在CDN上配置SSL证书实现全链路HTTPSCDN到OSS的回源也可以配置成HTTPS或保持HTTP。成本对比通常CDN的流量单价远低于OSS的外网流出流量单价。通过CDN不仅提升了用户访问速度还显著降低了流量成本。精细化权限管理与生命周期规则使用RAM子账号不要在生产环境中使用主账号的AK。为不同的应用或服务创建RAM子账号并通过Policy授予其最小必要权限Principle of Least Privilege。例如一个只负责上传的进程只授予PutObject权限。设置生命周期规则对于不再需要频繁访问的旧文件、日志文件、临时文件可以设置生命周期规则自动将其转储到更便宜的低频访问或归档存储类型甚至自动删除。这能从存储成本上优化间接减少潜在的不必要访问流量。实施监控告警云监控告警为Bucket的InternetSend流量、GetObject请求数等关键指标设置报警规则。例如“当外网流出流量在5分钟内平均超过100 Mbps时”触发报警通知到钉钉、短信或邮件。日志服务SLS将OSS访问日志投递到SLS可以设置更灵活的告警。例如“当来自某个IP的请求在1小时内超过10000次”或“当对某个特定文件的请求状态码403比例超过50%时”触发告警便于实时发现扫描和攻击。4. 实战排查案例一次完整的“破案”过程去年我们一个内容平台突然出现OSS流量日增50%的情况。以下是完整的排查步骤告警触发云监控告警提示Bucket A的InternetSend流量连续2小时超阈值。初步定位下载该时间段的小时级用量明细发现流量集中在凌晨2点到5点这与我们的业务低峰期完全不符确认异常。日志分析开启并下载该时间段的访问日志。用脚本快速分析# 1. 统计TOP 10 IP awk {print $3} access.log | sort | uniq -c | sort -nr | head -10 # 输出显示一个海外IP假设X.X.X.X的请求数独占鳌头占比超90%。 # 2. 查看这个IP具体在请求什么 grep X.X.X.X access.log | awk {print $7} | sort | uniq -c | sort -nr | head -5 # 发现它在反复请求几个大的视频文件.mp4。 # 3. 查看这些请求的Referer和User-Agent grep X.X.X.X access.log | head -5 | awk -F \ {print $4, $6} # Referer为空User-Agent是一个常见的开源下载工具标识。根因判断综合来看这是一个来自海外IP的脚本在盗链下载我们Bucket里的视频文件。由于Bucket是公共读且视频链接曾在一个技术社区被分享过导致了被爬取。紧急处置由于是特定IP攻击我们选择不关闭公共读避免影响正常业务。而是在Bucket Policy中添加了一条拒绝该IP段X.X.X.X/32的Deny策略。策略生效后从监控图上看流量在5分钟内断崖式下跌至正常水平。长期加固将存放视频的目录迁移到一个新的私有Bucket。修改前端视频播放逻辑。播放器不再直接请求OSS链接而是向后端API请求一个有效期为2小时的签名URL。为该私有Bucket配置CDN加速提升合法用户观看体验同时固化“私有CDN”的架构。在云监控上为InternetSend设置了更精细的告警按小时平均流量。这次事件后我们建立了规范所有新Bucket默认私有所有前端可访问资源必须通过动态签名或CDN URL访问。5. 费用优化与成本控制进阶技巧除了解决异常流量我们还可以主动优化进一步降低成本。存储类型选择标准存储适用于频繁访问的热数据。低频访问存储适用于平均每月访问频率低于12次的数据如网盘备份、监控数据。单价更低但有最短存储时间和取回费用。归档存储适用于需要长期保存、几乎不访问的冷数据如合规档案、历史日志。成本最低但取回时间较长分钟到小时取回费用也较高。成本计算假设一个1GB的文件存储1年。标准存储费用约为0.12元/月一年约1.44元。低频存储费用约为0.08元/月但需考虑可能的数据取回费。根据访问模式选对类型长期能省下一大笔。请求次数优化OSS除了流量费还有请求费用万次请求计费。虽然单价低但海量小文件访问累积起来也不容忽视。优化手段合并小文件对于前端大量小图标、CSS精灵图可以考虑合并。善用缓存通过CDN和浏览器缓存减少对OSS的重复请求。避免不必要的HeadObject请求在代码中检查文件是否存在时如果后续大概率要读取可以直接尝试GetObject并处理异常而不是先Head再Get。内网传输免流量如果你的应用服务器ECS和OSS Bucket在同一个地域确保通过OSS的内网Endpoint如oss-cn-hangzhou-internal.aliyuncs.com进行访问。这样产生的流量是内网流量免费。检查方法在ECS上ping你的Bucket外网Endpoint看返回的IP是否是阿里云内网IP段如10.x.x.x, 100.x.x.x。但更可靠的方式是直接在代码或配置中指定内网Endpoint。资源包与预留容量包资源包如果你能预估未来一段时间如1个月的流量和存储量购买资源包通常比按量付费更划算。阿里云经常提供各种规格的资源包。预留容量包适用于存储量巨大且稳定的场景先预付一笔费用购买容量包该容量内的存储费用会享受大幅折扣。6. 构建常态化的成本监控体系最后分享我们团队目前在使用的一套简单有效的监控看板帮助大家常态化管理OSS成本。核心监控仪表盘云监控创建自定义大盘添加以下关键图表图表1外网流出流量 (InternetSend)趋势与内网流出流量 (IntranetSend)叠加对比。一眼看出流量是否“跑偏”。图表2GetObject 请求次数趋势。观察请求模式是否正常。图表3存储容量趋势。关注存储增长是否合理。图表4今日累计费用从费用中心API拉取或估算。设置一个每日预算线。关键告警规则规则1流量异常。InternetSend最近5分钟平均值 [基线值*2]。规则2请求风暴。GetObjectCount最近5分钟总和 [阈值如10万次]。规则3存储激增。StorageSize最近1小时增长 [阈值如100GB]。告警通知至少发送到钉钉工作群和值班手机。每周成本巡检每周一上午查看上一周的OSS费用明细重点关注流量和请求费用的变化。随机抽样检查1-2个主要Bucket的访问日志进行快速分析防患于未然。审查是否有Bucket的权限被意外更改或生命周期规则是否需要调整。流量费用问题本质上是一个“可见性”和“控制力”的问题。通过这次排查和优化我们不仅堵住了漏洞更重要的是建立了一套从实时监控、自动告警到架构最佳实践的完整防线。记住在云上看不见的成本才是最可怕的成本。希望这份结合了实战经验和系统方法的总结能帮你管好OSS的水龙头让每一分流量都用在业务的刀刃上。