首页 / 客户案例 / DigitalOcean 助力 Traject Data 实现每日 20 亿 API 请求的稳定运行

自2020年成立以来,Traject Data 已迅速成长为一家领先的 API 提供商,专注于提供干净、可靠的搜索引擎结果页面(SERP)和电商数据服务。总部位于科罗拉多州,如今该公司每月处理的请求量已达 20 亿次,拥有 99.95% 的可用性,为全球超过 48,000 家客户——从小型企业到大型跨国企业——提供支持。

“我们最初规模很小,客户主要集中在北美地区。”Traject Data 的产品经理 Tomonori DeSimone-Igari 表示,“但随着时间推移,我们的产品线和团队不断壮大,也逐步构建了一个强大的基础设施来应对海量数据处理的需求。”

目前,Traject Data 拥有一支约 30 人的精干团队,其中包括十几名应用工程师和两名 DevOps 专家。他们见证了公司从每月仅处理一亿次抓取请求,发展到现在每月处理二十亿次请求的飞跃式增长。而 DigitalOcean 提供的基础设施——包括 Droplets、VPCs、Spaces对象存储 和托管数据库等——在成本可控的前提下支撑了如此大规模的数据处理,尤其是在出站流量方面的优惠定价,使这种级别的请求量变得经济可持续。

扩展过程中遇到的基础设施挑战

随着 Traject Data 的业务不断扩展,一些关键的基础设施问题逐渐浮现出来,威胁到了公司的持续增长能力。

首先是出站流量的成本管理。每处理数十亿次请求都会产生巨大的出站网络流量,而在以往的服务提供商那里,这部分成本高得令人难以承受。“我们之所以选择继续使用 DigitalOcean,最主要的原因就是它的出站流量费用非常实惠。其他平台或供应商的费用要高得多。”Traject Data 的首席 DevOps 工程师 Fernando Marrero 说道。

其次是性能的一致性问题。客户期望获得极速的数据响应,这就要求公司的基础设施在任何负载下都能保持速度与可靠性。“我们的基础设施经过优化,可以实现高速、高并发的爬虫任务。平均每个请求大约耗时 6 秒,P90 延迟控制在 10 秒以内。”Tomonori 解释道,“这个 P90 指标意味着即使在高峰时段,我们也有 90% 的请求可以在 10 秒内完成。”

此外,公司还需要灵活的计算资源,以高效应对从常规操作到高强度爬虫任务等多种工作负载。同时,其复杂的反机器人规避技术也需要一个能够支持实时调整的基础设施。“我们的核心优势在于技术的持续进化。”Tomonori 表示,“我们可以实时调整策略,确保客户在亚马逊、沃尔玛以及新兴市场平台上也能获得稳定流畅的数据流。”

DigitalOcean 的解决方案:全面的云基础设施

DigitalOcean 通过一套兼顾成本效益和高性能的综合基础设施方案,帮助 Traject Data 应对了这些挑战。其具有竞争力的出站流量价格,消除了扩展过程中的经济障碍。“DigitalOcean 快速的可扩展性、出色的技术支持和有竞争力的价格,让我们毫不犹豫地选择成为他们的合作伙伴,并长期合作下去。”Fernando 说道。

DigitalOcean 提供的计算资源灵活性,对于 Traject Data 多样化的运营需求至关重要。其定制化的虚拟机配置,让公司能够在不同工作负载之间平衡成本与性能。“虚拟机的层级划分非常灵活。”Fernando 表示,“有些时候我们会选择基础层实例,以获得更高的性价比;而在需要更高 CPU 性能的场景下,我们会选择专用 CPU 实例来提升性能。”

如今,DigitalOcean 的完整产品组合已全面支撑起 Traject Data 的整个基础设施:

  • VPC 在欧洲提供了安全的生产环境和灾难恢复机制,并由集成的云防火墙保护。
  • Droplets 用于运行 Node.js 应用程序,关键服务则通过 Backups 功能进行备份。
  • 数据存储与分发方面,他们使用 Spaces 进行对象存储,通过 Spaces CDN 加速内容分发,并借助托管 MongoDB 和 Redis 数据库实现可靠的数据管理。

不止于云基础设施的合作关系

除了提供基础设施产品,DigitalOcean 还与 Traject Data 建立了深入的技术合作关系,最大化其资源利用效率。他们与技术客户经理 Raph 的密切沟通,在优化部署方面起到了关键作用。“我们和技术客户经理 Raph 的合作非常棒。”Fernando 表示,“Raph 帮助我们充分发挥了 DigitalOcean 资源的价值。他背后的技术团队也非常乐于助人,经常主动为我们提出平台优化建议。”

这种合作关系还延伸到了战略规划层面,让 Traject Data 能够提前了解 DigitalOcean 即将推出的新功能,从而相应地调整自己的产品路线图。此外,DigitalOcean 提供的详尽文档和社区资源也对他们帮助极大。“社区文档非常实用,很多时候我们都可以直接参考社区文档快速上手他们的服务。”Fernando 补充道。

规模化下的高性能与战略扩张

通过与 DigitalOcean 的深度合作,Traject Data 成功实现了规模化增长,同时保持了出色的性能表现。他们成功重构了自己的基础设施,使其能够应对指数级增长的请求量,同时保持企业级的高可用性,并在高峰期依然提供快速稳定的响应。

展望未来,Traject Data 正借助 DigitalOcean 的全球基础设施加速布局。“2025 年我们将进一步拓展企业级数据处理能力。”Tomonori 表示,“我们要进一步优化系统,以应对更大规模的实时请求,同时继续保持高可靠性和低延迟。”

Fernando 对双方未来的合作充满信心:“我们将继续致力于为客户提供快速、可靠的数据服务,同时依托 DigitalOcean 提供的高可用全球基础设施,持续扩展我们的系统架构。”

QQ 交流群:611945524
关注我们的公众号,获取最新内容推送

最新发布

相关阅读


Warning: call_user_func_array() expects parameter 1 to be a valid callback, function 'wp_print_speculation_rules' not found or invalid function name in /usr/local/lighthouse/softwares/wordpress/wp-includes/class-wp-hook.php on line 324