Character.ai：2倍吞吐量提升，成本降低50%
全球领先的AI娱乐平台借助DigitalOcean推理云平台与AMD深度协作，实现生产环境推理性能飞跃
Character.ai
全球领先的AI娱乐平台
为全球2,000万用户提供高容量、低延迟的AI交互体验
项目概览
DigitalOcean 云平台（NYSE: DOCN）凭借其推理云平台（Inference Cloud Platform）以及与 AMD 的软硬件深度协作，成功助力全球领先的 AI 娱乐平台 Character.ai 实现生产环境推理吞吐量的 2 倍增长。Character.ai 运行着目前市场上需求最苛刻的生产推理任务，每日处理的查询量高达 10 亿次。
Character.ai 是全球领先的 AI 娱乐平台，拥有约 2,000 万用户。其应用具有高容量、高并发且对延迟极度敏感的特点，其底层通过混合使用私有模型和开源模型来驱动。在将相关工作负载迁移至 DigitalOcean 推理云平台后，Character.ai 在严守延迟标准的同时，实现了请求吞吐量的飞跃。
核心成果
与标准的通用 GPU 基础设施相比，这一转型不仅将单 Token 成本降低了 50%，还为终端用户显著扩展了可用容量。
"我们对 DigitalOcean 在性能、延迟和规模方面提出了极其严苛的要求。而 DigitalOcean 提供了极其稳定的性能，释放了更高的持续吞吐量并优化了经济模型，这为我们平台的持续增长提供了直接动力。"
— David Brinker，合作伙伴关系高级副总裁，Character.ai
这一里程碑式的进展也标志着 DigitalOcean 在服务 Character.ai 等大规模 AI 客户方面的势头愈发强劲，进一步支撑了平台的全球扩张及更丰富的多模态体验。
软硬一体化：深度协同的性能优化
DigitalOcean 与 Character.ai 及 AMD 紧密合作，部署了专为推理任务优化的 AMD Instinct™ MI300X 和 MI325X GPU 云服务器。在 DigitalOcean 的平台中，GPU 服务器不再只是被视为通用的硬件资源，而是通过其平台集成的"硬件感知调度"和"优化推理运行时"，将每个节点的持续性能榨取到了极致。
硬件层面
- AMD Instinct™ MI300X GPU
- AMD Instinct™ MI325X GPU
- 专为推理任务优化
软件层面
- AMD ROCm™ 开放软件栈
- vLLM 推理框架优化
- AITER Transformer 优化
AMD 在其开放的端到端 AI 软件栈 ROCm™ 上投入了巨资。通过三方的深度协作，各团队针对 Character.ai 在 DigitalOcean 平台上运行的 AMD Instinct™ MI300X 及 MI325X GPU，对 ROCm 配合 vLLM、AITER（AMD 专为 Transformer 工作负载打造的优化框架）以及部署配置进行了专项调优，最终实现了吞吐量的翻倍。
2倍吞吐量
在相同延迟约束下实现吞吐量翻倍
TCO优化
显著降低总体拥有成本
91%密度提升
单服务器请求密度大幅提升
准备好体验下一代AI推理平台了吗？
让我们帮助您实现性能飞跃，降低运营成本