首页 / 产品更新 / DigitalOcean Kafka 托管服务现已支持 Kafka Schema Registry

DigitalOcean 的 Kafka 托管服务现已正式支持 Kafka Schema Registry,为开发者提供了一种强大的方式,用于管理其事件驱动应用程序中的模式,并进行验证。Kafka Schema Registry(也称为 Karapace)是一种集中式服务,用于管理和验证 Kafka 消息的模式。它能够确保发送到 Kafka 主题和从 Kafka 主题消费的数据符合定义的结构,从而避免数据兼容性问题。

为什么使用 Schema Registry?

对于开发者来说,Kafka Schema Registry 提供了强大的模式治理和标准化的 HTTP 访问 Kafka 服务的功能,从而提高了数据完整性、开发者的工作效率以及系统的互操作性。这有助于赋能 DevOps 团队构建可靠且不断发展的事件驱动应用程序,通过集中化的模式管理和验证来确保数据完整性。Schema Registry 以更安全的方式简化了 Kafka 在多样化系统中的集成。

最终,这个工具为 Kafka 主题带来了结构化。它允许你定义、版本化和验证消息模式,以便生产者和消费者能够保持同步,即使数据在不断演变。它有助于防止破坏性变更,使调试变得更加容易,并确保 Kafka 管道在大规模部署时的可靠性。请注意,Kafka Schema Registry 仅适用于拥有专用 CPU 环境的 Kafka 客户。如需了解更多关于我们的 CPU 优化 Droplets 的信息,请访问DigitalOcean 英文官网的产品文档

Kafka Schema Registry 的功能特点:

  • 模式注册与验证:有助于提高数据一致性,并减少因数据格式不匹配而导致的运行时错误,从而使应用程序更加稳定。
  • 模式演变与兼容性控制:允许生产者和消费者应用程序独立演变,而不会相互破坏,从而促进敏捷开发并降低部署风险。
  • 集中化模式存储:提供清晰、有组织且易于访问的模式存储库,方便开发者理解数据结构并减少重复工作。
  • Kafka 的 REST 代理:降低了从多样化平台和应用程序(例如,Web 前端、脚本语言、遗留系统)与 Kafka 交互的门槛,这些平台和应用程序可能无法轻松使用原生 Kafka 客户端。

常见开发者使用场景

以下是一些具体的使用场景及其独特优势:

  • 微服务通信:通过确保生产者和消费者微服务对消息格式有共同的理解,防止运行时错误。
  • 数据契约和版本管理:允许数据结构安全演变,使生产者应用程序可以在不干扰下游消费者(可能仍依赖旧版本)的情况下更新模式。
  • ETL 和分析管道:通过在数据进入管道之前验证其是否符合预期结构,确保数据质量并防止作业失败。
  • API网关:为外部客户端提供一致且可靠的数据,同时消除猜测,确保每个请求都有可预测的、结构化的负载。
  • 机器学习工作流:确保训练和推理数据的结构完整性,这对于模型的可复现性和有效的调试至关重要。

你可以在 DigitalOcean 后台配置 Kafka 集群时,通过 DigitalOcean 云控制台或 API 启用 Schema Registry。你将获得一个专用的 Schema Registry 端点,它与 Kafka 生产者和消费者客户端无缝配合。

QQ 交流群:611945524
关注我们的公众号,获取最新内容推送

最新发布

相关阅读