aloyszhang commented on code in PR #965: URL: https://github.com/apache/inlong-website/pull/965#discussion_r1699627803
########## i18n/zh-CN/docusaurus-plugin-content-blog/2024-07-18-release-1.13.0.md: ########## @@ -0,0 +1,145 @@ +--- +title: 1.13.0 版本发布 +author: Wenkai Fu +author_url: https://github.com/fuweng11 +author_image_url: https://avatars.githubusercontent.com/u/8108604?s=400&v=4 +tags: [Apache InLong, Version] +--- + +Apache InLong（应龙）最近发布了 1.13.0 版本，该版本关闭了 275+ 个 Issues ，包含 7+ 个大特性和 90+ 个优化，主要完成了 Manager 对 Agent 安装包的管理和自升级流程的管理、Agent 支持自升级流程、Agent 对 Kafka/Pulsar/MongoDB 采集的支持、Audit 方案优化及能力增强、Sort 新增支持 Redis Connector 等特性。1.13.0 发布后，Apache InLong 丰富并优化了 Agent 功能场景， 增强了 Audit 数据度量的准确性，丰富了 Sort 的能力和适用场景，同时优化了 Apache InLong 运营、运维过程中遇到的一些问题和使用体验。 +<!--truncate--> + +## 关于 Apache InLong +作为业界首个一站式、全场景海量数据集成框架，Apache InLong（应龙）提供了自动、安全、可靠和高性能的数据传输能力，方便业务快速构建基于流式的数据分析、建模和应用。目前 InLong 正广泛应用于广告、支付、社交、游戏、人工智能等各个行业领域，服务上千个业务，其中高性能场景数据规模超百万亿条/天，高可靠场景数据规模超十万亿条/天。 + +InLong 项目定位的核心关键词是“一站式”、“全场景”和“海量数据”。对于“一站式”，我们希望屏蔽技术细节、提供完整数据集成及配套服务，实现开箱即用；对于“全场景”，我们希望提供全方位的解决方案，覆盖大数据领域常见的数据集成场景；对于“海量数据”，我们希望通过架构上的数据链路分层、全组件可扩展、自带多集群管理等优势，在百万亿条/天的基础上，稳定支持更大规模的数据量。 + +## 1.13.0 版本总览 +Apache InLong（应龙）最近发布了 1.13.0 版本，该版本关闭了 275+ 个 Issues ，包含 6+ 个大特性和 100+ 个优化，主要完成了 Manager 对 Agent 安装包的管理和自升级流程的管理、Agent 支持自升级流程、Agent 对 Kafka/Pulsar/MongoDB 采集的支持、Audit 方案优化及能力增强、Sort 新增支持 Redis Connector 等特性。1.13.0 发布后，Apache InLong 丰富并优化了 Agent 功能场景，增强了 Audit 数据度量的准确性，丰富了 Sort 的能力和适用场景，同时优化了 Apache InLong 运营、运维过程中遇到的一些问题和使用体验。Apache InLong 1.13.0 版本中，还完成了大量其它特性，主要包括： + +### Agent 模块 +- 支持数据版本号，用于区分正常数据与补录数据 +- 位点存储支持插件化，目前支持 rocksdb 与 zookeeper +- 支持配置版本号比对，防止配置反复 +- 支持分钟级文件采集 +- 增加 PostgreSQL 数据源采集 + +### Manager 模块 +- 支持通过 SSH 的方式安装 Agent +- 审计 ID 查询从直接与数据库交互切换至 Audit SDK +- 离线同步支持 Pulsar -> MySQL +- 支持离线同步调度信息管理 +- 文件采集支持多 IP 采集 +- 支持获取 Agent 配置信息 +- 支持修改 Stream 字段信息后自动同步至 Sink +- 支持字段模板管理 +- 数据预览支持 KV 格式 +- 数据预览支持根据字段过滤条件查询 + +### Dashboard 模块 +- 新增源数据字段模板页面 +- 新增监控审计页面 +- 支持通过基于SSH密钥的身份验证安装Agent +- 审计支持显示总计和差异的审计数据 +- 文件类型数据流支持分钟级周期 + +### Audit 模块 +- Audit SDK 统一分配与管理审计项 +- Audit SDK 支持自动管理 Audit Proxy 地址 +- Audit SDK 优化tcp粘包导致审计对账不准的问题 +- Audit SDK 优化审计项与指标项管理的问题 +- Audit Store 支持通用 JDBC 协议 +- Audit Store 优化进程重启可能导致丢数据的问题 +- Audit Store 清理历史无用代码 +- Audit Service 优化线程池管理 +- Audit Service 兼容Audit Tag为空的历史审计数据 +- Audit Service 优化OpenAPI 审计传输时延的计算 +- Audit Service OpenAPI 支持查询一天前的历史小时审计数据 +- Audit Service 支持自动管理分区 +- 优化容器环境变量冲突的问题 + +### Sort 模块 +- 新增 JDBC connector on flink 1.15 +- 新增 Pulsar connector on flink 1.18 +- Redis connector支持 上报审计信息 +- Kafka connector 支持上报审计信息 +- MongoDB connector 支持上报审计信息 +- PostgreSQL connector 支持上报审计信息 +- flink 版本 1.13.6 提升至 1.15.4 + + +### SDK 模块 +- 新增 DataProxy Python SDK +- DataProxy Python SDK 增强Transform SDK SQL函数支持，新增8种算术函数(power, abs, sqrt, ln, log10, log2, log, exp) +- DataProxy Go SDK 连接池支持动态均衡及故障节点恢复探测 +- DataProxy Go SDK 修复gnet初始化顺序的问题，避免升级到新版本gnet会阻塞 +- DataProxy Go SDK 潜在的阻塞问题，避免更新连接时阻塞 + +## 1.13.0 版本特性介绍 + +### Manager 支持对 SSH 安装 Agent +通过此特性，运维人员可以通过 Dashboard 进行 Agent 的安装操作，目前支持通过 SSH 和手动安装的方式。用户可以在集群管理页面新建 Agent 集群。 + +之后，进入节点，选择新建节点并配置好 SSH 用户名和密码后实现 SSH 安装 Agent 能力。感谢 @haifxu、@fuweng11 两位同学在 Dashboard 及 Manager 部分对此功能的贡献。具体可参考：INLONG-10409。 + + +### Manager 支持字段模板管理能力 +通过此特性，用户可以事先配置好字段模板，在新建 Stream 时，可以选择已配置好的字段模板，从而达到多个 Stream 重复配置的目的。 +感谢 @haifxu、@fuweng11 两位同学在 Dashboard 及 Manager 部分对此功能的贡献。具体可参考：INLONG-10330。 + + + + +### Inlong 支持配置离线同步任务 Pulsar > MySQL +在1.13.0版本中，InLong 支持了离线同步任务的配置，与实时同步相比，离线数据同步（尚不支持）更注重同步吞吐量和效率。 +该实现统一基于Flink计算引擎。实时同步任务以Flink流任务的方式运行，而离线同步则以Flink批处理任务的方式进行。这种方法可以尽可能地确保实时和离线同步任务代码的一致性，从而降低维护成本。 +InLong 的离线同步功能将与调度系统相结合，将数据源信息的完整或增量数据同步到数据目标，离线同步任务由 InLong Manager 创建（包括调度信息），具体的数据同步逻辑通过 InLong Sort模块实现。 + Review Comment: link is broken -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: commits-unsubscr...@inlong.apache.org For queries about this service, please contact Infrastructure at: us...@infra.apache.org
