妙手erp（妙手数评数据处理架构）
妙手erp（妙手数评数据处理架构）优点Lambda 架构的优缺点速度和业务挑战:以下是 Azure 上用于构建大数据管道的众多代表性 Lambda 架构之一:用于以 Azure 产品和服务为代表的大数据处理的 Lambda 架构
大数据、批处理/流处理、机器学习模型、人工智能和其他各种数据和分析系统在今天已成为现实。Gartner 定义了“分析连续体”，其中列出了七个高级任务，并根据分析成熟度和竞争优势的规模将它们绘制出来。
尽管在全球范围内遵循了各种架构，但主要使用的两种架构如下：
1.Lambda 架构
旨在通过利用批处理层（也称为冷层）和流处理层（也称为热层或速度层）来处理大量数据
速度和业务挑战:
- 在流上下文中高速处理数据的能力对于业务需求是必要的，例如事务处理和实时报告。
- 涉及大量数据的批处理，以及相关的关联和聚合对于业务报告很重要。
以下是 Azure 上用于构建大数据管道的众多代表性 Lambda 架构之一:
用于以 Azure 产品和服务为代表的大数据处理的 Lambda 架构
- 能够高效处理海量数据的数据处理技术。
- 它可以被认为是接近实时的数据处理架构。
- 使用批处理层和流层的功能，在确保现有数据保持不变的同时，不断向主存储添加新数据。
- Twitter、Netflix 和雅虎等公司正在使用这种架构来满足服务质量标准。
Lambda 架构的优缺点
优点
批处理层通过容错分布式存储管理历史数据，确保即使系统崩溃也低出错的可能性。
这是速度和可靠性的良好平衡。
用于数据处理的容错和可扩展架构。
缺点
由于涉及综合处理，它可能导致编码开销。
重新处理每个批次周期，这在某些情况下是无益的。
使用 Lambda 架构建模的数据难以迁移或重组。
2.Kappa 架构
用于处理流数据的软件架构。
它基于流架构，其中传入的一系列数据首先存储在 Apache Kafka 等消息传递引擎中。
从那里，流处理引擎将读取数据并将其转换为可分析的格式，然后将其存储到分析数据库中以供最终用户查询。
当数据在插入消息传递引擎后立即被读取和转换时，Kappa 架构支持（近）实时分析。这使得最近的数据可以快速用于最终用户查询。
Kappa 架构被认为是 Lambda 架构的更简单替代方案，因为它使用相同的技术堆栈来处理实时流处理和历史批处理。
与 Kappa 架构的主要区别在于，所有数据都被视为流，因此流处理引擎充当唯一的数据转换引擎。
Lambda 与 Kappa 架构
Lambda 架构
Kappa 架构
Lambda 架构针对的是围绕复杂异步转换构建的应用程序，这些应用程序需要以低延迟（例如，几秒到几小时）运行。
Kappa 架构是对 Lambda 架构的阐释。Kappa 架构系统就像是一个去掉了批处理系统的 Lambda 架构系统。
