用数据湖发现物联网的价值

数据湖存储已经成为新的数据聚合层

云数据湖存储正在改变我们对数据湖的看法。像ADLS和Amazon S3这样的云存储解决方案已经引入了新的特性，比如无限的可伸缩性、成本灵活性、易于维护、高可用性和消除竖井。不到十年前，这些数据池还不存在。

这些特征改变了组织看待数据湖存储的方式。在过去，数据湖只是事后的想法。现在，数据湖存储是数据落地的第一个地方。

云数据湖提供了计算和数据的分离

数据湖泊存储在如何处理数据时也更改了游戏，因为您现在可以从计算和数据的分离中受益。少于十年前，我们讨论了对数据的计算，其中目标是在同一群集中运行所有内容并产生更快的性能。在云计算中，事情的运作方式有所不同;不仅因为网络基础设施已经更好地获得了更好的，而且因为计算和存储之间的分离概念。

传统的云数据仓库将计算和存储分开，这是个不错的开始。然而，您真正想要的是计算和数据的完全分离，这只有在开放的云架构中才能实现。

这意味着现在你可以将存储作为一种服务，并分别利用管道服务和可以直接在你的数据上运行的计算引擎，如Spark、Dremio和Hive。这是物联网数据湖基础设施的一个关键优势，因为您可以分别扩展数据和计算，让您对速度和成本进行细粒度控制。

构建成功的物联网数据湖架构

在传统的数据仓库方法，从IOT设备获得的数据必须在准备分析之前转换，标准化和混合。这个过程缓慢而昂贵，可以转化为错过的商机。要获得它，您必须了解如何通过构建灵活，快速，安全和成本效率的数据湖来简化该过程。这是它的完成方式：

数据应该留在它降落的地方

虽然云存储昂贵，但孤独和保持多个数据副本的实践不仅效率低下，而且还可以提高存储成本。IOT分析师希望快速，自助服务访问数据，您可以通过消除满足其需求所需的流水线的复杂性来实现这一目标。

物联网基础设施生成多种形状和大小的数据，尽管仍需要繁重的提取、转换和加载过程来将这些数据投入湖中，但在向最终用户提供数据时，您可以避免实施类似的过程。在某些场景中，数据可能存储在同一个云中的多个桶中，甚至一个多重云环境不同的数据集存储在不同的云存储中。

关键是实现自助服务基础架构，其中一系列用户可以使用他们熟悉的工具直接从数据湖中使用数据，而无需从中使用其他帮助。

维护安全性和治理

仅在美国，网络安全漏洞对商业的影响就超过了6万亿美元，所以这对于让安全这是您的物联网云数据湖战略的基本部分。确保始终建立安全措施，如在传输和静止的数据加密，以及基于角色的访问控制。

你的重点应该是简单。安全系统有时可能非常复杂，以至于用户试图绕过它们，迫使它们转向治理较少的替代方案。分配足够的访问权限来获取它们需要的数据，这将防止它们离开系统。这可以通过提供一种受治理的数据共享机制来实现，该机制可以防止断开连接的副本，并避免不必要地限制对数据的访问。

您还应该在可能的情况下启用粗粒度所有权。云的可伸缩性和弹性使得为不同的团队创建独立的资源变得更加容易。完全资源隔离正在成为数据湖的一种公共模型，允许数据团队使用其资源，而不与其他组织单位共享资源。此外，与细粒度访问控制相比，访问控制更容易设置和维护。

通过高效的工作负载管理和弹性的可伸缩性来控制成本

这可能是最困难的，但最必要的最佳做法是最困难的。组织中的团队将具有不同的工作量要求，不同的SLA和公共资源池。这可能是具有挑战性的，因为它意味着部署资源时必须找到完美的余额，以避免过度配置和配置。摇摆太远的两侧将严重影响成本和工作量的性能。

考虑利用处理引擎，使您能够根据工作负载大小有效地调整和自动化资源的部署。通过这种方式，您可以完全控制为每个工作负载部署多少资源，以及哪些资源可以因为不活动而退役。这意味着您可以消除空闲工作负载的不必要开销。

最终的想法

通过分析发现是物联网成功的关键，但由于物联网平台产生的数据规模很大，这可能具有挑战性。通过设计和部署数据湖，您可以控制成本、实时访问数据并确保治理，从而帮助解决这些挑战。

数据湖实际上是一个无底的存储库，可以填满任何形状和大小的数据。也就是说，在处理物联网数据时，如果不遵循设计和实施数据湖策略的最佳实践，就有可能创建难以管理的数据沼泽。

通过消除数据移动，利用灵活的可伸缩性，调整处理繁重分析工作所需的资源大小，并让所有用户轻松访问数据，您可以放大物联网数据的价值及其为您的业务增加的价值。

所有IoT Agenda网络贡献者都对其帖子的内容和准确性负责。意见是作者的，不一定传达物联网议程的想法。