蓝盟IT小贴士，来！

IT 员工和数据专业人员需要构建物理基础架构，以便在不同来源和多个应用程序之间移动数据。它╳还必须满足性能、可扩展性、及时性、安全性和数据治理要求。此外，业务可能会迅速失控，因此必须提前考虑部署成本。

也许最重要№的是，企业首先需要弄清楚大数据如何以及为什么对他们的业务很重要。

“大数据项目面临的最大挑战之一是如何更好地▲应用所获得的知识，”ERP 软件提供商 VAI 的商业智能经理比尔说。

虽然许多应用程序和系统都在捕获数据，但企业往往难以理解有价值的数据，并且未能以一种有影响力的方式应用这种观点。

从更广泛的角度来看，以下建议可帮助组织了解这 10 大数据挑战以及如何应对这些挑▓战。

1.管理大量数据

在这个定义中，大数据通常包括存储在各种系统和平台上的大量数据。企业面临的第一个挑战是将来自 CRM、ERP 系统和其他数据源的大型数据集集成到一个集成的、可管理的大数据架构中。

他说，当他知道正在收集的数据时，通过进行较小的调整来缩小洞察范围会更容易。要实现这一点，请构建一个允许增量更改的基础架构。如果您尝试进☆行重大更改，最终可↑能会遇到新问题。

2. 查找并修复数据质量问题

如果数※据质量问题蔓延到大数据系统，基于大数据构建的分析算法和人工智能APP应用可能会导致不良后果。如果数据管理和分析团队尝试部署更多不同类型的数据，这些问题可能会变得更加严重且难以审核。在在线市场中寻找在线购物助手，以帮助人们购买产品并安排运输。在扩展到 500,000 个客户时◆遇到此问题。该公司的主要增长动力是利㊣　用大数据来提供高度定制的体验、识别追加销售机会并监控新趋势。有效的数据质量管理是一个重要问题。

“我们需要不断监∑控和修复数据质量问题，”Pavel 说。他说重复条目和拼写错误很常见，特别是如果数据来自不同的来源。为了确保他们收集的数据的质量，该团√队创建了智能数据分类器。此分类器匹配具有较小数据差异的重复数据，并报告拼写错误的可能性。这有助于提高通过分析数据生成的集ζ　团业务洞察力的准确性。3. 应●对数据集成和准备的复杂性

开源分析平台提供商 Knime 的首席数据科学Ψ家表示，大数据平台可以解决收々集和存储大量∴不同类型数据的问题，并快速获取分析所需的数据。但是it技术，数据收集过程仍然非常困难。

企业收集的数据存储的▓完整性取决于持☉续更新。这需要保持对各种数据源的访问并拥有专门的大数据集成策略。

一些公司使用数据湖作为综合存储库来存储从不同来源收集的大型数据集，而不管各种数据将如何集↘成。例如，不同的业务▆领域生成的数据对于联合分析很重要，但往往具有不同的潜在含义，公司需要消除歧义。警告我们暂时不要集成项∩目。这可能①包括大量的返工。为了优化大数据项的投资回报，通常建议制定支持数据集成的战略方法。

4. 大数据系统的高◢效和经济扩展

如果企业没有使用大数据的策略，那么存储大数据可能会浪费大量资金。根据技术和服务提供商 ZL Tech 企业解决方案负◆责人的说法，企业需要ζ了解大数据分析始于数据捕获阶段。管理企业数据存储还◎需要一致的保留策略来回收旧信息。尤其♂是现在，COVID-19 之前的数据在当今︾市场上往往不准确。

云管理平ω　台供应商产品副总裁 Rehl 表示，数据管理团队必须在部署大数据系统之卐前规划数据类型、模型和用』途。然而，这并々不容易。

“我们通常从数据模型开始进行扩展，但很快意识到该模型不适合新的数据点，并且突然需要解决技术债务问题，”他说。

具有适█当数据结构的公共数据湖可以更轻松、更高效、更经济地重用数据。例如，文件通常比数据湖 CSV 转储提供更好的性能△成本比。

5、大数据技术评价与选择

数据管理团队拥有多种大数据技术，而且各种工具的功能通常会重叠。

NoSQL 数据库公司的首席战略官表示，来自流和批处理源的当前和未来数据，包括大型机、云应用程序和【第三方数据服务，例如 Kafka、、AWS 和 pub 等企业→流平台。/sub ) 可以是云、本地和混合。然后，团队需要评估复杂的数据准备能力，并将数据提供给人①工智能、机器↓学习和其他高级分析系统。计划处理数据的位置也很重要。如果延迟是一个问题，团队应该考虑如何在边缘服务器上√运行分析和 AI 模型it技术，以及♀如何轻松更新模型。企业必须在这些功能与部署和管理在本地、云端或边缘运行的设备和应用程序的成本之间取得◥平衡。

6. 产生商业洞察力

数据团队倾向于关注大数据技术而不是结果。经常发现他们不太关心如何处理数据。

从企业中的大数据应用程序中生成有价值的业务洞察需要考∮虑多种场景，包括基于 KPI 的报告、识别有用的预测以及提出不同类型的建议。

这需要具有机器学习专业知识的业务分析师、统计学家和数据科学家的协助。她说，这些团队与大数据工程团队合作，可以提高构建大数据环境的投资回报率。

文/上海蓝盟IT外包专家