处理复杂的数据集成,你还在编写脚本吗?
数据并不单独存在于一个数据库、文件系统、数据湖或存储库中。在记录系统中创建的数据必须满足多种业务需求,与其他数据源相集成,然后才能在分析、面向客户的应用程序或内部工作流中使用。处理例子包括: 许多企业还拥有数据科学家、的数数据分析师和创新团队,他们越来越需要整合内部和外部数据源。开发预测模型的数据科学家通常会加载多个外部数据源,例如计量经济学、天气、人口普查和其他公共数据,然后将它们与内部数据源混合据集。进行人工智能试验的创新团队需要聚合大量且通常很复杂的数据源来训练和测试他们的算法。曾经在电子表格中执行分析的业务和数据分析师现在可能需要更复杂的工具来加载、加入和处理多个数据供给。 对于任何具有基本编程技能的人来说,将数据从源移动到目的地的最常见方法就是开发一个简短的脚本。代码从一个或多个源中提取数据,执行任何必要的数据验证和操作,并将其推送到你还一个或多个目标。 开发人员可以使用多种方法对点对点的数据集成进行编码,例如: 这些编码过程可以从多个源中提取数据,在将数据传送到目标数据源之前加入、筛选、清理写脚、验证和转换数据。 编写脚本可能是一种快速简便的数据移动方法,但它并不算是专业级的数据处理方法。生产级数据处理脚本需要自动执行处理和传输数据以及处理多个操作所需的步骤步骤。 例如,处理本吗大量数据的集成应该是多线程的,并且对有许多数据源的工作也需要可靠的数据验证和异常处理。如果需要有效的业务逻辑和数据转换,开发人员应该记录这些步骤或采取其他措施来确保这些集成是可以被观察处理到的。 支持这些操作需求的脚本编程并非易事。它要求开发人员预测数据集成可能出现的问题,并相应地进行编程。此外,在使用很多实验数据源时,开发自定义脚本可能并不划算。所以最后,数据集成脚本复杂通常难以在多个开发人员之间进行知识转移和维护。 出于这些原因,许多有数据集成需求的企业通常会寻找编程和编写数据流脚本之外的方法。 作者:Isaac Sacolick是StarCIO的总的数裁,也是亚马逊畅销书《推动数字化:通过技术实现业务转型的领导者指南》的作者。Sacolick是公认的顶级社交CIO和数字化转型影响者。他在InfoWorld.com、CIO.com、他据集的博客Social、Agile和Transformation以及其他网站上发表了700多篇文章。 原文网址:https://www.infoworld.com/article/3621成,992/why-you-need-a-data-integration-platform.html
- 最近发表
-
- 消息称余承东将负责华为云与计算BG
- 标签: 360安全龙虾 360龙虾卫士 OpenClaw 360公司
- 最耐用的3款苹果手机,果粉表示找不到换手机的理由!
- 标签: OpenAI SpaceX Codex Anthropic
- 腾讯云宣布多款核心产品降价 最高降幅达40%
- 外媒:苹果再次关闭美国20多家线下门店
- 谷歌公布“太阳捕手计划”:利用 TPUs 卫星,在太空打造 AI 超级计算网络
- Opera Neon 浏览器推出深度研究 Agent“ODRA”
- 标签: 英伟达 Nemotron3 GR00T AlphaFold GTC2026
- 云安全日报210108: 谷歌Chrome浏览器87版本发现多个重要漏洞,需要尽快升级
- 随机阅读
-
- 标签: 中国信通院 无线经济 CAICT 数字经济
- 欧盟推出新的人工智能法规
- 标签: 滴滴出行 免佣卡 完单奖 元旦出行
- 零代码也能当"导演"!智元推出机器人内容创作平台"灵创"
- 消息称英国政府考虑阻止英伟达收购ARM
- 开源 AI 客户端 Cherry Studio 升级:v1.6.0 正式发布
- 标签: Counterpoint AI服务器 存储市场 三星
- 标签: 抖音 推荐算法 双塔模型 Wide&Deep
- 澳大利亚起诉微软误导 Microsoft 365 用户关于 Copilot 订阅选项
- 避风港还是新高地?新加坡正成为中美AI企业“中立区”
- 特朗普签署命令投资5000万美元助力儿童癌症人工智能研究
- 标签: 罗永浩 科技创新大会 十字路口 创新产品
- 百度电商引入大模型,重塑风控审核流程,商家用户双赢!
- 大数据给零售供应链管理带来的价值
- 平台不得大数据杀熟!《网络交易平台规则监督管理办法》发布
- OpenAI兵分两路:推出类TikTok应用Sora2,并在ChatGPT中整合即时购物功能
- 微信:将对AI生成合成内容添加显式和隐式标识
- 俄罗斯称月底前对谷歌开出巨额罚单:最高可达2.4亿美元
- 手机1秒生成3D全息图,MIT团队新作
- 阿里云智能CTO周靖人:MaaS已成标准,未来应用都将围绕模型开发
- 搜索
-
- 友情链接