怎样实时监控数据库数据随系统时间变化中表值的变化并处理

1、象你这种情况多半是另外一个鈈受控的软件在写数据

2、然后你用类似计时器技术,定时去读数据库数据随系统时间变化

3、允许多久的时间差?

4、数据多大、结构是否合理有可辨识的时间字段用于减少排查工作量。

5、这种情况下差个5分钟,对于不懂的外行来说也基本是实时了。

你对这个回答的評价是

下载百度知道APP,抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

版权声明:本文为博主原创文章遵循 版权协议,转载请附上原文出处链接和本声明

Oracle中如何获取系统当前时间进行语句的筛选是SQL语句的常见功能

ORACLE裏获取一个时间的年、季、月、周、日的函数

 当前时间减去7分钟的时间 
  当前时间减去7小时的时间 
  当前时间减去7天的时间 
  当前時间减去7月的时间 
  当前时间减去7年的时间 
  时间间隔乘以一个数字 
 



 

时间序列数据日益成为现代应用嘚核心 - 想想物联网股票交易,点击流社交媒体等。随着从批量处理系统向实时系统的转变有效捕获和分析时间序列数据可以使组织茬竞争对手之前更好地检测和响应事件,或提高运营效率以降低成本和风险使用时间序列数据通常与常规应用程序数据不同,您应该遵循最佳实践本系列博客旨在提供这些最佳实践,帮助您在 MongoDB 上构建时间序列应用程序:

  1. 介绍时间序列数据的概念并描述与此类数据相关嘚一些挑战

  2. 如何查询,分析和呈现时间序列数据

  3. 提供发现问题帮助您收集成功交付时间序列应用程序所需的技术要求

虽然并非所有数据嘟属于时间序列,但其中越来越多的数据可归类为时间序列 ——让我们可以使用实时的数据而不是批量的使用。

在每个行业和每个公司Φ都需要查询,分析和报告时间序列数据

想想看,股票当日交易者不断查看股票价格随时间的变化,并运行算法来分析识别机会的赱向他们正在查看一段时间区间内的数据,例如每小时或每日范围联网汽车公司可能会获得遥感信息,例如发动机性能和能耗以改善部件设计,并监控磨损率以便他们可以在问题发生之前安排车辆维修,他们也会查看一段时间的数据

为什么时间序列数据具有挑战性?

时间序列数据可以包括以恒定时间间隔捕获的数据(如每秒的设备测量值)或者以不规则的时间间隔(如警报和审计事件用例生成嘚数据)捕获的数据。时间序列数据也经常用诸如设备类型和事件的位置之类的属性来标记并且每个设备可以提供可变的附加元数据。數据模型灵活性可满足各种快速变化的数据提取和存储要求因此传统的具有严格模式的关系(表格)数据库数据随系统时间变化系统难鉯有效处理时间序列数据。此外存在可伸缩性问题。由于多个传感器或事件产生的读数频率很高时间序列应用程序会生成大量需要提取和分析的数据流。

时间序列数据可以来自不同的来源每个来源都需要生成、存储并分析不同属性。数据生命周期的每个阶段都对数据庫数据随系统时间变化提出了不同的要求 - 从提取到消费和归档


  • 在数据读取期间,数据库数据随系统时间变化主要执行写入密集型操作主要执行更新和偶尔的插入。提取期间检测到数据流异常时例如超过特定阈值的值,消费者可能希望得到数据的实时警告

  • 随着更多数據被读取,消费者可能希望通过查询获得特定的见解并发现趋势。在数据生命周期的这个阶段工作负载被读取而不是重写,但数据库數据随系统时间变化仍然需要保持高写入速率因为数据被同时读取然后被查询。

  • 消费者可能希望查询历史数据并执行预测分析利用机器学习算法来预测未来行为或识别趋势。这将对数据库数据随系统时间变化施加额外的读取负载

  • 最后,根据应用程序的要求捕获的数據可能具有保质期,需要在一段时间后存档或删除

正如您所看到的那样,处理时间序列数据不仅仅是存储数据还需要广泛的数据平台功能,包括处理同时读写需求高级查询功能和归档等等。

谁在使用 MongoDB 获取时间序列数据

MongoDB 提供了满足高性能时间序列应用程序需求所需的所有功能。其中一家利用MongoDB 时间序列功能的公司是定量投资管理公司 Man AHL

Man AHL 的 Arctic 应用程序利用 MongoDB 存储高频金融服务市场数据()。对冲基金经理的定量研究人员(“quants”)使用 Arctic 和 MongoDB 来研究、构建和部署新的交易模型以了解市场的行为方式。使用MongoDB 与现有专有数据库数据随系统时间变化相比Man AHL 实現了40倍的成本节省。除了节省成本之外他们还能够将处理性能提高 25 倍,超过之前的解决方案Man AHL 开源他们的 。

博世集团是一家跨国工程集團拥有近 30 万名员工,是全球最大的汽车零部件制造商物联网是博世的战略计划,因此公司该架构为博世集团及其工业互联网应用中嘚许多客户提供物联网应用,如汽车制造业,智能城市精准农业等。如果您想了解更多关于通过管理物联网平台生成的多样化快速變化和大批量时间序列数据集所带来的主要挑战,请下载

西门子是一家专注于电气化,自动化和数字化领域的全球性公司西门子开发叻“Monet”,一个由 MongoDB 支持的平台提供先进的能源管理服务。进行实时原始数据存储查询和分析。

使用时间序列数据时必须花足够的时间來了解如何创建,查询和过期数据有了这些信息,您可以优化架构设计和部署架构以最好地满足应用程序的要求。

在清楚应用程序的偠求前不应该直接确定性能指标或 SLA。

当您开始使用 MongoDB 进行时间序列项目时您应该清楚以下问题:

  • 提取率是多少?每秒多少次插入和更新

  • 随着插入速率的增加,您的设计可能会受益于 水平扩展允许您跨多个节点对数据进行分区和扩展多个客户端的同时连接。

  • 虽然单个 MongoDB 节點可以处理来自数万个 IoT 设备的同时连接但您需要考虑使用分片来扩展它们以满足预期的客户端负载。您是否需要存储所有原始数据点或預先汇总数据如果预先聚合,可以存储哪些粒度或间隔的汇总级别每分钟?每15分钟一次

  • 如果您的应用程序要求证明这一点,MongoDB 可以存儲您的所有原始数据但是,请记住通过预聚合减少数据大小将产生较低的数据集和索引存储,并提高查询性能每个事件中存储的数據大小是多少?

MongoDB的单个文档大小限制为16 MB如果您的应用程序需要在单个文档中存储更大的数据,例如二进制文件您可能希望利用 。理想凊况下在存储高容量时间序列数据时,最佳做法是将文档大小保持在1个磁盘块大小附近

  • 每秒读取查询数量是多少?

  • 较高的读取查询负載可能会受益于其他或通过 MongoDB 自动分片进行水平扩展

  • 与写入卷一样,可以使用自动分片来缩放读取您还可以在副本集中的辅助副本之间汾发读取负载。客户是否在地理上分散或位于同一地区

  • 您可以通过部署在地理上更接近数据使用者的来减少网络读取延迟。您需要支持哪些常见的数据访问模式例如,您是通过单个值(例如时间)检索数据还是需要更复杂的查询来查找属性组合的数据,例如事件类按区域,按时间

  • 创建适当的索引时,查询性能最佳了解如何查询数据并定义正确的索引对数据库数据随系统时间变化性能至关重要。此外能够在不中断系统的情况下实时修改索引策略是时间序列平台的重要属性。您的消费者会使用哪些分析库或工具

  • 如果您的数据使鼡者使用的是Hadoop或Spark等工具,那么MongoDB就有一个可以与这些技术集成。MongoDB还有用于 ,和其他用于分析和数据科学的平台的驱动程序您的组织是否使用 BI 可视化工具来创建报告或分析数据?

  • 什么是数据保留政策可以删除或存档数据吗?如果是这样在什么年龄?

  • 如果存档存档需偠多长时间以及如何访问?存档数据是否需要存储或是否可以从备份中恢复

在 MongoDB 中有各种删除和归档数据的策略。其中一些策略包括使用 可查询,(允许您创建分层存储模式)或者只是创建一个架构,您可以在不再需要时删除数据集

  • 需要定义哪些用户和角色,以及每個实体所需的最低权限权限是什么

  • 加密要求是什么?您是否需要支持时间序列数据的运行时(网络)和静止(存储)加密

  • 是否需要在審计日志中捕获针对数据的所有活动?

  • 该应用程序是否需要符合 GDPRHIPAA,PCI 或任何其他监管框架

监管框架可能需要启用加密,审计和其他安全措施MongoDB 支持这些遵从性所必需的,包括静态和运行中的加密审计以及基于角色的粒度访问控制控制。

虽然列表可能无法包含所有需要考慮的事项但它将帮助您思考应用程序需求及其对MongoDB 架构和数据库数据随系统时间变化配置设计的影响。在下一篇博客文章 2“ ”中,我们將探索各种方法来构建不同需求集的模式以及它们对应用程序性能和规模的相应影响。 3“ ”,我们将展示如何查询分析和呈现时间序列数据。

本文来自云栖社区合作伙伴“ ”了解相关信息可以关注“ ”。

我要回帖

更多关于 数据库数据随系统时间变化 的文章

 

随机推荐