Hubble数据库-企业级分布式数据库-自主研发国产分布式 HTAP数据库
Hubble数据库

关于www.hubbledb.cn说明: www.hubbledb.cn由网友主动性提交被为佳商机网整理收录的,为佳商机网仅提供www.hubbledb.cn的基础信息并免费向大众网友展示,www.hubbledb.cn的是IP地址:123.57.155.201 [中国北京北京 阿里云],www.hubbledb.cn的百度权重为1、百度手机权重为1、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在1之间、百度手机端来访流量大约在4之间、www.hubbledb.cn的备案号是京ICP备15014755号、备案人叫天云融创数据科技(北京)有限公司、被百度收录的关键词有1个、手机端关键词有4个、迄今为止已经创建3年4个月12天。

Hubble数据库的站点协议: 协议类型HTTP/1.1 200 OK 页面类型text/html; charset=UTF-8 服务器类型nginx 是否压缩是 原网页大小65171 压缩后大小17977 压缩比72.42%

Hubble数据库的站点快照: H u b b l e 数 据 库 企 业 级 分 布 式 数 据 库 自 主 研 发 国 产 分 布 式 H T A P 数 据 库 切 换 导 航 首 页 解 决 方 案 客 户 案 例 硬 核 资 质 文 档 中 心 技 术 专 栏 社 区 中 心 下 载 中 心 搜 索 : 查 看 详 情 P r e v i o u s S l i d e N e x t S l i d e 产 品 介 绍 H u b b l e , 自 主 研 发 的 国 产 分 布 式 H T A P 数 据 库 。 具 备 超 高 并 发 、 多 源 异 构 、 全 量 S Q L 支 持 等 功 能 特 性 , 能 同 时 支 持 金 融 级 的 在 线 交 易 和 大 规 模 数 据 的 即 席 分 析 的 场 景 , 已 在 多 家 大 型 股 份 制 银 行 落 地 应 用 , 同 时 服 务 支 撑 证 券 、 保 险 、 能 源 、 政 府 等 众 多 领 域 。 天 云 数 据 研 发 H u b b l e 的 初 衷 , 融 合 传 统 数 据 库 形 成 支 持 混 合 负 载 交 易 的 数 据 联 邦 , 让 生 态 合 作 伙 伴 无 缝 切 入 大 数 据 服 务 领 域 。 产 品 特 性 完 全 分 布 式 架 构 + 数 据 自 平 衡 一 键 完 成 在 线 线 性 横 向 扩 展 数 据 融 合 服 务 即 时 高 并 发 个 性 化 复 杂 分 析 场 景 ( A P / T P 融 合 ) 的 得 力 保 障 数 据 级 分 片 摆 脱 “ 分 库 分 表 ” 烦 恼 “ O L T P + O L A P ” 双 引 擎 驱 动 支 撑 交 易 事 务 与 海 量 数 据 复 杂 分 析 的 混 合 场 景 混 合 时 钟 + 串 行 化 事 务 轻 松 应 对 金 融 级 事 务 一 致 性 严 苛 要 求 “ A I N a t i v e ” 可 自 我 优 化 的 S Q L 解 析 器 , 让 数 据 库 更 智 能 “ 多 源 异 构 联 邦 计 算 ” 省 去 数 据 搬 迁 , 即 席 完 成 多 数 据 源 联 合 计 算 可 自 定 义 副 本 间 数 据 同 步 技 术 打 造 多 地 多 中 心 数 据 多 活 架 构 的 不 二 之 选 H u b b l e 架 构 图 A P 调 度 实 时 获 取 当 前 任 务 的 状 态 以 及 每 台 机 器 资 源 消 耗 , 根 据 机 器 的 状 态 做 任 务 的 分 配 和 队 列 。 A P 计 算 框 架 在 s h a r d s e r v e r 实 现 基 于 内 存 的 快 速 计 算 框 架 , 把 A P 大 数 据 量 的 计 算 任 务 拆 解 成 多 个 小 任 务 , 每 个 小 任 务 精 细 化 的 控 制 数 据 处 理 。 列 存 基 于 堆 存 存 储 技 术 , 支 撑 海 量 数 据 按 需 快 速 访 问 。 T P 调 度 根 据 数 据 的 分 布 , s h a r d i n g 机 制 等 使 任 务 在 指 定 的 机 器 上 执 行 。 T P 计 算 框 架 尽 量 每 个 T P 的 任 务 有 一 个 机 器 来 处 理 , 提 高 任 务 的 吞 吐 量 和 并 发 量 。 行 存 基 于 r a f t 数 据 一 致 性 技 术 , 实 现 基 于 表 的 独 享 空 间 和 非 独 享 空 间 , 其 中 独 享 空 间 支 持 等 值 、 范 围 、 哈 希 的 s h a r d i n g 方 式 。 硬 核 技 术 查 看 更 多 硬 核 技 术 > 多 源 异 构 混 合 存 储 分 布 式 S Q L 数 据 一 致 性 去 中 心 化 技 术 多 源 异 构 ( 1 ) 多 源 异 构 是 什 么 简 单 来 说 就 是 多 个 数 据 源 , 不 同 的 数 据 存 储 架 构 。 多 个 数 据 来 源 , 这 里 的 来 源 可 能 是 M y s q l , O r a c l e 这 些 数 据 库 中 文 件 ; 也 可 能 是 一 些 非 结 构 化 的 H D F S , E S 这 些 非 结 构 化 数 据 库 中 的 文 件 ; 还 有 一 些 就 是 通 过 W E B 页 面 传 递 过 来 的 R E S T f u l , J o s n 字 符 串 。 异 构 主 要 指 数 据 结 构 上 的 差 异 性 。 数 据 结 构 层 把 纷 繁 复 杂 的 数 据 归 为 三 大 类 , 针 对 每 一 类 数 据 设 计 了 相 应 的 数 据 存 储 模 型 , 确 保 了 城 市 操 作 系 统 的 扩 展 性 和 一 致 性 。 这 三 类 数 据 包 括 : 结 构 化 数 据 : 以 银 行 系 统 数 据 为 代 表 , 通 常 以 人 或 者 机 构 的 I D 为 锚 点 来 聚 合 不 同 的 信 息 , 如 名 称 、 职 业 、 收 入 等 ; 后 续 会 演 变 出 基 础 库 、 主 题 库 、 专 题 库 等 一 系 列 组 织 形 式 。 非 结 构 化 数 据 : 以 视 频 、 图 像 、 语 音 和 文 本 为 代 表 , 后 续 大 多 需 要 经 过 分 析 处 理 变 成 结 构 化 数 据 才 能 被 使 用 。 时 空 数 据 : 以 地 理 信 息 、 物 联 网 、 轨 迹 数 据 为 代 表 。 ( 2 ) 为 什 么 要 多 源 异 构 随 着 大 数 据 与 人 工 智 能 技 术 的 应 用 普 及 , 海 量 多 源 异 构 数 据 急 剧 增 加 , 特 别 是 非 结 构 化 数 据 的 增 加 , 当 遇 到 复 杂 多 场 景 混 合 事 务 分 析 型 数 据 管 理 必 然 要 涉 及 水 平 拆 分 , 一 旦 进 行 拆 分 , 就 避 免 不 了 “ 原 本 在 同 一 数 据 库 里 的 查 询 , 就 变 成 跨 多 个 数 据 库 实 例 的 查 询 ” 问 题 。 随 着 技 术 的 不 断 迭 代 , 现 在 的 数 据 库 不 仅 仅 只 有 关 系 型 数 据 而 且 也 有 N o s q l 数 据 库 等 , 这 就 对 跨 库 关 联 提 出 了 更 大 的 挑 战 。 大 数 据 的 核 心 就 是 多 源 异 构 , 每 个 源 的 数 据 都 有 自 身 的 逻 辑 , 有 不 同 的 形 式 进 行 描 述 。 而 最 终 的 目 的 是 要 把 数 据 进 行 治 理 、 融 合 、 分 析 , 这 样 就 可 以 体 现 出 整 体 数 据 中 的 现 象 和 规 律 。 ( 3 ) H u b b l e 硬 核 技 术 价 值 H u b b l e 数 据 库 通 过 插 件 模 式 设 计 可 以 把 M y s q l 、 O r a c l e 、 H b a s e 、 H i v e 等 都 可 以 作 为 H u b b l e 的 数 据 源 , 支 持 跨 数 据 源 查 询 。 提 供 适 配 的 多 源 异 构 数 据 资 源 接 入 方 式 , 包 括 数 据 源 的 配 置 、 数 据 任 务 的 同 步 、 数 据 的 分 发 与 调 度 、 数 据 的 E T L 加 工 等 ; H u b b l e 可 以 做 到 : 1 ) 统 一 服 务 入 口 , 接 入 各 类 数 据 库 源 系 统 ; 2 ) 自 由 编 写 S Q L , 实 现 数 据 访 问 服 务 ; 3 ) 无 需 将 数 据 完 全 搬 迁 , 即 可 以 现 有 数 据 即 席 分 析 探 查 。 混 合 存 储 ( 1 ) 什 么 是 混 合 存 储 混 合 存 储 又 称 行 列 混 合 存 储 , T P 和 A P 传 统 来 说 仰 赖 不 同 的 存 储 格 式 : 行 存 对 应 O L T P , 列 存 对 应 O L A P , 混 合 存 储 简 单 理 解 就 是 A P + T P 混 合 存 储 。 ( 2 ) 为 什 么 需 要 混 合 存 储 O L T P 需 要 处 理 涉 及 频 繁 写 操 作 的 事 务 型 查 询 , O L A P 侧 重 于 处 理 涉 及 大 量 读 操 作 的 分 析 型 查 询 , 列 存 储 在 读 操 作 中 有 较 大 的 优 势 , 适 合 O L A P 查 询 , 但 不 适 合 O L T P 查 询 。 随 着 大 数 据 存 储 时 代 的 到 来 , 人 们 对 于 大 容 量 、 高 性 能 和 低 成 本 的 存 储 系 统 的 需 求 更 加 迫 切 。 混 合 存 储 充 分 利 用 不 同 类 型 存 储 器 件 的 特 性 组 成 高 效 的 存 储 系 统 , 既 能 支 持 存 储 系 统 容 量 的 大 幅 扩 展 , 又 能 在 保 证 系 统 低 成 本 的 前 提 下 , 显 著 提 高 存 储 系 统 的 性 能 , 成 为 当 前 存 储 系 统 领 域 的 研 究 热 点 。 先 来 看 一 下 单 独 行 存 储 和 列 存 储 的 优 缺 点 1 ) 行 存 储 时 , 数 据 按 照 元 组 直 接 进 行 存 储 , 写 的 效 率 较 高 ; 列 存 储 时 , 元 组 必 须 首 先 拆 分 成 独 立 的 属 性 列 , 再 独 立 存 储 。 2 ) 行 存 储 时 , 在 查 询 密 集 型 应 用 中 需 读 取 整 条 记 录 , 属 性 较 多 时 读 取 数 据 代 价 较 大 ; 按 列 存 储 时 , 只 需 要 读 取 所 需 要 的 属 性 列 , 大 大 减 少 读 取 数 据 的 代 价 。 3 ) 采 用 列 存 储 时 可 以 获 得 较 高 的 压 缩 率 , 行 存 储 不 利 于 压 缩 。 在 数 据 存 储 层 上 , H u b b l e 采 用 基 于 切 片 的 行 式 存 储 、 列 式 存 储 和 K V 存 储 的 混 合 部 署 模 式 。 通 过 行 式 存 储 方 式 存 储 海 量 数 据 , 支 撑 数 据 T P 操 作 ; 列 式 存 储 和 K V 存 储 的 混 合 部 署 模 式 , 支 撑 数 据 A P 操 作 。 ( 3 ) H u b b l e 数 据 库 硬 核 技 术 价 值 在 数 据 存 储 层 上 , H u b b l e 采 用 基 于 切 片 的 行 式 存 储 、 列 式 存 储 和 K V 存 储 的 混 合 部 署 模 式 。 通 过 行 式 存 储 方 式 存 储 海 量 数 据 , 支 撑 数 据 A P 操 作 ; 列 式 存 储 和 K V 存 储 的 混 合 部 署 模 式 , 支 撑 数 据 T P 操 作 ; 通 过 K V 存 储 保 持 高 效 率 的 写 入 速 度 , 支 撑 大 数 据 体 量 。 1 ) K V 存 储 把 不 常 变 动 的 一 些 数 据 存 储 在 k v s t o r e 中 , 需 要 的 时 候 直 接 凭 借 k e y 拿 出 v a l u e 就 好 , 事 务 处 理 速 度 更 快 , 适 合 事 务 处 理 , 速 度 快 实 时 性 更 有 保 障 。 2 ) 列 存 性 能 在 O L A P 分 析 时 比 行 存 储 性 能 倍 速 提 升 ; 3 ) 支 持 随 机 的 增 、 删 、 改 、 查 操 作 , 降 低 查 询 响 应 时 间 ; 4 ) 在 数 据 中 高 效 查 找 数 据 , 无 需 维 护 索 引 ( 任 何 列 都 能 作 为 索 引 ) , 避 免 全 表 扫 描 。 5 ) 在 大 规 模 数 据 同 时 支 持 密 集 A P 计 算 和 T P 并 发 场 景 下 , 基 于 数 据 切 片 的 混 布 存 储 策 略 可 以 弹 性 适 应 I O 特 性 , 快 速 做 库 内 转 换 , 避 免 数 据 复 制 和 冗 余 。 分 布 式 S Q L ( 1 ) 什 么 是 分 布 式 S Q L 分 布 式 S Q L 可 以 称 为 分 布 式 任 务 , 分 布 式 S Q L 是 指 S Q L 语 句 到 任 务 执 行 的 时 候 分 布 在 多 个 机 器 上 执 行 。 ( 2 ) 为 什 么 要 用 分 布 式 S Q L S Q L 是 关 系 型 数 据 库 的 通 用 语 言 , 关 系 型 数 据 库 是 单 体 式 的 , 从 架 构 而 言 它 们 无 法 在 多 个 实 例 之 间 自 动 地 分 配 数 据 和 查 询 。 分 布 式 S Q L 在 查 询 上 可 以 被 自 动 地 分 配 到 目 标 群 集 的 多 个 节 点 上 , 有 效 地 避 免 了 单 个 节 点 成 为 查 询 处 理 中 的 瓶 颈 问 题 。 分 布 式 S Q L 内 置 具 有 可 扩 容 性 、 灵 活 性 、 以 及 地 理 分 布 特 性 。 做 T P ( 查 询 ) 计 算 时 没 有 太 大 影 响 , 在 做 A P ( 分 析 ) 计 算 时 , 性 能 会 下 降 很 多 。 ( 3 ) H u b b l e 硬 核 技 术 价 值 分 布 式 数 据 库 , 可 以 分 为 如 下 几 类 场 景 : 第 一 种 存 储 分 布 式 、 S Q L 单 机 化 ; 第 二 种 存 储 分 布 式 、 S Q L 分 布 式 。 第 一 种 只 支 持 简 单 的 增 删 改 查 , 稍 微 复 杂 的 分 析 S Q L 执 行 性 能 下 降 就 会 非 常 明 显 。 第 二 种 存 储 分 布 式 、 S Q L 分 布 式 优 点 : 1 . 可 以 把 任 务 进 行 拆 分 充 分 利 用 计 算 资 源 , 提 升 计 算 效 率 ; 2 . 对 于 有 些 大 任 务 无 法 完 成 的 , 可 以 利 用 分 布 式 任 务 来 完 成 , 提 升 了 大 任 务 的 完 成 度 。 同 时 也 存 在 了 开 发 复 杂 度 高 、 增 加 了 调 度 的 复 杂 度 的 问 题 。 a ) H u b b l e 数 据 库 既 可 以 支 持 存 储 分 布 式 、 S Q L 单 机 化 也 可 以 支 持 存 储 分 布 式 、 S Q L 分 布 式 ; b ) H u b b l e 可 以 在 不 重 启 服 务 的 情 况 下 , 通 过 修 改 配 置 , 做 到 两 种 模 式 之 间 的 切 换 ; c ) H u b b l e 数 据 库 可 以 方 便 应 对 更 多 场 景 。 数 据 一 致 性 ( 1 ) 什 么 是 数 据 一 致 性 事 务 机 制 A C I D 和 C A P 理 论 是 数 据 库 和 分 布 式 系 统 中 两 个 重 要 的 概 念 , 这 两 个 概 念 中 都 有 相 同 的 “ C ” 代 表 C o n s i s t e n c y 一 致 性 。 A C I D 体 现 在 数 据 库 领 域 , 其 中 A C I D 中 的 “ C ” 数 据 一 致 性 是 指 事 务 的 执 行 不 能 破 坏 数 据 库 数 据 的 完 整 性 和 一 致 性 , 一 个 事 务 在 执 行 之 前 和 执 行 之 后 , 数 据 库 都 必 须 处 于 一 致 性 状 态 。 比 如 : A 向 B 转 账 , A 扣 款 的 同 时 B 到 账 。 C A P 体 现 在 分 布 式 领 域 , 其 中 C A P 中 的 ” C ” 数 据 一 致 性 是 指 是 所 有 副 本 在 同 一 时 间 的 数 据 完 全 一 致 , 比 如 : A 、 B 、 C 三 个 副 本 , A 中 写 入 数 据 ” H e l l o ” , 写 完 马 上 读 B 和 C , 就 一 定 要 读 出 “ H e l l o ” 读 出 来 我 们 就 称 之 为 符 合 一 致 性 。 ( 2 ) 为 什 么 需 要 数 据 一 致 性 为 了 更 清 楚 的 体 现 出 数 据 一 致 性 的 重 要 程 度 , 用 举 例 的 方 式 表 达 为 什 么 需 要 数 据 一 致 性 。 举 个 简 单 的 例 子 来 描 述 一 下 这 里 数 据 一 致 性 的 含 义 。 程 序 员 小 张 向 女 友 小 丽 转 账 1 2 5 元 , 转 账 过 程 是 : 先 扣 除 小 张 1 2 5 元 , 再 为 小 丽 的 账 户 添 加 1 2 5 元 。 如 果 在 转 帐 过 程 中 , 扣 款 操 作 和 打 款 操 作 要 么 同 一 时 间 执 行 , 要 么 同 一 时 间 都 不 执 行 , 我 们 就 认 为 转 帐 过 程 保 证 了 数 据 一 致 性 。 数 据 能 否 实 现 一 致 性 , 对 金 融 、 公 安 等 重 要 行 业 来 说 至 关 重 要 。 ( 3 ) H u b b l e 硬 核 技 术 价 值 H u b b l e 的 数 据 一 致 性 技 术 既 包 括 A C I D 数 据 库 中 的 数 据 一 致 性 , 又 包 括 C A P 分 布 式 系 统 中 的 数 据 一 致 性 , H u b b l e 数 据 库 可 以 做 到 最 高 级 别 可 串 行 化 。 a ) 用 户 体 验 感 好 ; b ) 支 持 串 行 化 事 务 ; c ) 能 保 证 多 个 事 务 并 发 时 的 执 行 顺 序 对 数 据 的 一 致 性 没 有 影 响 。 去 中 心 化 技 术 ( 1 ) 数 据 中 心 化 的 问 题 a ) 数 据 中 心 化 在 查 询 涉 及 多 关 联 场 景 时 , 会 导 致 查 询 性 能 严 重 低 下 。 b ) 当 大 量 数 据 存 在 于 同 一 个 数 据 库 时 会 容 易 造 成 数 据 库 访 问 瓶 颈 , 从 而 影 响 数 据 访 问 性 能 , 并 为 系 统 可 用 性 埋 下 隐 患 。 ( 2 ) 为 什 么 需 要 去 中 心 化 a ) 在 云 计 算 、 大 数 据 等 新 技 术 的 带 动 下 , 越 来 越 多 的 企 业 需 要 对 结 构 化 的 数 据 进 行 查 询 、 分 析 、 处 理 和 更 新 。 b ) 随 着 创 新 业 务 的 不 断 增 加 , 业 务 的 复 杂 及 庞 大 的 体 量 会 产 生 错 综 复 杂 且 规 模 巨 大 的 结 构 化 数 据 , 这 些 都 必 然 迫 使 企 业 对 数 据 库 的 需 求 指 向 大 规 模 、 高 可 靠 、 高 扩 展 及 高 性 能 。 ( 3 ) H u b b l e 去 中 心 化 技 术 H u b b l e 去 中 心 化 技 术 , 实 现 在 一 个 分 布 众 多 节 点 的 系 统 中 , 每 个 节 点 都 可 以 高 度 自 治 。 去 中 心 化 过 程 就 是 将 数 据 拆 分 的 过 程 , 让 每 个 节 点 成 为 自 己 的 领 导 者 , 进 而 依 据 服 务 划 分 将 数 据 从 主 体 数 据 剥 离 出 来 。 示 例 : 中 心 化 就 是 在 餐 厅 柜 台 点 餐 , 柜 台 是 中 心 , 所 有 人 都 需 要 排 队 点 餐 ; 去 中 心 化 是 餐 厅 在 每 个 桌 子 上 都 有 一 个 独 立 的 二 维 码 , 顾 客 通 过 扫 码 即 可 点 餐 。 ( 4 ) H u b b l e 硬 核 技 术 价 值 a ) 支 撑 高 并 发 业 务 : 应 用 入 口 可 无 限 水 平 扩 展 , 高 效 支 撑 高 并 发 事 务 交 易 。 b ) 减 少 运 维 成 本 : 去 中 心 化 后 所 有 的 节 点 配 置 、 硬 件 配 置 都 是 一 样 的 , 减 少 运 维 和 硬 件 管 理 的 复 杂 度 ; 多 个 入 口 不 会 存 在 单 点 故 障 问 题 , 减 少 了 运 维 成 本 。 c ) 提 高 查 询 效 率 : 每 个 节 点 都 可 以 提 供 入 口 和 查 询 服 务 , 大 大 提 升 了 资 源 利 用 率 。 C o p y r i g h t © 2 0 2 4 天 云 融 创 数 据 科 技 ( 北 京 ) 有 限 公 司 京 I C P 备 1 5 0 1 4 7 5 5 号 3

该网址导航信息声明此内容系本站根据来路自动抓取的结果,不代表本站赞成被显示网站的内容或立场。

相关推荐


Copyright @ 2024 为佳商机网 鄂ICP备2024049831号-1

此内容系本站根据来路自动抓取的结果,不代表本站赞成被显示网站的内容或立场。

本页阅读量次 | 本站总访问次 | 本站总访客人 | 今日总访问次 | 今日总访客人 | 昨日总访问次 | 昨日总访客

为佳商机网已经安全运行时间为;

技术支持:为佳商机网

| 网站地图|