百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

Apache ignite数据存储(一)

bigegpt 2024-08-08 11:53 2 浏览

为了理解数据在Ignite中的存储和使用,区分集群中数据的物理存储和数据的逻辑表示,即用户如何在他们的应用程序中查看他们的数据,是非常有用的。


物理存储

在物理层面上,每个数据条目(无论是缓存条目还是表行)都以二进制对象的形式存储,整个数据集被划分为多个分区。分区通过分区算法分布在集群的节点上。数据通过分区分布到不同节点的方式是由亲和函数(affinity function)控制的。

这种二进制对象存储提供了几个优势

1. 你可以从一个序列化的对象中读取任意字段,而不需要对对象进行完全的反序列化。这完全消除了在服务器节点的classpath上部署键和值类的要求。

2. 你可以从相同类型的对象中添加或删除字段。鉴于服务器节点没有模型类的定义,这种能力允许动态改变对象的结构,甚至允许具有不同版本类定义的多个客户端并存。

3. 它使你能够在完全没有类定义的情况下根据类型名称构造新的对象,因此允许动态类型创建。

4. 它允许Java、.NET和C++平台之间的无缝互操作性。

Note:二进制对象只有在使用默认的二进制marshaller时才能使用(即在配置中没有设置其他marshaller)

逻辑表示

Ignite提供两种不同的数据逻辑表示:键值缓存和SQL表(schema)。虽然这两种表示方式看起来不同,但实际上它们是等价的,可以表示同一组数据。

1.键值缓存

缓存是一个键值对的集合,可以通过键值API访问。缓存API支持以下feature:

Support for JCache (JSR 107) specification

ACID Transactions

Continuous Queries

Events

2.SQL表

与传统RDBMS中的表的概念相对应,有一些额外的约束;例如,每个SQL表必须有一个主键,一个有主键的表可以表现为一个键值缓存,其中主键列作为键,表的其他列代表对象的字段(值)。

这两种表现形式的区别在于你访问数据的方式。键值缓存允许你通过支持的编程语言来处理对象。SQL表支持传统的SQL语法,可以从现有的数据库迁移。你可以把这两种方法结合起来,根据你的使用情况,使用其中一种或者两种。

相关推荐

【Docker 新手入门指南】第十章:Dockerfile

Dockerfile是Docker镜像构建的核心配置文件,通过预定义的指令集实现镜像的自动化构建。以下从核心概念、指令详解、最佳实践三方面展开说明,帮助你系统掌握Dockerfile的使用逻...

Windows下最简单的ESP8266_ROTS_ESP-IDF环境搭建与腾讯云SDK编译

前言其实也没啥可说的,只是我感觉ESP-IDF对新手来说很不友好,很容易踩坑,尤其是对业余DIY爱好者搭建环境非常困难,即使有官方文档,或者网上的其他文档,但是还是很容易踩坑,多研究,记住两点就行了,...

python虚拟环境迁移(python虚拟环境conda)

主机A的虚拟环境向主机B迁移。前提条件:主机A和主机B已经安装了virtualenv1.主机A操作如下虚拟环境目录:venv进入虚拟环境:sourcevenv/bin/active(1)记录虚拟环...

Python爬虫进阶教程(二):线程、协程

简介线程线程也叫轻量级进程,它是一个基本的CPU执行单元,也是程序执行过程中的最小单元,由线程ID、程序计数器、寄存器集合和堆栈共同组成。线程的引入减小了程序并发执行时的开销,提高了操作系统的并发性能...

基于网络安全的Docker逃逸(docker)

如何判断当前机器是否为Docker容器环境Metasploit中的checkcontainer模块、(判断是否为虚拟机,checkvm模块)搭配学习教程1.检查根目录下是否存在.dockerenv文...

Python编程语言被纳入浙江高考,小学生都开始学了

今年9月份开始的新学期,浙江省三到九年级信息技术课将同步替换新教材。其中,新初二将新增Python编程课程内容。新高一信息技术编程语言由VB替换为Python,大数据、人工智能、程序设计与算法按照教材...

CentOS 7下安装Python 3.10的完整过程

1.安装相应的编译工具yum-ygroupinstall"Developmenttools"yum-yinstallzlib-develbzip2-develope...

如何在Ubuntu 20.04上部署Odoo 14

Odoo是世界上最受欢迎的多合一商务软件。它提供了一系列业务应用程序,包括CRM,网站,电子商务,计费,会计,制造,仓库,项目管理,库存等等,所有这些都无缝集成在一起。Odoo可以通过几种不同的方式进...

Ubuntu 系统安装 PyTorch 全流程指南

当前环境:Ubuntu22.04,显卡为GeForceRTX3080Ti1、下载显卡驱动驱动网站:https://www.nvidia.com/en-us/drivers/根据自己的显卡型号和...

spark+python环境搭建(python 环境搭建)

最近项目需要用到spark大数据相关技术,周末有空spark环境搭起来...目标spark,python运行环境部署在linux服务器个人通过vscode开发通过远程python解释器执行代码准备...

centos7.9安装最新python-3.11.1(centos安装python环境)

centos7.9安装最新python-3.11.1centos7.9默认安装的是python-2.7.5版本,安全扫描时会有很多漏洞,比如:Python命令注入漏洞(CVE-2015-2010...

Linux系统下,五大步骤安装Python

一、下载Python包网上教程大多是通过官方地址进行下载Python的,但由于国内网络环境问题,会导致下载很慢,所以这里建议通过国内镜像进行下载例如:淘宝镜像http://npm.taobao.or...

centos7上安装python3(centos7安装python3.7.2一键脚本)

centos7上默认安装的是python2,要使用python3则需要自行下载源码编译安装。1.安装依赖yum-ygroupinstall"Developmenttools"...

利用本地数据通过微调方式训练 本地DeepSeek-R1 蒸馏模型

网络上相应的教程基本都基于LLaMA-Factory进行,本文章主要顺着相应的教程一步步实现大模型的微调和训练。训练环境:可自行定义,mac、linux或者window之类的均可以,本文以ma...

【法器篇】天啦噜,库崩了没备份(天啦噜是什么意思?)

背景数据库没有做备份,一天突然由于断电或其他原因导致无法启动了,且设置了innodb_force_recovery=6都无法启动,里面的数据怎么才能恢复出来?本例采用解析建表语句+表空间传输的方式进行...