实验四;Hadoop数据库Hbase操作
熟悉常用的hbase操作实验报告
实验名称:熟悉常用的HBase操作实验目的:通过实际操作,掌握HBase的常用操作,包括创建表、插入数据、查询数据、删除数据等基本操作,以及通过Java API进行HBase数据的CRUD操作。
实验环境:HBase 2.2.3版本,JDK 1.8,Eclipse IDE实验内容:1. 准备工作在实验开始之前,需确保已经安装好了HBase和JDK,并且环境变量已经配置正确。
需要在Eclipse中创建一个Java项目,并将HBase 相关的jar包引入项目中。
2. 创建HBase表第一步是创建一个HBase表,首先需要连接HBase,并创建一个HBaseAdmin对象,然后调用createTable方法创建一个表。
表的结构包括表名、列簇名等信息。
3. 插入数据通过Java API向HBase表中插入一些测试数据,需要首先创建一个Put对象,然后为Put对象指定rowkey、列族、列名和值等信息,最后调用Table的put方法将数据插入到HBase表中。
4. 查询数据使用Scan对象进行数据查询操作,Scan对象可以设置起始行键和结束行键,还可以设置过滤器进行精准查询。
查询结果以Result对象的形式返回,可以通过Result对象获取指定的列簇、列名和值。
5. 更新数据使用Put对象向HBase表中插入数据时,如果指定的行键已经存在,则会执行更新操作。
6. 删除数据可以通过Delete对象删除HBase表中的数据,Delete对象可以指定待删除数据的rowkey、列族和列名。
实验步骤:1. 连接HBase步骤如下:1) 配置HBase的连接信息,包括zk集裙位置区域、端口号等;2) 创建HBase配置对象Configuration;3) 创建HBase连接对象Connection。
2. 创建HBase表步骤如下:1) 创建HBaseAdmin对象;2) 创建表描述对象TableDescriptor;3) 创建列族描述对象ColumnFamilyDescriptor;4) 调用createTable方法创建表。
Hadoop生态系统中的HBase使用
Hadoop生态系统中的HBase使用Hadoop是由Apache组织开发的一个分布式计算框架,对于大规模数据的处理和分析有着极高的效率和可扩展性。
而Hadoop的生态系统中,HBase则是一款基于Hadoop的分布式NoSQL数据库。
本文将介绍Hadoop生态系统中的HBase的使用。
一、HBase的概述HBase是一款基于Hadoop的分布式NoSQL数据库,采用Google的Bigtable设计思想,数据存储在分布式的、可扩展的、列式存储的表中。
HBase具备高扩展性、高可靠性、低延迟等特点,非常适合存储大规模和高速增长的数据。
二、HBase的特点和优势1. 巨大的可扩展性。
HBase支持数据的水平扩展,可以通过增加节点来扩展存储和计算能力。
同时,HBase的数据模型也可以随着业务需求进行灵活调整。
2. 高可靠性。
HBase支持副本机制,可以在集群中的多个节点上保存数据的多个副本,一旦某个节点故障或发生数据丢失,系统可以自动进行数据恢复和重建。
3. 高性能和低延迟。
由于HBase采用了列式存储的方式,可以大大减少I/O操作的次数,从而提高了数据的读写效率和响应速度。
同时,HBase支持基于内存缓存、预分区等多种优化手段,进一步提高数据处理的效率。
4. 灵活的数据模型。
HBase的数据模型非常灵活,可以根据不同的数据结构和数据访问模式进行调整和优化。
同时,HBase还支持多种查询方式,包括范围查询、前缀查询、过滤器等,方便用户根据不同的查询需求进行数据检索。
三、HBase的基本操作HBase的常见基本操作包括创建表、插入数据、查询数据、删除数据等。
1. 创建表在HBase中,需要通过Java API或者命令行工具hbase shell来创建表。
首先需要指定表的名称、列族的数量以及列族的名称,然后通过create方法来创建表。
以下是一个创建表的例子:create 'student', {NAME=>'basic_info', VERSIONS=>5}, {NAME=>'score' \ , VERSIONS=>3}2. 插入数据在HBase中,数据是以行为单位存储的,每行可以存储多个列族和多个列。
hbase 基本操作
hbase 基本操作HBase是一个基于Hadoop的分布式列存储数据库,它可以处理大量的结构化和半结构化数据。
HBase的基本操作包括创建表、插入数据、查询数据、删除数据和删除表等。
下面将详细介绍HBase的基本操作。
1. 创建表在HBase中创建表需要使用HBase Shell或Java API。
使用HBase Shell创建表需要执行以下命令:create 'table_name', 'column_family'其中,table_name是要创建的表名,column_family是列族名。
例如,要创建一个名为student的表,并且有两个列族info和score,则可以执行以下命令:create 'student', 'info', 'score'使用Java API创建表需要先实例化一个HBaseAdmin对象,然后调用createTable()方法。
例如:Configuration conf = HBaseConfiguration.create(); HBaseAdmin admin = new HBaseAdmin(conf); HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("student")); tableDescriptor.addFamily(new HColumnDescriptor("info")); tableDescriptor.addFamily(new HColumnDescriptor("score")); admin.createTable(tableDescriptor);2. 插入数据在HBase中插入数据需要使用Put类。
hbase的基本使用流程
HBase的基本使用流程1. 概述HBase是一个开源的、分布式的、面向列的非关系型数据库,基于Hadoop架构。
它主要用于高可靠性、高性能的大规模数据存储和实时读写操作。
本文将介绍HBase的基本使用流程。
2. 安装和配置2.1 安装HBase1.下载HBase安装包;2.解压安装包到指定目录;3.配置环境变量。
2.2 配置HBase1.打开HBase的配置文件hbase-site.xml;2.配置HBase相关参数,如hbase.rootdir、hbase.zookeeper.quorum等;3.保存配置文件。
3. 启动和停止HBase3.1 启动HBase1.打开命令行窗口,切换到HBase安装目录的bin目录下;2.执行命令start-hbase.sh(Linux)或start-hbase.bat(Windows)启动HBase。
3.2 停止HBase1.打开命令行窗口,切换到HBase安装目录的bin目录下;2.执行命令stop-hbase.sh(Linux)或stop-hbase.bat(Windows)停止HBase。
4. HBase基本概念4.1 表(Table)表是HBase中最基本的数据存储单元,类似于关系型数据库中的表。
每个表由多行组成,每行又包含多个列。
4.2 列族(Column Family)列族是表中列的分组,所有的列必须隶属于一个列族。
列族需要在创建表的时候指定,一旦创建后不能修改。
4.3 行(Row)行是表中的数据记录,每一行由行键(Row Key)唯一标识。
4.4 列(Column)和单元格(Cell)列是行中的属性,由列族和列修饰符唯一标识。
单元格是行和列的交叉点,用于存储具体的数据。
5. HBase基本操作5.1 创建表1.打开HBase Shell;2.执行命令create 'table_name', 'column_family'创建一张表。
hbase读写数据的流程
hbase读写数据的流程HBase读写数据的流程HBase是一个分布式的、面向列的开源数据库,它基于Hadoop的分布式文件系统HDFS进行存储,并利用Hadoop的MapReduce 进行计算。
HBase的读写数据流程包括数据写入和数据读取两个主要过程。
下面将分别介绍这两个过程的流程及关键步骤。
一、数据写入流程1. 创建表:在HBase中,需要先创建表才能进行数据的写入。
表由表名、列族和列组成。
表名在HBase中是唯一的,列族是逻辑上的概念,用于组织数据,列是列族中的具体字段。
2. 创建连接:使用HBase提供的Java API,通过配置HBase的连接信息,建立与HBase的连接。
3. 创建表实例:通过连接对象,创建表的实例,用于后续的操作。
4. 创建Put对象:Put对象用于封装待插入的数据,包括行键、列族、列和值等。
5. 添加数据:将Put对象添加到表实例中,实现数据的插入。
6. 提交数据:提交数据到HBase中,触发数据写入操作。
7. 关闭连接:释放资源,关闭与HBase的连接。
二、数据读取流程1. 创建连接:同样需要创建与HBase的连接。
2. 创建表实例:通过连接对象,创建表的实例,用于后续的操作。
3. 创建Get对象:Get对象用于封装待读取的数据信息,包括行键、列族和列等。
4. 查询数据:使用Get对象从表实例中查询数据。
5. 处理结果:根据查询结果,进行相应的处理,如打印输出或进一步的计算操作。
6. 关闭连接:释放资源,关闭与HBase的连接。
总结:HBase的读写数据流程相对简单明了。
数据写入时,需要先创建表和连接,然后创建Put对象,添加数据并提交到HBase中,最后关闭连接。
数据读取时,同样需要创建连接和表实例,然后创建Get 对象,查询数据并进行处理,最后关闭连接。
这两个过程的关键步骤都需要通过HBase的Java API来实现。
需要注意的是,HBase是一个分布式的数据库,数据存储在HDFS中,因此在进行数据读写操作时,需要保证HDFS的稳定性和可用性。
hbase常用命令及使用方法
hbase常用命令及使用方法一、HBase简介HBase是一个基于Hadoop的分布式列存储系统,可以用来存储海量的结构化数据。
它是一个开源的、高可靠性、高性能、可伸缩的分布式数据库,具有强大的数据处理能力和卓越的扩展性。
二、HBase常用命令1.启动和停止HBase服务启动HBase服务:在终端输入start-hbase.sh命令即可启动HBase 服务。
停止HBase服务:在终端输入stop-hbase.sh命令即可停止HBase 服务。
2.创建表创建表:在HBase shell中使用create命令来创建表,语法如下:create 'table_name', 'column_family'3.删除表删除表:在HBase shell中使用disable和drop命令来删除表,语法如下:disable 'table_name'drop 'table_name'4.添加数据添加数据:在HBase shell中使用put命令来添加数据,语法如下:put 'table_name', 'row_key', 'column_family:column_qualifier','value'5.查询数据查询数据:在HBase shell中使用get命令来查询数据,语法如下:get 'table_name', 'row_key'6.扫描全表扫描全表:在HBase shell中使用scan命令来扫描全表,语法如下:scan 'table_name'7.删除数据删除数据:在HBase shell中使用delete命令来删除数据,语法如下:delete 'table_name', 'row_key', 'column_family:column_qualifier'8.修改表修改表:在HBase shell中使用alter命令来修改表,语法如下:alter 'table_name', {NAME => 'column_family', VERSIONS =>version_num}9.查看表结构查看表结构:在HBase shell中使用describe命令来查看表结构,语法如下:describe 'table_name'10.退出HBase shell退出HBase shell:在HBase shell中输入exit命令即可退出。
hbase相关操作
hbase相关操作
HBase是一种分布式、可伸缩、大数据存储的列式数据库,以下是HBase 的一些常用操作:
1. 创建表:使用HBase Shell或HBase API创建表。
创建表时需要指定表名和列族。
2. 插入数据:使用HBase Shell或HBase API插入数据。
插入数据时需要指定表名、行键和列族。
3. 查询数据:使用HBase Shell或HBase API查询数据。
查询数据时需要指定表名、行键和列族。
4. 删除数据:使用HBase Shell或HBase API删除数据。
删除数据时需要指定表名、行键和列族。
5. 扫描表:使用HBase Shell或HBase API扫描整个表,获取所有数据。
6. 分区表:根据业务需求,将表分区存储,提高数据访问效率。
7. 调整表配置:根据业务需求,调整表的相关配置,如列族数量、存储格式等。
8. 备份和恢复数据:使用HBase Shell或HBase API备份和恢复数据,确保数据安全。
9. 监控和维护:使用HBase监控工具监控表的状态和性能,及时发现和解决问题。
以上是HBase的一些常用操作,根据实际业务需求,可以选择适合的操作来处理数据。
hbase基本操作
hbase基本操作HBase是一个分布式开源数据库,是Apache Hadoop项目的一部分。
它是一个面向列的NoSQL数据库,可以在非常大的数据集上进行实时读写操作。
HBase有许多不同的用途,包括在大型网站中存储日志数据、高速数据分析、批量处理数据以及许多其他用途。
在本文中,我们将探讨一些基本的HBase操作。
1. 安装和启动HBaseHBase的安装非常简单,您只需要下载并解压HBase软件包即可。
安装完成后,您可以通过以下命令启动HBase:```bin/start-hbase.sh```此命令将启动所有必要的进程以及HBase的主服务器,也称为“RegionServer”。
2. 创建表在HBase中创建表与关系数据库中创建表的过程非常相似。
以下是一个基本的示例:```create 'myTable', 'myColumnFamily'```其中,“myTable”是表名,“myColumnFamily”是列族名。
列族是列的集合。
3. 插入数据注意,HBase使用列族名称和列名来唯一标识列。
在上面的示例中,“myColumnFamily”是列族名称,“column1”是列名,“value1”是列值。
您还可以插入多个列和一行中的多个值。
4. 获取数据此命令将返回表“myTable”中行键为“row1”的所有列。
5. 扫描表扫描表是获取表中所有行的一种简单方法。
以下是一个基本的示例:6. 删除数据要删除HBase表,您可以使用以下命令:此命令将禁用和删除表“myTable”。
总结:HBase是一个非常强大的分布式数据库,可以在大型数据集上进行快速读写操作。
在本文中,我们介绍了一些基本的HBase操作,包括创建表、插入数据、获取数据、扫描表、删除数据和删除表。
这些操作是使用HBase时非常常见的操作。
【卓顶精文】Hadoop--HBase-使用指南.docx
第1章集群的搭建1.1集群的结构实验环境中共有6台服务器,搭建完全分布式HDFS与HBase环境,采用的Hadoop与HBase版本为hadoop0.20.2HBase0.92.0,其中一台节点做为NameNode 和Master,另一台做为Master备份节点(可以不要备份Master节点),剩余四台则做为DataNode和RegionServer节点,并且在其上运行Zookeeper服务,整个实验环境结构如错误!未找到引用源。
所示。
1.2基础环境整个系统要能正常的运行,在各机器上安装需要的程序软件之前,也要正确的配置好网络连接、程序参数和系统设置等,主要包括:操作系统Ubuntu10.04、sun-java-6和OpenSSH。
分别在每台服务器上安装上述的系统和程序,过程中要注意:根据Hadoop和HBase的系统兼容性要求Linux系统的版本可以不一致,不影响HDFS和HBase的运行。
JDK的版本、安装位置和环境变量的设置都应保持一致。
OpenSSH要设置为无密码访问,确保各服务器之间能正常通信。
各服务器配置如表 1-1所示。
表 1-1服务器的配置信息主机名IP地址(在同一网段内)备注Master1 Master2 Slave1 Slave2 Slave3 Slave4 192.168.1.100192.168.1.99192.168.1.101192.168.1.102192.168.1.103192.168.1.104NameNode和Master节点Master备份节点DataNode和RegionServerDataNode和RegionServerDataNode和RegionServerDataNode和RegionServer1.3软件的安装集群中Hadoop和HBase的版本要保持一致,并确保Hadoop和HBase版本相互之间兼容。
1.3.1SSH设置1.3.1.1免密码SSH设置。
hadoop和hbase伪分布式安装实验总结
hadoop和hbase伪分布式安装实验总结Hadoop和HBase伪分布式安装实验总结一、实验目标本次实验的目标是掌握Hadoop和HBase的伪分布式安装与配置,了解其在大数据处理中的应用。
通过实验,我们将深入了解Hadoop和HBase的基本概念、架构和工作原理,并亲自动手进行系统安装和配置。
二、实验步骤与过程1. 准备环境:确保实验环境满足Hadoop和HBase的最低硬件和软件要求,包括足够的内存、磁盘空间和网络带宽。
2. 安装Java:由于Hadoop和HBase都依赖于Java,因此需要先安装Java开发工具包(JDK)。
3. 下载Hadoop和HBase:从Apache官网下载Hadoop和HBase的稳定版本。
4. 配置Hadoop:编辑Hadoop的配置文件,包括、等,设置NameNode、SecondaryNameNode、DataNode的地址。
5. 格式化HDFS:使用Hadoop的命令行工具初始化HDFS文件系统。
6. 启动Hadoop:启动NameNode、SecondaryNameNode和DataNode,使HDFS进入运行状态。
7. 安装HBase:解压下载的HBase压缩包到指定目录。
8. 配置HBase:编辑HBase的配置文件,包括、等,设置ZooKeeper的地址、HBase master和regionserver的地址。
9. 启动HBase:启动ZooKeeper和HBase master,然后启动regionserver。
10. 验证安装:通过Web浏览器访问HBase的管理界面,以及使用HBase shell命令进行基本操作,验证安装是否成功。
三、实验结果与分析通过本次实验,我们成功地在实验环境中安装了Hadoop和HBase,并验证了其基本功能。
在安装过程中,我们遇到了一些问题,如环境变量配置错误、端口冲突等,但通过查阅文档和在线求助,最终都得到了解决。
熟悉常用的hbase操作实验报告 -回复
熟悉常用的hbase操作实验报告-回复熟悉常用的HBase操作实验报告一、引言HBase是一个面向大数据存储和处理的分布式数据库,其具有高可靠性、高性能、高可扩展性等特点。
本实验报告旨在通过实践来熟悉常用的HBase操作,掌握其基本使用方法和操作流程。
二、实验环境搭建1. 安装HBase首先,我们需要在一台服务器上安装HBase,可以通过从官网下载二进制文件并解压缩来完成安装。
2. 配置HBase在安装完成后,我们需要进行一些配置。
首先,打开`hbase-site.xml`文件进行配置,包括指定Zookeeper的地址,配置HBase的根目录等。
3. 启动HBase在安装和配置完成后,使用`start-hbase.sh`命令启动HBase。
三、HBase基本操作1. 创建表使用HBase shell工具,可以通过`create`命令来创建表。
例如:create 'student', 'info', 'scores'以上命令创建了一个名为`student`的表,该表包括两个列族`info`和`scores`。
2. 插入数据使用`put`命令可以向表中插入数据。
例如:put 'student', '001', 'info:name', 'Tom'put 'student', '001', 'info:age', '18'put 'student', '001', 'scores:math', '95'以上命令向`student`表中插入了一条记录,该记录的行键为`001`,包括列`info:name`、`info:age`和`scores:math`,其对应的值分别为`Tom`、`18`和`95`。
熟悉常用的hbase操作实验报告 -回复
熟悉常用的hbase操作实验报告-回复HBase是一种开源的、分布式的、可扩展的、高可靠性的NoSQL数据库,它在大数据领域发挥着重要作用。
本文将探讨熟悉常用的HBase操作以及相关的实验报告,帮助读者更好地理解和使用HBase。
HBase操作可以分为数据模型、表操作、数据CRUD(Create、Read、Update、Delete)、过滤器和数据批处理等几个方面。
在进行具体的操作之前,应首先了解HBase的基本概念和架构。
HBase使用基于列的数据存储模型,它的数据以表的形式组织,每个表都包含多个行(row)和多个列(column)。
每个表都由表名和多个列族(column family)组成。
列族是列的集合,可以通过列族来组织和管理列。
每个行都有一个唯一的行键(row key),通过行键可以在表中唯一标识一行数据。
数据是按照行键的字典序进行排序存储的,因此可以快速地根据行键进行检索和访问。
在HBase中,首先需要创建一个表。
可以使用HBase shell或Java API 来进行表的创建。
以下是使用HBase shell创建表的步骤:1. 启动HBase shell:在终端中输入“hbase shell”命令,进入HBase shell 环境。
2. 创建表:使用“create '表名', '列族1', '列族2', ...”命令创建表。
例如,创建一个名为“student”的表,其中包含两个列族“info”和“score”,可以使用命令“create 'student', 'info', 'score'”。
3. 查看表结构:使用“describe '表名'”命令查看表的结构和列族信息。
例如,使用命令“describe 'student'”查看表“student”的结构。
Hadoop HBase数据的读写流程总结
HBase数据的读写流程总结首先我们要明确三大件概念:Zookeeper、HMaster、Region Server。
Zookeeper:保证任何时候,集群中只有一个HMaster;实时监控HRegion Server的上线和下线信息,并实时通知给HMaster;存储Hbase的schema和table元数据;HMaster需要知道哪些HRegionServer是活的、可用的及HRegionServer的位置信息,以便管理HRegionServer。
这些信息都有Zookeeper提供!HMaster:理论上HMaster可以启动多个,但是Zookeeper有Master Election机制保证且允许总有且只有一个Master在运行,来负责Table和Region的管理工作。
管理HRegionServer的负载均衡,调整Region分布;Region Split后,负责新Region的分布;在HRegionServer停机后,负责失效HRegionServer上Region迁移工作。
Region Server:监控维护Region,处理对这些Region的响应,请求;负责切分在运行过程中变得过大的Region。
注意点:1.Client访问hbase上数据时并不需要Hmaster参与,数据的读写也只是访问RegioneServer,HMaster仅仅维护这table和Region的元数据信息,负载很低。
2.HBase是通过DFS client把数据写到HDFS上的3.每一个HRegionServer有多个HRegion,每一个HRegion有多个Store,每一个Store对应一个列簇。
4.HFile是HBase中真正实际数据的存储格式,HFile是二进制格式文件,StoreFile就是对HFile进行了封装(其实就是一个东西),然后进行数据的存储。
5.HStore由MemStore(只有一个)和StoreFile(多个)组成。
熟悉常用的hbase操作实验报告 -回复
熟悉常用的hbase操作实验报告-回复熟悉常用的HBase操作实验报告HBase是一个开源的非关系型分布式数据库,它是基于Hadoop的分布式文件系统HDFS来存储数据,并采用Google的Bigtable作为数据模型。
HBase具有高可用性、高可靠性和高扩展性的特点,适合存储海量数据和进行实时查询。
在本次实验中,我们将熟悉HBase的常用操作,包括创建表、插入数据、查询数据和删除数据等。
一、实验准备为了完成这个实验,我们需要安装好HBase的环境,并启动HBase服务。
同时,需要编写Java代码来执行HBase的操作。
二、创建表在HBase中,表由行(row)和列(column)组成。
我们首先需要创建一个表,来存储我们的数据。
1. 打开HBase的Shell界面,输入以下命令来创建名为“student”的表:create 'student', 'info'上述命令中,“student”是表的名称,“info”是表中的列族名称。
2. 使用Java代码来创建表,首先需要导入HBase的相关包:import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.HBaseAdmin;import org.apache.hadoop.hbase.HTableDescriptor;import org.apache.hadoop.hbase.TableName;然后,编写创建表的代码:Configuration conf = HBaseConfiguration.create(); HBaseAdmin admin = new HBaseAdmin(conf); HTableDescriptor tableDescriptor = newHTableDescriptor(TableName.valueOf("student")); tableDescriptor.addFamily(new HColumnDescriptor("info")); admin.createTable(tableDescriptor);上述代码中,我们使用了HBaseAdmin类的createTable方法来创建表。
hbase 大数据基本操作
hbase 大数据基本操作HBase是一种分布式的、可扩展的、高性能的NoSQL数据库,它基于Hadoop和HDFS构建,广泛应用于大数据领域。
本文档将详细介绍HBase的基本操作,以帮助用户快速上手和熟练使用HBase。
一、HBase简介HBase是一个面向大数据的分布式数据库,它提供了高可靠性、高可扩展性和高性能的存储解决方案。
HBase采用列族存储方式,能够支持海量数据的存储和查询,适用于需要实时读写大数据的应用场景。
二、HBase的安装与配置1. 安装Java和Hadoop:HBase依赖于Java和Hadoop环境,首先需要安装和配置好Java和Hadoop,并确保其正常运行。
2. 下载和解压HBase软件包:从官方网站下载HBase软件包,并解压到指定目录。
3. 配置HBase集群:编辑HBase配置文件,主要包括hbase-site.xml和hbase-env.sh,根据具体需求进行配置。
三、HBase的基本操作1. 建立表格:使用HBase shell或HBase API创建表格,指定表名、列族和列限定符等信息。
2. 插入数据:通过put命令或HBase API向表格中插入数据,指定行键、列族、列限定符和值等信息。
3. 查询数据:使用get命令或HBase API查询表格中的数据,根据行键、列族和列限定符获取对应的值。
4. 更新数据:通过put命令或HBase API更新表格中的数据,可以修改已存在的值或添加新的列限定符。
5. 删除数据:使用delete命令或HBase API删除表格中的数据,根据行键、列族和列限定符删除对应的值。
6. 扫描数据:通过scan命令或HBase API扫描表格中的数据,可以按范围、字母序等方式进行扫描。
7. 索引设计:合理设计表格的索引,提高查询性能和效率,避免全表扫描的情况发生。
四、HBase的高级操作1. 过滤器:使用过滤器对查询结果进行过滤,实现数据的精确查找和筛选。
实验4熟悉常用的HBase操作
实验4熟悉常用的H B a s e操作(总11页)-本页仅作为预览文档封面,使用时请删除本页-实验4熟悉常用的HBase操作姓名:包生友专业年级:软件143 学号:991.实验目的1. 理解HBase在Hadoop体系结构中的角色;2. 熟练使用HBase操作常用的Shell命令;3. 熟悉HBase操作常用的Java API。
2.实验环境操作系统:LinuxHadoop版本:或以上版本HBase版本:或以上版本JDK版本:或以上版本Java IDE:Eclipse3.实验内容和完成情况1. 编程实现以下指定功能,并用Hadoop提供的HBase Shell命令完成相同任务:(完整可执行代码见代码/)(1)列出HBase所有的表的相关信息,例如表名;Shell:List图1 列出HBase所有表的相关信息编程:现有以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据:①学生Student表:主键的列名是随机分配的,因此无需创建主键列创建表:create 'Student','S_No','S_Name','S_Sex','S_Age'图7 创建Student表图8 添加数据并查看图9 添加3个学生②课程Course表创建表:create 'Course','C_No','C_Name','C_Credit'图10 创建Course表put 'Course','c003','C_Credit',''图11 添加数据图12 添加3个课程③选课表创建表:create 'SC','SC_Sno','SC_Cno','SC_Score'图13 创建表SC图14 插入数据图15 数据显示图16 QuestionOne运行后控制台消息同时,请编程完成以下指定功能:(完整可执行代码见代码/)(1)createTable(String tableName, String[] fields)创建表,参数tableName为表的名称,字符串数组fields为存储记录各个域名称的数组。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
实验报告
课程名称:Hadoop储存与运算指导教师:潘立武
姓名:孙纪龙
学号:2018021911
大数据1班组
教务处制
实验/训()
实验/训题目:Hadoop数据库Hbase操作
学时:学分:
实验/训时间:2020 年4 月1 日实验/训地点:实验目的:
通过实验,掌握Hadoop数据库Hbase操作
实验内容:
第1关:实践题已完成
Hbase数据库的安装
第2关:实践题已完成
创建表
第3关:实践题已完成
添加数据、删除数据、删除表
实验步骤:
第一关Hbase数据库的安装
mkdir /app
//创建文件
cd /opt
//回到opt目录
ulimit -f 1000000
tar -zxvf hbase-2.1.1-bin.tar.gz -C /app
//解压
echo $JAVA_HOME
//查看jdk路径
vim /app/hbase-2.1.1/conf/hbase-env.sh
//翻到第二十八行,找到# export JAVA_HOME=/usr/java/jdk1.8.0/把前面的 # 删了、把/usr/java/jdk1.8.0/换成export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111,wq保存cd
//回到根目录
vim /app/hbase-2.1.1/conf//hbase-site.xml
//进入编辑模式,输入下面代码
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file:///root/data/hbase/data</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/root/data/hbase/zookeeper</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
</configuration>
//退出wq保存
vim /etc/profile
//进入编辑模式,在最低下按i输入下面代码
# SET HBASE_enviroment
HBASE_HOME=/app/hbase-2.1.1
export PATH=$PATH:$HBASE_HOME/bin
//退出wq保存
source /etc/profile
//使配置生效
start-hbase.sh
//启动hbase
Jps
//查看是否成功
测评
第二关创建表
hbase shell
//进入
create 'test','data'
//创建表
create 'dept','data'
//创建表
create 'emp','data'
//创建表
List
//查看表
测评
第三关添加数据、删除数据、删除表
create 'mytable','data'
//创建表
put 'mytable','row1','data:1','zhangsan'
//添加数据
put 'mytable','row2','data:2','zhangsanfeng' //添加数据
put 'mytable','row3','data:3','zhangwuji'
//添加数据
scan 'mytable'
测评
实验结果:
成绩:。