关键词

描述
Hive 是一种底层封装了Hadoop 的数据仓库处理工具,使用类SQL 的HiveQL 语言实现数据查询,所有Hive 的数据都存储在Hadoop 兼容的文件系统(例如,Amazon S3、HDFS)中。Hive 在加载数据过程中不会对数据进行任何的修改,只是将数据移动到HDFS 中Hive 设定的目录下,因此,Hive 不支持对数据的改写和添加,所有的数据都是在加载的时候确定的。 ● 支持创建索引,优化数据查询。 ● 不同的存储类型,例如,纯文本文件、HBase 中的文件。 ● 将元数据保存在关系数据库中,大大减少了在查询过程中执行语义检查的时间。 ● 可以直接使用存储在Hadoop 文件系统中的数据。 ● 内置大量用户函数UDF 来操作时间、字符串和其他的数据挖掘工具,支持用户扩展UDF 函数来完成内置函数无法实现的操作。 ● 类SQL 的查询方式,将SQL 查询转换为MapReduce 的job 在Hadoop集群上执行。 [1] CLI,Client 和 WUI。 元数据存储 Hive 将元数据存储在数据库中,如 mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 解释器、编译器、优化器、执行器 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后由 MapReduce 调用执行。 Hadoop Hive 的数据存储在 HDFS 中,大部分的查询由 MapReduce 完成(不包含 * 的查询,比如 select * from tbl 不会生成 MapReduce 任务)。
相关主题
相关项目
SimonWang00/Setup-zookeeper-cluster manoj7pal/Hive ArisenIO/hive-bounty-program MyDumfries/MySmartHome tul1/rust-hive Sendarox/HiveJumpPads dazheng/gohive pedro-oli/HoneybeeEvolutionary MadeByEmil/ephyra neural-gi/redux-hive jdmaturen/hive-hll aguiarandre/snippets nonjene/webpack-papa-script hominidae/apidae catlinman/hivecom-teamspeak uxff/gohive muffato/eHive-Blockly Lingaraj2410/Assignment-6.3 realrubberduckdev/CloneRegistry saada/container-hive victorazevedo-me/reward QuaternionMark/Homestuck-Quirk-Generator ts-3156/hivecolor saravanan2594/psd2html hiveway/hiveway-android ryanbrunkhorst/aerohiveng_useradminportal Gulaschcowboy/ESP8266-BeeScale ryanbrunkhorst/aerohiveng_guestportal cuda-tech/databox tafallen/infohub ichko/hivemon davidmigloz/go-bees kulamani/HiveRef Scarlet-Dev/BeeJive hive-apps/hive-pwa xuanbo/hive-query vkuikka/fract_ol apache/incubator-hivemall-site apache/incubator-hivemall HiveMP/HiveMP.ClientConnect HiveMP/Example-CSharp-NATPunchthrough HiveMP/SDKs jmakela42/Libft jmakela42/Ft_printf jmakela42/Eval-finder jmakela42/Get_next_line AleXwern/DoomNukem alfredsaveron/browser-hiven JIPrettyCool/Hiven-Selfbot danii/hiven-rs FrostbyteSpace/openhiven.js insberr/vhiven NexInfinite/hivenpy FrostbyteSpace/openhiven.py deshaion/football_club RivaanRanawat/astra AgnellusX1/TravelEX shakir85/logs-analysis hiro0218/coin-hive shavidzet/monero-node-docker-miner CamTosh/MiningOrAdsOrNothing katopz/setup-coin-hive inphobia/rancid-aerohive-support sipocz/zenemy_hiveos kriosmane/hive-os Steambot33/HiveOS-NVIDIA-GPU-autofan-2.0 snowxwolf/hiveConf aliencode-github/guides-and-information JarbasHiveMind/HiveMind-HackChatBridge davigmacode/hivemind-widget JarbasSkills/skill-node-red eliastor/hivesql gauravkumar37/hive2-jdbc imjuni/jshs2 Lergin/hive-website RoccoDev/StaffTrackerBot Lergin/hive-datacollection RoccoDev/hive-portal Beezig/BeezigInstaller Lergin/hive-api Croutonix/dmtcheat yingzhuo/hive-my-functions martinprobson/Hql_Wrapper nickSoul/cloudera-apache-hive xtutran/hive-example mesmacosta/hive-table-metadata-generator mvrpl/HiveAPI hivemq/hivemq-kafka-hello-world-customization xiEdwin95/MQTT mariodanilosilva/mqtt-garage-smartthings shg8/hivemqauth hivemq/hivemq-azure-cluster-discovery-extension hivemq/hivemq-heartbeat-extension frittentheke/hivemq-k8s-cluster-discovery-plugin vad-babushkin/hivemq-mqtt-message-jdbc-extension hivemq/hivemq-allow-all-extension gcdd1993/hivemq-connect-kafka-extension-demo hivemq/hivemq-extension-gradle-plugin hivemq/hivemq-mqtt-message-log-extension hivemq/hivemq-hello-world-extension