hive支持的文件格式及各自特点 oracle传输类型？

oracle传输类型？

导入到HDFS中的数据是文本格式，所以在创建家族Hive外部表的时候，不要重新指定文件的格式为RCFile，而不使用系统默认的TextFile去掉。数据间的分隔符为#39t#39。如果不是一次文件导入同一个表中的数据，数据以append的形式插入到到HDFS目录中。

decimal类型在hivesql中如何表示？

(Decimal)小数点

Hive中的DECIMAL类型与Java的BigDecimal格式完全相同。它应用于可以表示减少的输入精度。语法和示例:：

DECIMAL(precision,scale)decimal(10,0)

大数据主要涉及的内容有哪些？可以从事哪些岗位？

我记得大学专科毕业的第一份工作，我们公司的业务就是做BI产品研发。哪时候互联网没有今天这样的激狂，也没有大数据、移动互联网的概念。记住有一次和同事去华师后门买书，同事买了一本javascript,我买了一个ajax。那时侯，我们产品的客户端是用Delphi的新的，不过买书那就是替需要补充一点新知识，工作中基本都用不到。在公司的第三年，公司要转做web的BI展示界面，我帮公司用svg做了两个展示组件，心里肯定美滋滋的。

紧接着时间的推移、电商的发展，大数据、云计算隐隐成了每个互联网公司对外宣传的标准说法。假如不讲点这些概念，显然给人感觉太多些逼格。记住10年在公司的两次培训上，有个同事问，云计算是不是你搞进去的，就是因为我姓云。听着这个问题，我又哭又笑终非。

大数据这个概念喊了这些年了，很多人那就不不清楚大数据指的是什么？目的是能回答好这个问题，我还去专业点搜了大数据的概念。聪明说百科的解释，连我畜牧兽医相关专业了这些年互联网的人，也没看懂。

“大数据（big data），IT行业术语，是指无法在一定时间范围内用常规项软件工具并且捕捉、管理和处理的数据真包含于，是不需要新处理模式才能本身更强的决策力、洞察到发现自己力和流程优化能力的海量、高增长率和多元化的信息资产。”

什么是大数据？

大数据说的委婉点，就是句子修辞一套技术手段，把数据变的信息和知识的过程。数据对我是没有价值的东西，我们要把数据加工成信息或者知识，才能被人类再理解。举个例子：公司一周的考勤数据是意义不太大的东西，只不过我们实际一月考勤数据的分析和比较，我们发现张三这个员工总是迟到。这样，张三老是迟到的人这个信息就对公司的管理有帮助了，领导需要去所了解下，你是不是张三家有什么事？或则张三最近再次出现别的状况？

大数据的“大”又该如何明白呢？所谓“大”，一层含义指数据的体量大，在数据库时代数据以GB为单位，但在互联网时代以TB为单位，数据的体量升了一个数量级。另一层含义指数据形式的多样化。在悠久的传统BI应用中，数据大多数是存储位置在关系型数据库中，但在互联网时代，数据的形式变地丰富化了，的或:文本、视频及数据库。知道了大数据的概念，我们过来看，大数据包含哪些内容。

大数据的内涵

大数据从技术的角度上去看，中有两大分支：数据分析和数据挖掘。数据分析是对历史数据的分析，为管理需要提供辅助决策信息。数据挖掘是研究趋势和未来的问题，主要注意应用到在预测方面。从业务的时效性没有要求自己去看，分成三类：实时管理分析系统和离线分析系统。比如:网站的实时动态用户区域分佈狀況那就是实时数据分析建構；2019年全國各省GDP排名分析就是離綫结论應用。

从大数据项目的过程看，大数据中有：数据采集、数据收集、数据转化与存储、数据建模分析、上层应用展示等。大数据的难点，取决于人海量数据的分析，这又比较复杂到海量数据存储及分析架构等问题。

按照Hadoop的技术体系来讲，flume单独抽取和被转化存储在服务器各处的日志及数据，存储位置在以hdfs文件系统或者hive或者hbase等数据仓库中，再利用hadoop架构的规范，编写mapreduce作业，再把分析结果展示更多给用户。不过，这里面电脑设计到数据分析的各种算法。

大数据相关的工作岗位

下面可以介绍下，大数据相关的核心岗位：

业务专家也可以顾问：为大数据需要提供研发方向和可以确定研究主题，并为技术人员提供业务支持。

数据分析师：畜牧兽医相关专业数据收集、整理一番、分析并参照数据做出决定评估和预测的专业人员。

数据挖掘工程师：从海量数据中突然发现规律，是需要好些的算法和数学基础。

可视化工程师：提供美观、便于掌握人们理解的分析的结果展示界面。

魔兽维护工程师：专门负责服务器环境的配置、重新搭建和运维。

每个公司区分的大数据技术线路相同，工作岗位会所差距。感兴趣的朋友，是可以自己去清楚下，可以做到的几种大数据方案。

紧接着5G网络的建设，接入网络的iot设备会越来越多，互联网所积累知识的数据，肯定会成级数增强。在未来几年，大数据行业却是朝阳行业，是需要的大数据人才会越来越多，如果能本文对有意愿加入到大数据行业的朋友，有所启发和帮助，也只希望大家能对大数据的概念，有更清晰的认识。谢谢啊！