什么是大数据? 学大数据开发有前途吗？

学大数据开发有前途吗？

谢谢你的邀请

！首先，学习大数据开发是一个不错的选择。一方面工作比较多，另一方面工资比较高。从研究生就业情况来看，2019年秋季招聘期间，很多大公司都发布了很多大数据开发岗位。

大数据开发可以简单分为两类，一类是大数据平台开发，另一类是大数据应用开发。目前，大工厂的岗位大多集中在大数据平台开发岗位。随着大数据的逐步实施，未来大数据应用开发岗位的人才需求将逐步增加。对于那些有扎实的数学基础和一些基本的计算机知识的人来说，他们可以向大数据平台发展。大数据平台开发通常属于研发级岗位。与大数据应用开发相比，大数据平台开发岗位薪酬较高，职业生命周期相对较长。从近年来大公司的招聘情况来看，大数据方向的研究生更容易获得大数据平台开发职位。！对于基础薄弱的初学者来说，他们可以从大数据的应用开发开始，然后随着知识结构的不断改进逐步升级他们的位置。学习大数据应用开发需要注意学习三个方面的知识，第一是编程语言基础知识；第二是大数据开发平台知识；第三是行业知识。

目前，Java、python、Scala等语言广泛应用于大数据开发领域，因此可以从其中一种编程语言入手，大数据平台可以专注于Hadoop和spark。在工业互联网时代，大量的应用开发将基于各种平台，包括大数据平台、云计算平台和人工智能平台。

后端开发和大数据开发相比，哪个更累？哪个加班更多、压力更大？

后端开发通常称为服务器端开发。需要解决的问题要根据实际应用场景来确定。技术选择与服务规模直接相关。如果是大型服务，后端服务往往更复杂。它需要综合考虑并发处理、事务处理、安全处理、资源调度优化等问题，通常采用分布式服务来提高系统的处理能力和稳定性。如果服务规模相对较小，后端服务的实现就容易得多。

大数据开发通常指大数据应用开发。出发点是满足系统的大数据处理任务，为后续的数据分析提供支持。当然，大数据开发岗也包括大数据平台的研发。与后端服务开发不同，大数据开发通常侧重于数据操作，仅围绕大数据平台提供的API完成具体的数据操作任务。相对而言，大数据开发往往可以进行功能封装和重用，可以在一定程度上减轻开发负担。另外，由于大部分数据处理任务都可以通过平台提供的功能来完成，大数据开发通常不需要考虑系统层面的问题，这也可以让开发人员更加专注。

通常情况下，后端开发和大数据开发都有一定的压力，但是哪个压力更大，直接关系到业务类型和业务规模的发展。目前，我们正处在大数据时代。对于后端开发者来说，需要掌握大数据开发的相关知识，而对于后端开发者来说，学习大数据开发会比较顺利。

最后，从行业发展趋势来看，与大数据发展相关的工作在未来通常会有更多的发展机会，特别是在工业互联网阶段。

大数据开发的就业怎么样？

作为it领域的研究者和教育家，让我来回答这个问题。

首先，目前大数据开发岗位的人才缺口比较大。近年来，很多大数据方向的研究生都会选择发展岗位。一方面，开发类岗位对人才的需求相对较大，不如算法类岗位竞争激烈。另一方面，开发类岗位的附加值相对较高，几乎与算法类岗位相当。

从目前大行业发展趋势和人才需求趋势来看，在工业互联网逐步实施和应用的过程中，大数据开发岗位的人才需求将不断增加。不仅IT互联网行业需要大量的大数据开发人才，传统行业也需要大量的大数据开发人才。从这个角度来看，我们选择学习大数据开发知识会有很好的就业前景。

大数据开发工作通常可以分为平台开发工作和行业场景开发工作。平台开发工作通常属于研发级工作，对开发者的要求相对较高，而行业场景开发工作通常是基于大数据平台完成特定的开发任务，因此对开发者的要求相对较低。目前，大数据还处于应用的初级阶段，即使从事行业场景开发，也能拿到不错的薪水。

大数据开发和传统软件开发有两个明显的区别。一是大数据发展注重业务和数据，特别注重数据价值的挖掘和展示。这显然不同于传统的软件开发，后者更注重业务流程。也可以说，发展思路不同。

第二，大数据的发展通常依赖于大数据平台，而大数据平台在大数据发展的过程中起着非常重要的作用，因此学习大数据发展必须注意大数据平台相关知识的学习。

成为一个大数据研发工程师需要学习哪些知识？

大数据工程师有很多方向，但他们离不开Hadoop、hive、HBase、Kafka、spark、flum、spoop、Flink等基本组件。我们需要熟悉他们

！如果你是大数据平台研发工程师，你需要专注于Java系统和以上组件的开发

如果你是大数据运维工程师，你需要专注于Linux运维，包括shell脚本。当然，用Python效果更好，上面组件的部署和维护也很常见

如果你是一个数据访问和开发工程师，那就是各种sq l.Java和各种数据访问和处理组件，包括Kafka，kettle，flum，storm，等等

如果是一种大数据挖掘和分析，各种SQL、hive、spark和重要的机器学习算法都是通用的，另外，各种可视化技术都可以达到更好的效果，谢谢

大数据可以帮助科学研究如下：

·大型强子对撞机实验代表大约1.5亿个传感器，每秒提供4000万个数据。每秒有近6亿次碰撞。在过滤并避免记录超过99.99995%的数据流之后，每秒有100个目标冲突。

因此，仅使用不到0.001%的传感器数据流，所有四个大型强子对撞机实验数据流的年速率在复制前为25 Pb（截至2012年）。复制之后，这将接近200 Pb。

如果所有传感器数据都记录在LHC中，数据流将很难处理。在复制之前，数据流量每年将超过1.5亿Pb，即近500个ebabtests。就数字而言，这相当于每天500字节（5×1020），几乎是世界上所有其他数据源的200倍。

·平方公里阵列是由数千根天线组成的射电望远镜。预计2024年投入使用。总的来说，这些天线预计收集14 EB字节，每天存储1 Pb字节，这被认为是有史以来最雄心勃勃的科学项目之一。·当斯隆数字巡天（SDSS）在2000年开始收集天文数据时，它在最初的几周收集的数据比以前的天文史上收集的要多。SDSS继续以每晚200GB的速度运行，积累了超过140tb的信息。当SDSS的后继者，大规模综合测量望远镜，在2020年上线时，它的设计者期望它每五天就能得到这个数量的数据。

解码人类基因组原本需要10年的时间，现在不到一天就可以完成。在过去的十年里，DNA测序仪已经将测序成本降低了10000，这比摩尔定律预测的要便宜100倍。

大数据在科研上的应用有哪些？

严格来说，数据库开发工程和大数据开发不是职业变动。从技术角度看，大数据开发需要更深层次的技术基础和更广泛的框架。换言之，转行是对自己事业的一次飞跃。

1. 从技术上学习非关系型数据库的使用，了解非关系型数据库的存储、查询和应用场景

2。掌握与主流大数据相关的技术架构和主流数据库技术，如Hadoop、spark、hive、HDFS、HBase等