大数据专业的应该必备哪些专业技能呢(大数据专业的应该必备哪些专业技能和知识)

你好！

大数据并不是一个单一的概念，其内涵比较丰富，在实际应用过程中也需要大量编程知识的支持。对于具体技能要求，您可以阅读以下内容

1.Java

大家都知道Java的方向有JavaSE、JavaEE、JavaME。学习大数据应该学习哪个方向？你只需要学习JavaSE，Java的标准版本。Servlet、JSP、Tomcat、Struts、Spring、Hibernate、Mybatis都是面向JavaEE的技术。它们在大数据技术中使用不多。你只需要理解它们。当然，你还是需要知道如何用Java连接数据库，而且你必须掌握JDBC。

有人说Hibernate或者Mybites也可以连接数据库。为什么不学呢？我不是说学这些不好，而是说学这些可能要花你很多时间。最终，你不会在工作中经常使用它们。我还没看到。大数据处理谁用这两个东西？当然，如果你有足够的精力，你可以学习Hibernate或者Mybites的原理。不要只学习API。这可以增加你对Java的数据库操作的理解，因为这两项技术的核心就是Java反射加上JDBC的各种使用。2.Linux

因为大数据相关的软件都是在Linux上运行的，所以需要把Linux学得更扎实。3.Hadoop

这是一个流行的大数据处理平台，几乎已经成为大数据的代名词，所以这是必须学习的。Hadoop包括几个组件HDFS、MapReduce和YARN。HDFS是存储数据的地方，就像我们电脑的硬盘，是存储文件的地方。MapReduce处理和计算数据。它的特点之一是，无论数据有多大，只要给它时间，它就能把数据跑完，但时间可能不会很快，所以称为数据的批处理。

YARN是体现Hadoop平台理念的重要组件。借助其大数据生态系统，其他软件都可以运行在Hadoop上，这样我们就可以更好地利用HDFS大存储的优势，节省更多的资源。比如，我们不必单独搭建一个spark集群，让它直接运行在现有的hadoopyarn上。事实上，如果你了解了Hadoop的这些组件，你就能够处理大数据了。然而，你可能还不清楚“大数据”有多大。听我说，别担心这个。未来，当你开始工作时，你会在很多场景中遇到几十TB/几百TB的大规模数据。到时候你就不再觉得大数据好。数据越大，你就越头疼。当然，不要害怕处理如此大规模的数据，因为这就是你的价值所在。让那些从事Javaee、php、html5和DBA工作的人羡慕不已。4.Zookeeper是万能药。安装HadoopHA时会用到，以后Hbase也会用到。一般用来存储一些协作信息。这个信息比较小，一般不超过1M。使用它的软件取决于它。对于我们个人来说，只需正确安装并让它正常运行即可。就是这样。

5.MySQL

mysql数据库，一个小型的数据处理工具，后面安装hive的时候会用到。mysql需要掌握到什么水平？您可以在Linux上安装它，运行它，配置简单的权限，更改root密码，并创建数据库。这里主要是学习SQL的语法，因为hive的语法和这个很相似。6.使用Sqoop将Mysql中的数据导入到Hadoop中。当然，你也可以跳过这个，直接将Mysql数据表导出成文件，然后放到HDFS上。当然，在生产环境中使用Mysql时要注意Mysql的压力。7.Hive对于懂得SQL语法的人来说是一个神器。它让处理大数据变得非常简单，你再也不用担心编写MapReduce程序了。有人说猪？几乎就像猪一样。你只需要掌握一项。8.既然Oozie已经学会了Hive，相信你一定需要这个东西。它可以帮助您管理Hive、MapReduce和Spark脚本。它还可以检查您的程序是否正确执行。如果出现问题，它会向您发送警报并为您提供帮助。重试该程序，最重要的是，它还可以帮助您配置任务依赖关系。我相信你一定会喜欢的，不然看着大量的脚本和密密麻麻的cronds你会觉得很屎。9.Hbase是Hadoop生态系统中的NOSQL数据库。其数据以key和value的形式存储，并且key是唯一的，因此可以用于重复数据删除。与MYSQL相比，它可以存储的数据量要大得多。因此，常被用作大数据处理完成后的存储目的地。10、Kafka是一个比较好用的队列工具。队列是用来做什么的？你知道买票必须排队吗？如果数据太多，也需要排队处理，这样和你合作的其他同学就不会尖叫了，你为什么给我这么多数据（比如几百G的文件），我怎么办？处理它？不要怪他，因为他不是搞大数据的，你可以告诉他，我把数据放到队列里，你用的时候一一拿，这样他就别抱怨了，立马走来优化他的程序。因为如果他处理不了那就是他的问题了。不是你提出的问题。当然，我们也可以使用这个工具来存储在线实时数据或者存入HDFS。这时候就可以配合一个叫Flume的工具来使用，它专门用来提供对数据的简单处理，编写各种Data接收器（比如Kafka）。

11、采用Spark弥补基于MapReduce的数据处理速度上的不足。其特点是将数据加载到内存中进行计算，而不是读取速度极慢的硬盘。它特别适合迭代运算，所以算法主播特别喜欢它。它是用scala编写的。它可以用Java语言或Scala来操作，因为它们都使用JVM。

至于如何学习，可以关注我的知乎专栏：从零开始学习大数据进行基础学习和训练。（希望我的回答可以帮到你。）