大数据工程师要掌握哪些技术?
发布网友
发布时间：2022-04-23 23:10
共1个回答
热心网友
时间：2022-05-22 22:37
1、 掌握至少一种数据库开发技术：Oracle、Teradata、DB2、Mysql等，灵活运用SQL实现海量数据ETL加工处理。
2、 熟悉Linux系统常规shell处理命令，灵活运用shell做的文本处理和系统操作。
3、 有从事分布式数据存储与计算平台应用开发经验，熟悉Hadoop生态相关技术并有相关实践经验着优先，重点考察Hdfs、Maprece、Hive、Hbase。
4、 熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察Java、Python、Perl。
5、 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理。
6、 掌握实时流计算技术，有storm开发经验者优先。
