大数据架构师工作职责
明确职责能够最大化的进行劳动用工管理，科学的进行人力配置，做到人尽其才、人岗匹配。优秀的大数据架构师工作职责要怎么写？下面给大家整理大数据架构师工作职责，希望对大家能有帮助。
大数据架构师工作职责篇1
职责：
1.负责大数据基础和应用平台的整体规划和架构设计，参与需求分析，架构设计，详细设计以及技术选型决策
2.参与数据挖掘和建模相关核心算法的代码实现
3.负责大数据算法平台的技术把关，性能调优，控制架构质量，解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发
4.带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力，支持解决方案实施
5.负责数据库设计、应用架构设计、核心技术选型等工作
6.协调解决开发中的技术问题、设计和监控运营指标，保障系统稳定运行
7.培养，指导有能力的员工，指导工程师进行技术验证实现，核心技术攻关，解决开发过程中的技术难题
任职要求：
1.熟悉大数据和数据仓库的系统架构设计方法
2.熟练使用并理解HadoopSpark架构及生态。(Hadoop，Hive，Hbase，Elasticsearch，Kafka，SparkFlink等)
3.熟悉分布式系统架构，有分布式实时、离线和机器学习平台的架构和开发经验，具备海量数据清洗、分析处理及存储的实践经验
4.熟练使用JAVA，具有大规模分布式系统调优经验
5.熟悉AI相关算法，熟悉机器学习、深度学习。熟悉AI学习开源框架(Tensorflow、PyTorch等)者优先;
6.具备良好的团队合作精神，对工作充满激情。
7.熟悉FusionInsight平台开发经验者优先
大数据架构师工作职责篇2
职责：
1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求：
1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作经验，5年以上大数据开发经验;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构
3、熟悉数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计经验;
4、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(Tensorflow)和机器学习(svm随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作，包括团队沟通、计划、开发环境管理等
大数据架构师工作职责篇3
职责：
1、负责规划科技大数据平台及科技数据入库自动化的方案设计;
2、负责大数据平台的开发和维护，以及对外服务接口的开发;
3、负责大数据平台的优化和改进工作。
任职要求
1、计算机相关专业本科及以上学历，5年以上开发经验，其中3年以上为互联网、大数据相关的开发经验;
2、熟知Hadoop生态圈体系，精通Hadoop/Spark/Storm/Kafka中的一项或几项，深刻理解MapReduce的运行原理和机制，有MPI经验者尚佳;
3、熟悉Elasticsearch、Redis、Hbased等相关数据库的构建和操作，尤其是数据库集群的构建和操作，熟悉Neo4j者尚佳;
4、具有机器学习相关项目经验者优先。
大数据架构师工作职责篇4
职责：
1、正确理解业务需求，对需求进行工作量评估;
2、参与项目相关的需求、设计、投产手册等文档的编写;
3、根据进度计划，完成所承担功能模块的设计、开发、单元测试、联调测试;
4、配合测试组修复代码缺陷，确保功能实现与代码质量;
5、负责所承担功能模块投产、部署，及上线后的日常维护;
6、完成项目经理或者架构师安排的其他工作;
任职资格：
1、本科以上学历，计算机相关专业，两年以上大数据开发经验;
2、熟悉Linux环境，掌握shell或python;
3、熟练使用hadoop，hive，HBase，YARN，kafka，spark等大数据开发组件;
4、精通ETL，数据仓库的设计和开发;
5、有大数据处理实战经验，熟悉整个大数据的完整处理流程，包括数据的采集、清洗、存储;
6、较强的动手能力和学习能力，良好的沟通能力、团队协调能力;
7、具有银行、金融行业从业背景者优先。
大数据架构师工作职责篇5
职责:
1、负责大数据仓库、数据集市的规划及实现，负责大数据中台的设计和核心开发工作;
2、负责数据基础架构和数据处理体系的升级和优化，不断提升系统的稳定性和效率，为公司的业务提供大数据底层平台的支持和保证;
3、大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;
4、研究未来数据模型和计算框架的创新与落地，包括但不限于以下领域：大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线
任职资格:
1、精通数据建模、数据标准管理、元数据管理、数据质量管理;
2、有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;
3、熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于：hadoop、flink、spark等;
4、性格积极乐观，诚信，能自我驱动，有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力;在数据业界有一定的影响力优先，具有风控经验背景的人优先;
5、具备独立的深度思考能力，给出结合实际情况的较为理想的技术解决方案。
大数据架构师工作职责篇6
1.负责数澜大数据平台的架构设计和研发，建立数据生态服务，解决海量数据面临的挑战;
2.管理和优化Hadoop、Spark等集群，计算作业的调优，保证集群和平台的高效和稳定;
3.负责Hadoop、Spark、Flink的功能、性能和扩展，解决并实现业务需求;
4.负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据安全、机器学习等平台的设计和开发;
5.调研和把握当前的最新技术，将其中的先进技术引入到自己的平台中，改善产品，提升竞争力;
大数据架构师工作职责篇7
职责：
1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;
2、负责大数据平台的架构评审，代码评审，上线评审;参与数据应用需求、设计、审核和评审;
3、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;
4、负责建立和维护大数据平台技术标准规范，指导开发人员编写代码;
任职要求：
1、本科及以上计算机相关专业毕业;
2、精通离线和实时数据处理流程，掌握离线数据处理框架hive、impala、spark-sql等，掌握实时数据处理常用技术工具，包括Storm、SparkStreaming等;
3、熟悉大数据技术生态圈，精通大数据技术架构，有大数据平台构建经验;
4、掌握常见数据流接入工具，包括Flume、kafka等;
5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等);
6、掌握一种或以上实时处理语言，如JAVA、SCALA、PYTHON等，有SCALA经验者优先;
7、有实际大规模数据(TB级以上)处理经验优先;
大数据架构师工作职责篇8
职责：
1)负责大数据平台系统架构设计、核心开发工作(Hadoop&Spark技术方向)，基于业务场景设计最优的系统解决方案。
2)构架支持大数量级的数据的大数据平台系统，及相关监控，拓展系统设计及实现。
3)利用Hadoop、Spark等大数据技术对海量数据进行处理，支持BI和数据科学(建模)的应用实现。
4)对现有系统的进行架构深入分析及系统优化，进一步提升系统的性能及数据处理能力。
任职资格
1)统招本科或以上学历，计算机相关专业，5年以上软件开发经验、3年以上大数据项目经验。
2)具备较丰富的大数据平台相关构建，维护及调优经验，有大数据量级下的大数据集市相关经验。
3)具备较丰富的基于Hadoop或Hive或Spark等大数据处理项目经验，具备一定的数据挖掘经验。
4)具有阿里云的EMR(emapreduce)的经验者优先考虑。
5)具有良好的业务理解、沟通和协作能力，具有较强的学习和总结能力。
6)优秀的团队合作精神、诚实、勤奋、严谨，敢于接受挑战。
7)机器学习技术、数据挖掘经验丰富者优先考虑。