面议

• / 其他
• 不限 / 不限

职位描述

1. ETL 流程设计与开发 负责大数据 ETL 流程的设计、开发和优化，确保数据的准确性、完整性和及时性。理解业务需求，参与数据仓库架构设计，制定合理的 ETL 解决方案，满足不同业务场景的数据处理要求。 2.Spark 应用开发 使用 Spark 进行大规模数据处理和分析，开发 Spark 应用程序，实现数据的清洗、转换和加载等操作。优化 Spark 作业性能，对 Spark 任务进行调优，提高数据处理效率，降低资源消耗。 3.Python 编程与脚本开发 利用 Python 编写数据处理脚本和工具，用于数据采集、预处理、监控等任务。 与其他团队协作，将 Python 代码与 Spark 应用集成，实现更复杂的数据处理流程。 4.PySpark 集成与开发 在 PySpark 环境下进行开发，充分发挥 Python 和 Spark 的优势，实现高效的数据处理和分析。解决 PySpark 开发过程中遇到的技术问题，如数据类型转换、性能优化、内存管理等。 5.数据质量保障 制定和实施数据质量监控策略，对 ETL 过程中的数据进行质量检查和验证，及时发现和解决数据质量问题。建立数据质量报告机制，定期向相关团队汇报数据质量情况，为数据决策提供支持。 6.团队协作与技术支持 与数据分析师、数据科学家、数据仓库工程师等团队成员密切合作，共同完成项目任务，提供技术支持和解决方案。参与团队技术交流和分享，不断提升团队整体技术水平和开发效率。

1. ETL 流程设计与开发 负责大数据 ETL 流程的设计、开发和优化，确保数据的准确性、完整性和及时性。理解业务需求，参与数据仓库架构设计，制定合理的 ETL 解决方案，满足不同业务场景的数据处理要求。 2.Spark 应用开发 使用 Spark 进行大规模数据处理和分析，开发 Spark 应用程序，实现数据的清洗、转换和加载等操作。优化 Spark 作业性能，对 Spark 任务进行调优，提高数据处理效率，降低资源消耗。 3.Python 编程与脚本开发 利用 Python 编写数据处理脚本和工具，用于数据采集、预处理、监控等任务。 与其他团队协作，将 Python 代码与 Spark 应用集成，实现更复杂的数据处理流程。 4.PySpark 集成与开发 在 PySpark 环境下进行开发，充分发挥 Python 和 Spark 的优势，实现高效的数据处理和分析。解决 PySpark 开发过程中遇到的技术问题，如数据类型转换、性能优化、内存管理等。 5.数据质量保障 制定和实施数据质量监控策略，对 ETL 过程中的数据进行质量检查和验证，及时发现和解决数据质量问题。建立数据质量报告机制，定期向相关团队汇报数据质量情况，为数据决策提供支持。 6.团队协作与技术支持 与数据分析师、数据科学家、数据仓库工程师等团队成员密切合作，共同完成项目任务，提供技术支持和解决方案。参与团队技术交流和分享，不断提升团队整体技术水平和开发效率。

工作地点

项目简介

Trusta Labs focuses on Web3 security infrastructure, aiming to bring more valuable users to the Web3 world. It matches on-chain assets with the right users, using AI-powered Sybil prevention, knowledge graph-enhanced profiling, and user targeting. The first product, TrustScan, is launched to prevent Sybil attacks and to help you know your users better. Everyone can check the Sybil score of EVM wallet addresses for free. Please email your resume to romola.wang@trustalabs.com

• 发布于 2024-10-15 13:03
• 阅读 ( 298 )

免责声明

在登链社区网站、登链社区公众号及关联平台发布的招聘信息均系招聘方自行发布，登链社区只负责展示或格式编辑，对其招聘内容的合法性和真实性不承担任何法律责任，请求职者提高警惕，注意甄别！