數據工程師

工作內容: 1. 設計和構建系統：使用 Hadoop、Spark 和 Kafka 等工具創建可擴展的數據處理系統。 2. 開發 ETL 管道：構建並維護 ETL 管道，執行數據清洗、加工、分群於數據倉庫和湖倉中。 3. 實施湖倉解決方案：利用湖倉架構並管理相關資料對象存儲方式 4. 數據建模：應用數據建模技術來優化數據的存儲和檢索。 5. BI 工具使用：使用 Redash、Superset 或 PowerBI 等進行數據可視化和報告。 6. 與團隊協作：與數據科學家、分析師和其他利益相關者緊密合作，了解需求並交付數據解決方案。 7. 故障排除：監控資料基礎設施的性能，並進行必要的調整和優化，並解決數據管道中的問題，以確保運行順利。 8. 良好的溝通與表達能力 擅長工具 Python、R、MS SQL、MySQL、Excel、PowerPoint、Word、Git 工作技能 Machine Learning、資料庫軟體應用、文書處理軟體操作、簡報軟體操作 基本: 1年以上數據分析經驗，擅長資料探索、清理、檢誤等處理流程 加分: 1. 開發爬蟲程式、語意分析，文字探勘、地理資訊系統 2. 開發自然語言/文字探勘模型、研發數據標籤與應用 3. 具備獨立解決問題尋找答案除錯能力，並願意積極學習新的資料科學與分析相關技術。