大数据领域主要岗位的技术能力要求明细

核心技术栈：
- 分布式计算框架：Hadoop（HDFS、MapReduce、YARN）、Spark（Spark Core、Spark SQL、Spark Streaming）、Flink、Storm
- 大数据存储：HBase、Cassandra、Kafka、Hive、Kudu
- 数据管道工具：Airflow、NiFi、Kafka Connect、AWS Glue
- 编程语言：Java、Scala、Python（Pandas、PySpark）
- 数据库：SQL（MySQL、PostgreSQL）、NoSQL（MongoDB、Redis）
- 云平台：AWS（EMR、S3、Redshift）、Azure（HDInsight、Data Lake）、GCP（BigQuery、Dataproc）
- 容器化与编排：Docker、Kubernetes
- 版本控制：Git、GitHub/GitLab
辅助技能：
- 数据建模：Kimball维度建模、Inmon企业仓库模型
- 监控工具：Prometheus、Grafana、ELK Stack（Elasticsearch、Logstash、Kibana）

核心技术栈：
- 统计分析：假设检验、回归分析、时间序列分析（ARIMA、Prophet）
- 机器学习算法：监督学习（线性回归、决策树、SVM）、无监督学习（K-Means、PCA）、深度学习（CNN、RNN、Transformer）
- 工具与框架：Python（NumPy、Pandas、Scikit-learn）、R（ggplot2、dplyr）、TensorFlow、PyTorch、XGBoost/LightGBM
- 大数据处理：Spark MLlib、H2O.ai、Databricks
- 数据可视化：Matplotlib、Seaborn、Plotly、Tableau
- 实验设计：A/B测试、因果推断（Causal Inference）
辅助技能：
- 自然语言处理（NLP）：BERT、GPT、Spacy、NLTK
- 数据库查询：SQL高级优化、窗口函数

核心技术栈：
- 数据分析工具：Excel（VLOOKUP、数据透视表）、SQL（复杂查询、CTE）、Python/R基础
- 可视化工具：Tableau、Power BI、Looker、Google Data Studio
- 统计知识：描述性统计、概率分布、相关性分析
- 数据仓库：Snowflake、Redshift、BigQuery
- 数据清洗：OpenRefine、Trifacta
辅助技能：
- 业务分析：指标体系构建（AARRR、OSM）、用户行为分析（漏斗模型、留存分析）
- 协作工具：Jira、Confluence

核心技术栈：
- 分布式系统设计：CAP定理、数据分片（Sharding）、一致性协议（Paxos、Raft）
- 云原生架构：Lambda架构、Kappa架构、数据湖（Delta Lake、Iceberg）
- 数据安全：加密（TLS/SSL）、访问控制（RBAC）、审计日志
- 性能优化：查询调优（Spark Catalyst Optimizer）、存储压缩（Parquet/ORC）
- 工具：Apache Atlas（元数据管理）、Apache Ranger（权限管理）
辅助技能：
- 合规性：GDPR、CCPA、HIPAA
- 灾备方案：多区域复制、备份恢复（AWS S3 Glacier）

核心技术栈：
- 模型开发：特征工程（特征交叉、Embedding）、超参调优（Optuna、Hyperopt）
- 部署工具：MLflow、Kubeflow、TFX（TensorFlow Extended）
- 实时推理：TensorFlow Serving、ONNX Runtime、AWS SageMaker
- 大数据集成：Spark Structured Streaming、Flink ML
- 编程语言：Python（FastAPI、Flask）、Scala
辅助技能：
- 模型监控：Drift检测（Evidently AI）、性能指标（AUC-ROC、F1 Score）
- 自动化流水线：Jenkins、GitHub Actions

核心技术栈：
- ETL工具：Informatica、Talend、Pentaho、AWS Glue
- 数据转换：SQL（窗口函数、UDF）、Python（Pandas、PySpark）
- 调度系统：Airflow、Oozie、Azure Data Factory
- 数据质量：Great Expectations、Deequ
辅助技能：
- 增量处理：CDC（Change Data Capture）、日志解析（Debezium）

核心技术栈：
- 元数据管理：Apache Atlas、Alation、Collibra
- 数据血缘：DataHub、Amundsen
- 质量管理：数据清洗规则（正则表达式）、异常检测（Anomaly Detection）
- 合规工具：Immuta、Privacera
辅助技能：
- 主数据管理（MDM）：Informatica MDM、SAP MDM
- 数据目录：AWS Glue Data Catalog、Azure Purview

核心技术栈：
- 前端技术：D3.js、React/Vue（集成可视化组件）
- 工具：Tableau（LOD表达式）、Power BI（DAX语言）、Superset
- 地理数据：Mapbox、ArcGIS
- 交互设计：Dashboard优化、响应式布局

核心技术栈：
- 集群管理：Cloudera Manager、Ambari、Kubernetes Operators
- 监控告警：Prometheus、Nagios、Zabbix
- 故障排查：日志分析（ELK）、JVM调优（GC策略）
- 自动化运维：Ansible、Terraform、Chef