1. 数据工程师笔试的核心考察维度数据工程师岗位的笔试设计需要全面评估候选人的技术栈掌握程度和实际问题解决能力。根据我参与过的数十场技术面试和笔试评审经验一套合格的笔试题应该包含以下核心模块1.1 数据建模与ETL能力这是数据工程师的看家本领笔试中通常会设置2-3道SQL编程题和1道数据管道设计题。典型的考察点包括复杂JOIN操作特别是多表关联和自连接场景窗口函数的高级应用如LAG/LEAD、RANK等时序处理数据清洗转换逻辑处理脏数据、格式标准化增量更新策略设计如何高效处理增量数据提示在实际出题时建议使用真实的业务场景数据模型比如电商订单流水、用户行为日志这类具有典型特征的数据集。1.2 分布式计算框架实战现在主流企业都会考察对Spark/Flink等框架的理解深度需要准备1-2道Spark SQL或PySpark的编程题重点考察数据倾斜处理、shuffle优化等性能调优技巧建议设置一个数据量较大的场景如TB级日志分析观察候选人对分布式计算特性的把握我在实际面试中发现很多候选人能写基础Spark代码但面对数据倾斜问题时往往束手无策。因此建议在笔试中加入类似这样的题目 给定包含1亿条用户点击记录的Parquet文件某些热门商品的点击量占比超过50%请编写Spark作业统计各商品点击量并解决可能出现的性能问题1.3 数据仓库与数据治理随着数据中台概念的普及这方面能力越来越被重视星型模型与雪花模型的设计比较缓慢变化维(SCD)的处理方案数据质量监控指标设计元数据管理方案建议设置一个案例题例如 某电商平台需要建立用户画像数据仓库包含用户基本信息、购买行为、浏览记录等数据请设计维度模型并说明ETL过程中的数据质量控制措施2. 典型笔试题型与解题思路2.1 SQL实战题型例题现有三张表users(user_id, register_date, city)orders(order_id, user_id, order_date, amount)products(product_id, category, price)问题找出2023年每个季度消费金额TOP3的用户要求输出城市、季度、消费金额排名。WITH quarterly_spend AS ( SELECT u.user_id, u.city, QUARTER(o.order_date) AS quarter, SUM(o.amount) AS total_amount, RANK() OVER (PARTITION BY QUARTER(o.order_date) ORDER BY SUM(o.amount) DESC) AS rank_num FROM users u JOIN orders o ON u.user_id o.user_id WHERE YEAR(o.order_date) 2023 GROUP BY u.user_id, u.city, QUARTER(o.order_date) ) SELECT city, quarter, total_amount FROM quarterly_spend WHERE rank_num 3 ORDER BY quarter, rank_num;注意这道题考察了时间函数、窗口函数、多表关联等多个核心技能点能有效区分候选人的SQL熟练度。2.2 数据管道设计题题目要求设计一个实时数据管道处理来自Kafka的用户搜索日志要求过滤掉无效请求状态码非200统计每分钟各搜索关键词的频次将结果写入Elasticsearch供实时查询保证Exactly-Once处理语义参考答案要点from pyflink.datastream import StreamExecutionEnvironment from pyflink.table import StreamTableEnvironment env StreamExecutionEnvironment.get_execution_environment() t_env StreamTableEnvironment.create(env) # 创建Kafka源表 t_env.execute_sql( CREATE TABLE search_logs ( timestamp BIGINT, keyword STRING, status_code INT, user_id STRING, WATERMARK FOR timestamp AS timestamp - INTERVAL 5 SECOND ) WITH ( connector kafka, topic user_searches, properties.bootstrap.servers kafka:9092, format json ) ) # 创建Elasticsearch结果表 t_env.execute_sql( CREATE TABLE search_stats ( window_start TIMESTAMP(3), keyword STRING, search_count BIGINT, PRIMARY KEY (window_start, keyword) NOT ENFORCED ) WITH ( connector elasticsearch-7, hosts http://elasticsearch:9200, index search_stats ) ) # 执行查询并写入结果 t_env.execute_sql( INSERT INTO search_stats SELECT TUMBLE_START(timestamp, INTERVAL 1 MINUTE) AS window_start, keyword, COUNT(*) AS search_count FROM search_logs WHERE status_code 200 GROUP BY TUMBLE(timestamp, INTERVAL 1 MINUTE), keyword )2.3 数据建模案例分析题目某短视频平台需要设计数据仓库来支持以下分析需求每日视频播放量统计按视频、用户、地区等维度用户观看时长分析热门视频推荐参考答案要点事实表设计fact_play_events (play_id, user_id, video_id, timestamp, duration, province, is_like, is_share)维度表设计dim_users (user_id, register_date, gender, age)dim_videos (video_id, uploader_id, upload_time, category, tags)dim_time (date_key, day_of_week, is_holiday)dim_location (province, city, district)模型特点采用星型模型简化查询为timestamp字段建立分区提升查询性能在fact_play_events中存储省份而非具体地址平衡查询效率与隐私保护为tags字段使用数组类型存储便于分析视频标签组合3. 高级进阶考察点3.1 数据质量监控方案优秀的数据工程师需要具备数据质量管理意识。可以设置这样的题目假设你负责电商订单数据仓库请设计一套数据质量监控方案要求能够及时发现订单金额异常监控核心指标的每日波动确保用户ID不重复不丢失参考答案框架完整性检查每日订单总数波动阈值±15%关键字段空值率监控如order_id必须100%非空准确性检查订单金额合理性检查单笔订单金额10万元退款金额不大于原订单金额一致性检查订单总金额与支付系统对账用户维表与订单事实表的用户ID一致性及时性检查每日00:30前完成前一天数据加载关键报表生成延迟监控实现方案建议# 使用Great Expectations实现数据质量检查 from great_expectations import Dataset def validate_orders(df): ge_df Dataset(df) # 完整性检查 ge_df.expect_column_values_to_not_be_null(order_id) ge_df.expect_table_row_count_to_be_between(min_value10000, max_value15000) # 准确性检查 ge_df.expect_column_values_to_be_between(amount, 0, 100000) ge_df.expect_column_values_to_match_regex(user_id, ^U\d{8}$) # 自定义检查退款金额不大于原订单金额 def check_refund(row): return row[refund_amount] row[amount] if row[refund_amount] else True ge_df.expect_row_values_to_match_custom_condition(check_refund) return ge_df.validate()3.2 数据安全与权限控制随着《数据安全法》实施这方面能力变得至关重要。可以考察设计一个数据权限控制系统满足不同部门只能访问其业务范围内的数据敏感字段需要脱敏处理所有数据访问需要留痕审计解决方案要点行列级权限控制使用Ranger或Sentinel实现基于角色的访问控制例如财务部只能看到订单金额运营部看不到用户手机号数据脱敏方案静态脱敏ETL过程中对敏感字段加密动态脱敏查询时根据权限决定显示内容CREATE VIEW v_user_info AS SELECT user_id, CASE WHEN has_perm(view_pii) THEN user_name ELSE CONCAT(LEFT(user_name,1),***) END AS user_name FROM dim_users;审计日志实现记录所有数据访问的元信息谁、何时、访问什么使用KafkaElasticsearch实现审计日志存储与分析# 使用Python装饰器实现审计日志 def audit_log(func): def wrapper(*args, **kwargs): start time.time() result func(*args, **kwargs) duration time.time() - start log { timestamp: datetime.now(), user: current_user(), function: func.__name__, parameters: kwargs, duration: duration } kafka_producer.send(audit_logs, valuelog) return result return wrapper4. 笔试评分标准建议根据我参与制定评分标准的经验建议从以下几个维度评估评分维度权重评估标准代码正确性30%解决方案能否正确运行并得到预期结果算法效率20%对大数据量的处理效率是否考虑分布式计算特性代码规范性15%命名规范、注释清晰、函数拆分合理异常处理15%是否考虑边界条件和异常情况架构设计20%系统设计是否合理是否考虑扩展性、可维护性对于高级岗位还应该增加以下评估项技术方案的前瞻性如是否考虑流批一体架构数据治理意识的体现如数据质量监控设计性能优化措施的全面性如索引设计、缓存策略实际经验在评审时特别要注意候选人是否具备生产环境思维。很多笔试代码在理论上正确但缺乏异常处理和资源管理这类方案在实际运行中往往会出现问题。