目录
- 一面/技术面 2024/09/05
- 二面/技术面 2024/09/12
- 三面/技术面 2024/09/19
一面/技术面 2024/09/05
- 拷打实习(拷打了很长时间)
- 你做的这些实验里,模型规模是怎样的?有没有训练过更大的模型?
- 给定一个pytorch的checkpoint,怎么将它转换成tensorflow格式的?
- 多机多卡分布式训练是否了解?具体流程是怎样的?
- 了解过哪些并行训练技术?
- ZeRO-1、ZeRO-2和ZeRO-3的区别?
- 给定LLaMA的参数量,怎么估计它的具体配置?
- 讲一下LLaMA的具体结构
- 为什么要用RMSNorm?它是怎么算的?
- 预训练阶段有哪些加速的方法?
- 展开讲讲Flash Attention,v2相比v1有哪些改进?
- kv-cache的原理?
- 介绍下PEFT的主流方法和它们之间的一些区别
- 手撕代码:买卖股票的最佳时机 III
- 概率题:圆的半径为R,在圆内随便扔一点,它到圆心距离的期望是多少?
二面/技术面 2024/09/12
- 拷打论文(让我共享屏幕对着自己的论文讲,大概30min)
- 在构建词表的时候需要把整个语料先过一遍吗?有没有特殊的处理?
- 假设词表大小为十万,我们在预测下一个词的时候,需要把这个十万的词全都算一遍吗?
- hierarchical softmax会带来哪些问题?
- 负采样和二分类任务的区别?
- 讲一下NCE loss和BCE loss的相同点和不同点
- 训练过程中有哪些你了解的可以分享的点?
- 在预训练阶段针对性能方面有没有什么优化?
- KV-Cache的具体实现是怎样的?
- 概率题:和一面一样
- 你觉得你做的这些东西在美团的业务场景中会有什么应用?
- 你可以总结一下你做的项目,如果你来我们这边,你觉得会怎样和推荐广告做一个结合?
- Milvus、Faiss这些有了解过吗?
- Faiss中常用的距离度量有哪些?
- 如果我们用内积作为距离,因为它不满足三角不等式,会不会出现什么问题?
- 在推荐系统里,怎么样能把距离考虑进来?
- 场景题:已知用户的经纬度和广告的经纬度,怎样将其转换成向量,使得两个向量的内积等于距离?(描述的不太准确,当时这题答得不太好)
- 手撕代码:二分查找
三面/技术面 2024/09/19
这一面偏聊天,没有问太多的技术问题。
- 能不能简单介绍一下你个人的情况?
- 拷打实习+论文(持续30min)
- 你在论文中担任的角色是什么?和其他人的分工是怎样的?
- 解释一下大模型训练框架中的数据并行、模型并行和张量并行
- 你对广告算法领域都有哪些了解?
- 你最近在大模型领域关注的亮点工作有哪些?
- 纯聊天