2024年最全字节跳动开源云原生机器学习平台 Klever，社招面试常见问题及回答技巧

最后为了帮助大家深刻理解Android相关知识点的原理以及面试相关知识，这里放上相关的我搜集整理的24套腾讯、字节跳动、阿里、百度2019-2021面试真题解析，我把技术点整理成了视频和PDF（实际上比预期多花了不少精力），包知识脉络 + 诸多细节。还有高级架构技术进阶脑图、Android开发面试专题资料帮助大家学习提升进阶，也节省大家在网上搜索资料的时间来学习，也可以分享给身边好友一起学习。

2401_84563254

464人浏览 · 2024-05-08 08:00:05

2401_84563254 · 2024-05-08 08:00:05 发布

文末

不管怎么样，不论是什么样的大小面试，要想不被面试官虐的不要不要的，只有刷爆面试题题做好全面的准备，当然除了这个还需要在平时把自己的基础打扎实，这样不论面试官怎么样一个知识点里往死里凿，你也能应付如流啊

小编将自己6年以来的面试经验和学习笔记都整理成了一个**937页的PDF，**以及我学习进阶过程中看过的一些优质视频教程。

其实看到身边很多朋友抱怨自己的工资很低，包括笔者也是一样的，其原因是在面试过程中没有给面试官一个很好的答案。所以笔者会持续更新面试过程中遇到的问题，也希望大家和笔者一起进步，一起学习。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Klever 有三大特性。

首先，通过与 Harbor 结合，它可以满足 OCI 标准的模型仓库管理，用户可以像使用 Docker 管理镜像一样管理机器学习模型。

其次，整个系统可通过容器化的方式部署在 Kubernetes 容器管理平台之上，用户无需管理模型解析、模型转换、模型服务实际运行在哪台物理机之上，系统会自动调度和运行资源充足的机器，并在模型服务负载较高时自动弹性伸缩。

最后，由于机器学习在不同训练过程中往往使用不同的数据集，会产生不同的模型，Klever 支持多种模型服务运行时，可将产生的模型用于提供生产环境可用的在线服务。

在这里插入图片描述

模型管理

=====================================================================

ORMB 命令行管理

ORMB 是 Klever 下的一个命令行管理工具子项目，可以像 Docker 管理镜像一样管理模型。它支持 OCI 标准，可以对模型文件和模型属性进行分层存储管理。

在这里插入图片描述

支持的命令类型：

执行 ormb save 保存模型时，我们需要按照如下目录格式管理模型，其中 ormbfile.yaml 文件格式请参考 spec-v1alpha1.md

在这里插入图片描述

模型解析与转换

========================================================================

Klever 通过自动 ModelJob CR 进行模型解析和模型转换任务的管理，模型解析任务需要设置模型的格式及模型的 URI，模型转换任务则需要设置模型源模型格式、目标模型格式及模型 URI。

在这里插入图片描述

模型解析和转换的执行通过自定义脚本的方式实现，每种类型的模型解析和模型转换任务都有对应的脚本，脚本在 github.com/kleveross/klever-model-registry/tree/master/scripts 下集中管理。解析内容主要包括 inputs、outputs、operators。任务通过 status 的 message 和 phase 字段可以返回给用户任务当前执行的状态，并在异常时返回异常信息。

模型拉取

模型解析和转换任务执行之前，需要将模型文件拉取到 Container 中并重新组织为模型服务器需要的目录格式，此过程通过扩展 ORMB 实现了一个 ormb-stororage-initializer 容器，该容器作为任务的 initContainer 存在，它将模型 pull & export 到 /mnt/input 目录下，模型解析和转换任务的容器和 initContainer 共享 /mnt/input 挂载点使用下载的模型。

支持的模型格式

在这里插入图片描述

模型服务

=====================================================================

Klever 基于 Seldon-Core 实现模型服务，创建模型服务会首先创建一个Seldon Deployment，并在其Init Container中通过 ormb-storage-initializer 下载模型。

若模型为PMML格式，将使用 OpenScoring 镜像启动服务；若模型为其他 Triton Server 支持的模型格式，将使用 Triton Server 镜像启动服务.镜像中会自动通过ormbfile.yaml中的信息生成 Triton Server 所需要的 config.pbtxt 文件。

模型推理运行时

当前 Klever 已支持通过 Nvidia Triton Server 模型服务器部署深度学习模型服务，通过 OpenScoring 部署 PMML 格式的传统机器学习模型。我们还在完善对 Spark MLlib、MLFlow 及 XGBoost 模型服务器的支持，会在近期完成。

在这里插入图片描述

支持的模型格式

SavedModel
ONNX
GraphDef
NetDef
TensorRT with GPU
TorchScript
PMML

服务访问方式

部署为模型服务之后，用户如何通过 API 接口进行模型服务的访问呢？对于 Nvidia Triton Server 渲染的模型服务，访问地址为：

在这里插入图片描述

对于 OpenScoring 渲染的模型服务，访问地址为：

在这里插入图片描述

其中，servingName 为模型服务的名称，在创建模型服务的时候需要指定该名称。

部署

讲到这里，大家是否已经迫不及待地想安装和使用 Klever 了呢？Klever 提供一键部署安装的脚本，同时也支持详细的部署文档，你只需要有一个 Kubernetes 环境即可安装部署。

在这里插入图片描述

RoadMap

========================================================================

当前，在字节跳动内部，我们仍在基于各类实践完善云原生机器学习工程化平台的构建想法，丰富 Klever 的功能和内涵。在外部市场，火山引擎推出的商业化版机器学习平台 Clever 已在金融、制造、零售、能源等行业拥有成熟的解决方案，为各行业头部客户业务的持续增长提供赋能，也为 Klever 开源提供重要实战经验。

当前 Klever 仅支持模型文件及模型元数据的基本属性的存储和管理，以及支持在线模型服务的功能。但是 Klever 的使命远不止于此，未来它将完成从训练到模型、再到模型服务的全链路管理。