使用 Docker Buildx 构建多种系统架构镜像

微信公众号：运维开发故事，作者：double冬

1. 工具说明

安装 Docker >= 19.03: 自该 Docker 版本包含 buildx。
安装 buildx: https://github.com/docker/buildx#in
Linux kernel >= 4.8: 自该Linux内核版本 binfmt_misc 支持 fix-binary (F) flag。fix_binary 标志允许内核在容器或chroot内使用binfmt_misc注册的二进制格式处理程序，即使该处理程序二进制文件不是该容器或chroot内可见的文件系统的一部分。

Docker Buildx 是一个 docker CLI 插件，其扩展了 docker 命令，支持 Moby BuildKit 提供的功能。提供了与 docker build 相同的用户体验，并增加了许多新功能。

BuildKit 是下一代的镜像构建组件，主要特点有很多，本文主要使用其可以编译多种系统架构的特性。

网址：https://github.com/moby/buildkit

需要注意的是，该功能仅适用于 Docker v19.03+ 版本。

本文将讲解如何使用 Buildx 构建多种系统架构的镜像。

在开始之前，已经默认你在 Linux 系统（各大发行版）下安装好了 64 位的 Docker。

在写本文时，使用的Docker版本号是 19.03.11。

root@i-3uavns2y:~# docker version
Client: Docker Engine - Community
Version:           19.03.11API version:       1.40
Go version:        go1.13.10
Git commit:        42e35e61f3
Built:             Mon Jun  1 09:13:48 2020OS/Arch:           linux/amd64
Experimental:      true
Server: Docker Engine - Community
Engine:Version:          19.03.11API version:      1.40 (minimum version 1.12)Go version:       go1.13.10Git commit:       42e35e61f3Built:            Mon Jun  1 09:12:26 2020OS/Arch:          linux/amd64Experimental:     falsecontainerd:Version:          1.2.13GitCommit:        7ad184331fa3e55e52b890ea95e65ba581ae3429runc:Version:          1.0.0-rc10GitCommit:        dc9208a3303feef5b3839f4323d9beb36df0a9dddocker-init:Version:          0.18.0GitCommit:        fec3683root@i-3uavns2y:~# uname -a
Linux i-3uavns2y 4.15.0-55-generic #60-Ubuntu SMP Tue Jul 2 18:22:20 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

2. 运行原理

Buildx 本质上调用了 buildkit 的 api，构建是在 buildkit 的环境中进行的。是否支持多架构，取决于 buildkit 的环境，如果需要 buildkit 支持多架构，需要在宿主机执行（当然这个不是必须的，按构建的需求进行控制）

BuildKit 旨在为多个平台进行构建，而不仅适用于调用构建的用户碰巧运行的体系结构和操作系统。

调用构建时，您可以设置–platform标志以指定构建输出的目标平台（例如linux/amd64，linux/arm64、或 darwin/amd64）。

当当前构建器实例由docker-container或 kubernetes驱动程序支持时，您可以一起指定多个平台。在这种情况下，它会构建一个清单列表，其中包含所有指定架构的类型。当你在docker run or 中使用这个镜像时docker service，Docker 会根据节点的平台选择正确的镜像。

您可以使用 Buildx 和 Dockerfiles 支持的三种不同策略构建多平台镜像：

1 在内核中使用 QEMU 仿真支持
2 使用相同的构建器实例在多个本机节点上构建
3 使用 Dockerfile 中的一个阶段交叉编译到不同的架构

如果您的节点已经支持 QEMU，那么 QEMU 是最简单的入门方式（例如，如果您使用的是 Docker Desktop）。它不需要对 Dockerfile 进行任何更改，并且 BuildKit 会自动检测可用的二级架构。当 BuildKit 需要为不同的架构运行二进制文件时，它会通过在binfmt_misc 处理程序中注册的二进制文件自动加载它。

要使binfmt_misc在主机操作系统上注册的 QEMU 二进制文件在容器内透明地工作，它们必须使用该fix_binary 标志进行注册。这需要内核 >= 4.8 和 binfmt-support >= 2.1.7。您可以通过检查在/proc/sys/fs/binfmt_misc/qemu-*是否有内容来检查是否正确注册。虽然 Docker Desktop 预先配置了binfmt_misc对其他平台的支持，但对于其他安装，它可能需要使用tonistiigi/binfmt 镜像进行安装。

root@i-tpmja312:~# docker run --privileged --rm tonistiigi/binfmt --install all
root@i-tpmja312:~# ls /proc/sys/fs/binfmt_misc/qemu-*
/proc/sys/fs/binfmt_misc/qemu-aarch64   /proc/sys/fs/binfmt_misc/qemu-ppc64le
/proc/sys/fs/binfmt_misc/qemu-arm       /proc/sys/fs/binfmt_misc/qemu-riscv64
/proc/sys/fs/binfmt_misc/qemu-mips64    /proc/sys/fs/binfmt_misc/qemu-s390x
/proc/sys/fs/binfmt_misc/qemu-mips64el

使用多个原生节点可以更好地支持 QEMU 无法处理的更复杂的情况，并且通常具有更好的性能。您可以使用该–append标志向构建器实例添加其他节点。

2. 启用 Buildx

Docker在19.03引入了一个新的特性，使得Docker可以构建不同CPU体系结构的镜像，比如ARM镜像，这是不必引入模拟器的情况下，Docker自身所提供的原生统一构建机制，但是使用时需要进行设定才能进行使用，这篇文章以此实验特性的开启为例，如何暂时开启或者永久开启的方式进行说明。(从 v20.10 版本开始，Docker CLI 所有实验特性的命令均默认开启，无需再进行配置或设置系统环境变量。)

buildx 命令属于实验特性，因此首先需要开启该特性。

问题现象

直接使用时可能会出现如下问题，因为没开启实验特性

root@i-3uavns2y:~# docker buildx version
docker: 'buildx' is not a docker command.
See 'docker --help'

永久开启 dockerd 的实验特性

编辑 ~/.docker/config.json 文件，新增如下内容（以下的演示适用于事先不存在 .docker 目录的情况下）,使用 docker version 命令查看版本信息，配置生效后可以看到 Server: Docker Engine 中有 Experimental: true ：

root@i-3uavns2y:~# mkdir ~/.docker
root@i-3uavns2y:~# cat > ~/.docker/config.json <<EOF
{
"experimental": "enabled"
}
EOF
root@i-3uavns2y:~# docker buildx version
github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7

临时开启

Linux/macOS 下或者通过设置环境变量的方式（不推荐）：

$ export DOCKER_CLI_EXPERIMENTAL=enabled
$ docker buildx version
github.com/docker/buildx v0.3.1-tp-docker 6db68d029599c6710a32aa7adcba8e5a344795a7

3. 新建 builder 实例

在 Docker 19.03+ 版本中可以使用 docker buildx build 命令使用 BuildKit 构建镜像。该命令支持 --platform 参数可以同时构建支持多种系统架构的 Docker 镜像，大大简化了构建步骤。

Docker 在 Linux 系统架构下是不支持 arm 架构镜像，因此我们可以运行一个新的容器让其支持该特性，Docker 桌面版则无需进行此项设置（mac系统）。

在内核中使用 QEMU 仿真支持来进行多架构镜像构建

# 安装模拟器（用于多平台镜像构建）
$ docker run --rm --privileged tonistiigi/binfmt:latest --install all

注：docker/binfmt 可以参考网址：https://hub.docker.com/r/docker/binfmt/tags 获取最新镜像

由于 Docker 默认的 builder 实例不支持同时指定多个 --platform，我们必须首先创建一个新的 builder 实例。同时由于国内拉取镜像较缓慢，我们可以使用配置了镜像加速地址 [dockerpracticesig/buildkit:master](https://github.com/docker-practice/buildx) 镜像替换官方镜像

如果你有私有的镜像加速器，可以基于 https://github.com/docker-practice/buildx 构建自己的 buildkit 镜像并使用它。

# 适用于国内环境
root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master# 适用于腾讯云环境(腾讯云主机、coding.net 持续集成)
root@i-3uavns2y:~# docker buildx create --use --name=mybuilder-cn --driver docker-container --driver-opt image=dockerpracticesig/buildkit:master-tencent
# 使用默认镜像
root@i-3uavns2y:~# docker buildx create --name mybuilder --driver docker-container# 使用新创建好的 builder 实例
root@i-3uavns2y:~# docker buildx use mybuilder

查看已有的 builder 实例

root@i-tpmja312:~# docker buildx ls
NAME/NODE    DRIVER/ENDPOINT             STATUS   PLATFORMS
mybuilder *  docker-containermybuilder0 unix:///var/run/docker.sock inactive
default      dockerdefault    default                     running  linux/amd64, linux/386

4. 新建 Dockerfile 文件

要想构建多种系统架构的镜像，还需要一个支持的 Dockerfile 文件，这里面多架构镜像最主要的就是基础镜像和安装的软件都需要支持多架构

以下是一个示例的 Dockerfile 文件，该 Dockerfile 文件内容如下：

mkdir ~/demo
cd ~/demo
cat > Dockerfile <<EOF
FROM --platform=$TARGETPLATFORM alpine
RUN uname -a > /os.txt
CMD cat /os.txt
EOF

$TARGETPLATFORM 是内置变量，由 --platform 参数来指定其值。

由于是基于 alpine 的镜像来制作的，而 alpine 是支持以下 7 种系统架构的，因此我们制作的镜像也就跟着支持这 7 种系统架构。

linux/amd64, linux/arm/v6, linux/arm/v7, linux/arm64/v8, linux/386, linux/ppc64le, linux/s390x

更友好一点的架构名称如下：

amd64, arm32v6, arm32v7, arm64v8, i386, ppc64le, s390x

这里穿插一句吐槽,简单统计了一下，ARM 的系统架构有如下各种简称：

arm64, armv8l, arm64v8, aarch64
arm, arm32, arm32v7, armv7, armv7l, armhf
arm32v6, armv6, armv6l, arm32v5, armv5,  armv5l, armel, aarch32

而对比 Intel 和 AMD 的就简单多了：

x86, 386, i386, i686
x86_64, x64, amd64

5. 构建镜像

docker buildx build 的具体参数含义，参考下面的官方文档

https://docs.docker.com/engine/reference/commandline/buildx_build/

使用 $ docker buildx build 命令构建镜像，注意将 myusername 替换为自己的 Docker Hub 用户名。–push 参数表示将构建好的镜像推送到 Docker 仓库。再来构建一个多系统架构镜像，并将构建好的镜像推送到 Docker 仓库（也就是 hub.docker.com）。在此操作之前，你需要事先注册一个账号（演示过程省略），并登录。

登录命令如下：

root@i-tpmja312:~/demo# docker login

输入你的用户名和密码即可登录。

注意，以下演示的命令中 tag 的前面是我的用户名 doubledong，如果你想制作自己的镜像，请自行替换为你自己的用户名。

使用 --push 参数构建好的镜像推送到 Docker 仓库。

构建命令如下：

在本地构建支持 7 种 platform 的镜像

root@i-tpmja312:~/demo# docker buildx build --platform linux/amd64,linux/arm/v6,linux/arm/v7,linux/arm64/v8,linux/386,linux/ppc64le,linux/s390x -t doubledong/hello . --push# 查看镜像信息
root@i-tpmja312:~/demo# docker buildx imagetools inspect doubledong/hello
Name:      docker.io/doubledong/hello:latest
MediaType: application/vnd.docker.distribution.manifest.list.v2+json
Digest:    sha256:7fd51fbd9f5a478c751ab2138d87341da7937b82bbf2362b23d474727b2c7234Manifests:Name:      docker.io/doubledong/hello:latest@sha256:564098e26174ef2142fbb8bf21d3e57bc2cb31e31933e6e23c5ee8a7bea05219MediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/amd64Name:      docker.io/doubledong/hello:latest@sha256:d378c84bcd8bce4b5d771be692bd251a8cb3bbaca9f203d20a5da6989d42c614MediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/arm/v6Name:      docker.io/doubledong/hello:latest@sha256:1968399b3651bbcb0dc6218e6dfcb261995723decf39b9c80327624409158ff5MediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/arm/v7Name:      docker.io/doubledong/hello:latest@sha256:62ac2af6e39ab10e77d83114931ff1abe449c30a86d0bf590d4bbf71836dcec1MediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/arm64Name:      docker.io/doubledong/hello:latest@sha256:3ef9adac67717528ca95f89c184830aa072da155fc17e2a7e95dd9433d9aab51MediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/386Name:      docker.io/doubledong/hello:latest@sha256:67e4c3e5c7eca8af5909373446e9e5fa6d1083223b3766bb8e9e6f41c01ca43bMediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/ppc64leName:      docker.io/doubledong/hello:latest@sha256:f3dc2d058e4915a61281d945ae92e77b44e2b81a601c63470ce1912e4e29c53eMediaType: application/vnd.docker.distribution.manifest.v2+jsonPlatform:  linux/s390x

.命令执行成功后，你就会在 Docker Hub 看到你上传的镜像啦。示例图如下：

做完上面的那一步，实际上是把构建好的镜像放在了本地路径下,此时我们再来查看一下已有的 builder 实例。

root@i-tpmja312:~/demo# docker buildx ls
NAME/NODE    DRIVER/ENDPOINT             STATUS  PLATFORMS
mybuilder *  docker-containermybuilder0 unix:///var/run/docker.sock running linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/mips64le, linux/mips64, linux/arm/v7, linux/arm/v6
default      dockerdefault    default                     running linux/amd64, linux/386

你会发现 mybuilder 下存在 8 种支持的架构（riscv64 目前还用不上，但是已经支持）。

此时查看一下 docker image 的运行情况，会发现存在一个名为 buildx_buildkit_mybuilder0 的容器在运行。

这是刚才在本地构建时，自动创建的，切记不要将其停止，也不要删除。

root@i-tpmja312:~/demo# docker ps -as|grep buildx_buildkit
e274b21faea2        moby/buildkit:buildx-stable-1      "buildkitd"              7 minutes ago       Up 7 minutes                                         buildx_buildkit_mybuilder0                                                                                                                                0B (virtual 144MB)