@TOC
Docker简介
为什么会有docker出现?
- 一款产品从开发到上线,从操作系统,到运行环境,再到应用配置。作为开发+运维之间的协作我们需要关心很多东西,这也是很多互联网公司都不得不面对的问题,特别是各种版本的迭代之后,不同版本环境的兼容,对运维人员都是考验。
- Docker之所以发展如此迅速,也是因为它对此给出了一个标准化的解决方案。
- 环境配置如此麻烦,换一台机器,就要重来一次,费力费时。很多人想到,能不能从根本上解决问题,软件可以带环境安装?也就是说,安装的时候,把原始环境一模一样地复制过来。开发人员利用Docker 可以消除协作编码时“在我的机器上可正常工作”的问题。
- 之前在服务器配置一个应用的运行环境,要安装各种软件,就拿尚硅谷电商项目的环境来说吧,Java/Tomcat/MySQL/JDBC驱动包等。安装和配置这些东西有多麻烦就不说了,它还不能跨平台。假如我们是在 Windows 上安装的这些环境,到了 Linux又得重新装。况且就算不跨操作系统,换另一台同样操作系统的服务器,要移植应用也是非常麻烦的。
- 传统上认为,软件编码开发/测试结束后,所产出的成果即是程序或是能够编译执行的二进制字节码等(java为例)。而为了让这些程序可以顺利执行,开发团队也得准备完整的部署文件,让维运团队得以部署应用程式,开发需要清楚的告诉运维部署团队,用的全部配置文件+所有软件环境。不过,即便如此,仍然常常发生部署失败的状况。Docker镜像的设计,使得Docker得以打破过去「程序即应用」的观念。透过镜像(images)将作业系统核心除外,运作应用程式所需要的系统环境,由下而上打包,达到应用程式跨平台间的无缝接轨运作。
docker理念:
- Docker是基于Go语言实现的云开源项目。
- Docker的主要目标是“Build,Ship and Run Any App,Anywhere”,也就是通过对应用组件的封装、分发、部署、运行等生命周期的管理,使用户的APP(可以是一个WEB应用或数据库应用等等)及其运行环境能够做到“一次封装,到处运行”。
- Linux 容器技术的出现就解决了这样一个问题,而 Docker 就是在它的基础上发展过来的。将应用运行在 Docker 容器上面,而 Docker 容器在任何操作系统上都是一致的,这就实现了跨平台、跨服务器。只需要一次配置好环境,换到别的机子上就可以一键部署好,大大简化了操作。
- 解决了运行环境和配置问题软件容器,方便做持续集成并有助于整体发布的容器虚拟化技术。
之前的虚拟机技术与容器虚拟化技术对比:
虚拟机(virtual machine)就是带环境安装的一种解决方案。
①它可以在一种操作系统里面运行另一种操作系统,比如在Windows 系统里面运行Linux 系统。应用程序对此毫无感知,因为虚拟机看上去跟真实系统一模一样,而对于底层系统来说,虚拟机就是一个普通文件,不需要了就删掉,对其他部分毫无影响。这类虚拟机完美的运行了另一套系统,能够使应用程序,操作系统和硬件三者之间的逻辑不变。
②虚拟机的缺点:
<1>资源占用多
<2>冗余步骤多
<3> 启动慢由于前面虚拟机存在这些缺点,Linux 发展出了另一种虚拟化技术:Linux 容器(Linux Containers,缩写为 LXC)。
①Linux 容器不是模拟一个完整的操作系统,而是对进程进行隔离。有了容器,就可以将软件运行所需的所有资源打包到一个隔离的容器中。容器与虚拟机不同,不需要捆绑一整套操作系统,只需要软件工作所需的库资源和设置。系统因此而变得高效轻量并保证部署在任何环境中的软件都能始终如一地运行。
②比较了 Docker 和传统虚拟化方式的不同之处:
<1>传统虚拟机技术是虚拟出一套硬件后,在其上运行一个完整操作系统,在该系统上再运行所需应用进程;
<2>而容器内的应用进程直接运行于宿主的内核,容器内没有自己的内核,而且也没有进行硬件虚拟。因此容器要比传统虚拟机更为轻便。
<3>每个容器之间互相隔离,每个容器有自己的文件系统 ,容器之间进程不会相互影响,能区分计算资源。
Docker优点:
- 更快速的应用交付和部署:
①传统的应用开发完成后,需要提供一堆安装程序和配置说明文档,安装部署后需根据配置文档进行繁杂的配置才能正常运行。Docker化之后只需要交付少量容器镜像文件,在正式生产环境加载镜像并运行即可,应用安装配置在镜像里已经内置好,大大节省部署配置和测试验证时间。 - 更便捷的升级和扩缩容:
①随着微服务架构和Docker的发展,大量的应用会通过微服务方式架构,应用的开发构建将变成搭乐高积木一样,每个Docker容器将变成一块“积木”,应用的升级将变得非常容易。当现有的容器不足以支撑业务处理时,可通过镜像运行新的容器进行快速扩容,使应用系统的扩容从原先的天级变成分钟级甚至秒级。 - 更简单的系统运维:
①应用容器化运行后,生产环境运行的应用可与开发、测试环境的应用高度一致,容器会将应用程序相关的环境和状态完全封装起来,不会因为底层基础架构和操作系统的不一致性给应用带来影响,产生新的BUG。当出现程序异常时,也可以通过测试环境的相同容器进行快速定位和修复。 - 更高效的计算资源利用:
①Docker是内核级虚拟化,其不像传统的虚拟化技术一样需要额外的Hypervisor支持,所以在一台物理机上可以运行很多个容器实例,可大大提升物理服务器的CPU和内存的利用率。
网址:
Docker安装
Docker的基本组成:
CentOS6.8安装Docker:
- yum install -y epel-release:Docker使用EPEL发布,RHEL系的OS首先要确保已经持有EPEL仓库,否则先检查OS的版本,然后安装相应的EPEL包。
- yum install -y docker-io
- 安装后的配置文件:/etc/sysconfig/docker
- 启动Docker后台服务:service docker start
- docker version验证
CentOS7安装Docke:
- 官网中文安装参考手册
- 确定你是CentOS7及以上版本
- yum安装gcc相关:
①yum -y install gcc
②yum -y install gcc-c++ - 卸载旧版本:yum -y remove docker docker-common docker-selinux docker-engine
- yum 包更新到最新 :yum update
- 安装需要的软件包:yum install -y yum-utils device-mapper-persistent-data lvm2
- 设置yum源(stable镜像仓库):yum-config-manager –add-repo mirrors.aliyun.com/docker-ce/l…
- 更新yum软件包索引:yum makecache fast
- 安装DOCKER CE:yum -y install docker-ce
- 启动docker:systemctl start docker
- 测试:
①docker version
②docker run hello-world - 配置镜像加速
①mkdir -p /etc/docker
②vim /etc/docker/daemon.json
③systemctl daemon-reload
④systemctl restart docker - 卸载:
①systemctl stop docker
②yum -y remove docker-ce
③rm -rf /var/lib/docker
国内镜像加速:
- 阿里云镜像加速步骤:
①注册一个属于自己的阿里云账户(可复用淘宝账号)
②获得加速器地址连接
<1>登陆阿里云开发者平台
<2>获取加速器地址
③配置本机Docker运行镜像加速器
<1>vim /etc/sysconfig/docker 将获得的自己账户下的阿里云加速地址配置进
④重新启动Docker后台服务:service docker restart
⑤Linux 系统下配置完加速器需要检查是否生效
<1>如果从结果中看到了配置的–registry-mirror参数说明配置成功 - 启动Docker后台容器(测试运行 hello-world)
底层原理:
- Docker是怎么工作的?
①Docker是一个Client-Server结构的系统,Docker守护进程运行在主机上, 然后通过Socket连接从客户端访问,守护进程从客户端接受命令并管理运行在主机上的容器。 容器,是一个运行时环境,就是我们前面说到的集装箱。 - 为什么Docker比较比VM快?
①docker有着比虚拟机更少的抽象层。由亍docker不需要Hypervisor实现硬件资源虚拟化,运行在docker容器上的程序直接使用的都是实际物理机的硬件资源。因此在CPU、内存利用率上docker将会在效率上有明显优势。
②docker利用的是宿主机的内核,而不需要Guest OS。因此当新建一个容器时,docker不需要和虚拟机一样重新加载一个操作系统内核。仍而避免引寻、加载操作系统内核返个比较费时费资源的过程,当新建一个虚拟机时,虚拟机软件需要加载Guest OS,返个新建过程是分钟级别的。而docker由于直接利用宿主机的操作系统,则省略了返个过程,因此新建一个docker容器只需要几秒钟。
Docker常用命令
帮助命令:
- docker version
- docker info
- docker –help
镜像命令:
- docker images
①列出本地主机上的镜像:
<1>各个选项说明:
1、REPOSITORY:表示镜像的仓库源
2、TAG:镜像的标签
3、IMAGE ID:镜像ID
4、CREATED:镜像创建时间
5、SIZE:镜像大小
<2>同一仓库源可以有多个 TAG,代表这个仓库源的不同个版本,我们使用 REPOSITORY:TAG 来定义不同的镜像。
<3>如果你不指定一个镜像的版本标签,例如你只使用 ubuntu,docker 将默认使用 ubuntu:latest 镜像
②OPTIONS说明:
<1>-a :列出本地所有的镜像(含中间映像层)
<2>-q :只显示镜像ID。
<3>–digests :显示镜像的摘要信息
<4>–no-trunc :显示完整的镜像信息 - docker search 某个XXX镜像名字:
①docker search [OPTIONS] 镜像名字
②OPTIONS说明:
<1>–no-trunc : 显示完整的镜像描述
<2>-s : 列出收藏数不小于指定值的镜像。
<3>–automated : 只列出 automated build类型的镜像; - docker pull 某个XXX镜像名字:
①下载镜像:docker pull 镜像名字[:TAG] - docker rmi 某个XXX镜像名字ID
①删除镜像:
<1>删除单个:docker rmi -f 镜像ID
<2>删除多个:docker rmi -f 镜像名1:TAG 镜像名2:TAG
<3>删除全部:docker rmi -f $(docker images -qa) - 结合我们Git的学习心得,还有docker commit /docker push。
容器命令:
- 有镜像才能创建容器,这是根本前提(下载一个CentOS镜像演示)
- 新建并启动容器:docker run [OPTIONS] IMAGE [COMMAND] [ARG…]
①OPTIONS说明(常用):有些是一个减号,有些是两个减号
<1>–name=”容器新名字”: 为容器指定一个名称;
<2>-d:后台运行容器,并返回容器ID,也即启动守护式容器;
<3>-i:以交互模式运行容器,意思是让容器的标准输入保持打开,通常与 -t 同时使用;
<4>-t:为容器重新分配一个伪输入终端,通常与 -i 同时使用;
<5>-P:随机端口映射;
<6>-p: 指定端口映射,有以下四种格式:
1、 ip:hostPort:containerPort
2、 ip::containerPort
3、hostPort:containerPort
4、containerPort
②启动交互式容器
<1>使用镜像centos:latest以交互模式启动一个容器,在容器内执行/bin/bash命令。
docker run -it centos /bin/bash - 列出当前所有正在运行的容器:docker ps [OPTIONS]
①OPTIONS说明(常用):
<1>-a :列出当前所有正在运行的容器+历史上运行过的
<2>-l :显示最近创建的容器。
<3>-n:显示最近n个创建的容器。
<4>-q :静默模式,只显示容器编号。
<5>–no-trunc :不截断输出。 - 退出容器:两种退出方式:
①exit:容器停止退出
②ctrl+P+Q:容器不停止退出 - 启动容器:docker start 容器ID或者容器名
- 重启容器:docker restart 容器ID或者容器名
- 停止容器:docker stop 容器ID或者容器名
- 强制停止容器:docker kill 容器ID或者容器名
- 删除已停止的容器:docker rm 容器ID
①一次性删除多个容器:
<1>docker rm -f $(docker ps -a -q)
<2>docker ps -a -q | xargs docker rm - 启动守护式容器:docker run -d 容器名
①使用镜像centos:latest以后台模式启动一个容器 docker run -d centos
②问题:然后docker ps -a 进行查看, 会发现容器已经退出,很重要的要说明的一点: Docker容器后台运行,就必须有一个前台进程,容器运行的命令如果不是那些一直挂起的命令(比如运行top,tail),就是会自动退出的。
③这个是docker的机制问题,比如你的web容器,我们以nginx为例,正常情况下,我们配置启动服务只需要启动响应的service即可。例如 service nginx start
④但是这样做,nginx为后台进程模式运行,就导致docker前台没有运行的应用,这样的容器后台启动后,会立即自杀因为他觉得他没事可做了.
⑤所以最佳的解决方案是将你要运行的程序以前台进程的形式运行 - 查看容器日志:docker logs -f -t –tail 容器ID
① -t 是加入时间戳
② -f 跟随最新的日志打印
③ –tail 数字 显示最后多少条 - 查看容器内运行的进程:docker top 容器ID
- 查看容器内部细节:docker inspect 容器ID
- 进入正在运行的容器并以命令行交互:
①docker exec -it 容器ID bashShell(/bin/sh
)(/bin/bash
)
②重新进入docker attach 容器ID
③上述两个区别:
<1>attach 直接进入容器启动命令的终端,不会启动新的进程。当多个窗口同时使用该命令进入该容器时,所有的窗口都会同步显示。如果有一个窗口阻塞了,那么其他窗口也无法再进行操作。
<2>exec 是在容器中打开新的终端,并且可以启动新的进程 - 从容器内拷贝文件到主机上:docker cp 容器ID:容器内路径 目的主机路径
- 从容器创建一个新的镜像,提交容器副本使之成为一个新的镜像:docker commit
①docker commit -m=“提交的描述信息” -a=“作者” 容器ID 要创建的目标镜像名:[标签名]
②OPTIONS说明:
<1>-a :提交的镜像作者;
<2>-c :使用Dockerfile指令来创建镜像;
<3>-m :提交时的说明文字;
<4>-p :在commit时,将容器暂停。
常用命令:
docker容器中的前后台程序中为什么一定要前台运行?
- 容器启动后默认执行命令的三种差异:
①CMD
或ENTRYPOINT
都可指定容器启动后默认执行的命令。在制作 Docker 镜像时,Dockerfile
必须指定CMD
或ENTRYPOINT
其中的一个。所以我们去查看镜像里CMD
或ENTRYPOINT
执行了什么,就不难分析出原因。
②通过docker inspect [image_name]
命令可以查看镜像的详细信息,里面会包含CMD
和ENTRYPOINT
。 - 根据
CMD
和ENTRYPOINT
指定的程序不同,有三种情况需要考虑:
①对于一个持续运行的程序,直接执行docker run
容器就可以在终端持续运行。指定-d
参数,就可以在后台持续运行
②对于一个交互式 shell,指定-it
参数,容器就可以在终端持续运行。指定-dt
参数,就可以在后台持续运行
③对于一个执行完就结束的命令,容器启动后执行完命令就会结束,因此可以在run命令后面加上/bin/bash,使其执行交互式shell,再指定-it或者-dt,与第二种类似。
- 注意:
①交互意味着输入或者输出
。
②加了-i
选项,容器的STDIN
就会一直保持打开,我们就可以以交互模式(interactive mode)来运行容器了。
<1>如果容器启动的进程是一个 shell 程序的话,我们通过-i
选项就可以与之交互,保持容器持续运行。不指定-i
,容器启动后就会自动退出。
③-t
选项就可以理解为为容器分配一个伪 tty 终端并绑定到容器的标准输入上,之后用户就可以通过终端来控制容器了。
<1>运行后输入任何字符都没有反应,是因为容器没有打开标准输入,我们输入的任何字符都是没有传递进容器的。所以一直会在等待永远不会到来的输入,也就一直保持容器运行状态。
④-it:前面我们知道了如果直接执行docker run
,它默认会有 stdout 流,如果我们加了-i
,它会保持 stdin 流打开。那么,我们再加上-t
选项,就是说标准输入变成了一个伪 tty 终端。从这里也可以看出,交互模式下单独指定-t
选项是没有意义的,因为如果容器的标准输入没有打开,我们是输入不了任何内容的。
<1>简单来说,指定-t
而不指定-i
,意味着在容器里开启了一个伪终端,但是我们的输入并不会传递到伪终端的输入。
<2>所以,官方文档也写到了,在交互模式下,-i
与-t
选项必须结合使用,也就是-it
。
⑤总结一下就是-i或者-t再加上交互式指令(自己加或者镜像自带)即可运行,而-d是后台运行,最后-it可以让终端输入到容器中。(-t无法输入,-i需要自己加/bin/bash)
Docker 镜像
镜像是什么:
- 镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量和配置文件。
- UnionFS(联合文件系统):
①Union文件系统(UnionFS)是一种分层、轻量级并且高性能的文件系统,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem)。Union 文件系统是 Docker 镜像的基础。镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
②特性:一次同时加载多个文件系统,但从外面看起来,只能看到一个文件系统,联合加载会把各层文件系统叠加起来,这样最终的文件系统会包含所有底层的文件和目录 - Docker镜像加载原理:
①docker的镜像实际上由一层一层的文件系统组成,这种层级的文件系统UnionFS。
bootfs(boot file system)主要包含bootloader和kernel, bootloader主要是引导加载kernel, Linux刚启动时会加载bootfs文件系统,在Docker镜像的最底层是bootfs。这一层与我们典型的Linux/Unix系统是一样的,包含boot加载器和内核。当boot加载完成之后整个内核就都在内存中了,此时内存的使用权已由bootfs转交给内核,此时系统也会卸载bootfs。
②rootfs (root file system) ,在bootfs之上。包含的就是典型 Linux 系统中的 /dev, /proc, /bin, /etc 等标准目录和文件。rootfs就是各种不同的操作系统发行版,比如Ubuntu,Centos等等。
③平时我们安装进虚拟机的CentOS都是好几个G,为什么docker这里才200M??
<1>对于一个精简的OS,rootfs可以很小,只需要包括最基本的命令、工具和程序库就可以了,因为底层直接用Host的kernel,自己只需要提供 rootfs 就行了。由此可见对于不同的linux发行版, bootfs基本是一致的, rootfs会有差别, 因此不同的发行版可以公用bootfs。 - 分层的镜像:
①以我们的pull为例,在下载的过程中我们可以看到docker的镜像好像是在一层一层的在下载。
- 为什么 Docker 镜像要采用这种分层结构呢?
①最大的一个好处就是 – 共享资源
②比如:有多个镜像都从相同的 base 镜像构建而来,那么宿主机只需在磁盘上保存一份base镜像,同时内存中也只需加载一份 base 镜像,就可以为所有容器服务了。而且镜像的每一层都可以被共享。
特点:
- Docker镜像都是只读的
- 当容器启动时,一个新的可写层被加载到镜像的顶部。
- 这一层通常被称作“容器层”,“容器层”之下的都叫“镜像层”。
Docker容器数据挂载
容器数据卷是什么:
- 一句话:有点类似我们Redis里面的rdb和aof文件
- 能干嘛:
①容器的持久化
②容器间继承+共享数据
数据卷容器内添加:
- 直接命令添加
①docker run -it -v /宿主机绝对路径目录:/容器内目录 镜像名
②查看数据卷是否挂载成功
③容器和宿主机之间数据共享
④容器停止退出后,主机修改后数据是否同步
⑤命令(带权限):docker run -it -v /宿主机绝对路径目录:/容器内目录:ro 镜像名
<1>Docker 挂载数据卷的默认权限是可读写(rw),用户也可以通过 ro 标记指定为只读。
<2>加了 :ro 之后,容器内挂载的数据卷内的数据就变成只读的了。 - DockerFile添加
①根目录下新建mydocker文件夹并进入
②可在Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷
<1>VOLUME[“/dataVolumeContainer”,”/dataVolumeContainer2″,”/dataVolumeContainer3″]
<2>说明:出于可移植和分享的考虑,用-v 主机目录:容器目录这种方法不能够直接在Dockerfile中实现。由于宿主机目录是依赖于特定宿主机的,并不能够保证在所有的宿主机上都存在这样的特定目录。
③File构建:
④build后生成镜像:获得一个新镜像zzyy/centos
⑤run容器。 - Docker挂载主机目录Docker访问出现cannot open directory .: Permission denied
解决办法:在挂载目录后多加一个–privileged=true参数即可
数据卷容器:
- 命名的容器挂载数据卷,其它容器通过挂载这个(父容器)实现数据共享,挂载数据卷的容器,称之为数据卷容器
- 总体介绍:
①以上一步新建的镜像zzyy/centos为模板并运行容器dc01/dc02/dc03
②它们已经具有容器卷
<1>/dataVolumeContainer1
<2>/dataVolumeContainer2 - 容器间传递共享(–volumes-from)
①先启动一个父容器dc01,在dataVolumeContainer2新增内容。
②dc02/dc03继承自dc01
<1>–volumes-from
<2>dc02/dc03分别在dataVolumeContainer2各自新增内容
1、docker run -it –name dc02 –volumes-from dc01 zzyy/centos
2、docker run -it –name dc03 –volumes-from dc01 zzyy/centos
③回到dc01可以看到02/03各自添加的都能共享了
④删除dc01,dc02修改后dc03可否访问
⑤删除dc02后dc03可否访问
⑥新建dc04继承dc03后再删除dc03
⑦结论:容器之间配置信息的传递,数据卷的生命周期一直持续到没有容器使用它为止
总结:
- Docker提供了3种方法将数据从Docker宿主机挂载(mount)到容器:
volumes
,bind mounts
和tmpfs mounts
。一般来说,volumes
总是最好的选择。
①使用–volume会自动创建宿主方的文件夹,而–mount不会,因此使用–mount映射不存在的目录,会报错。
volumes:--mount source=My_Volume,target=/webapp或-v /宿主机绝对路径目录:/容器内目录bind mounts:--mount type=bind,source=/usr/src/webapp,target=/opt/webapptmpfs mounts:--mount type=tmpfs,destination=/appvolumes: --mount source=My_Volume,target=/webapp 或 -v /宿主机绝对路径目录:/容器内目录 bind mounts: --mount type=bind,source=/usr/src/webapp,target=/opt/webapp tmpfs mounts: --mount type=tmpfs,destination=/appvolumes: --mount source=My_Volume,target=/webapp 或 -v /宿主机绝对路径目录:/容器内目录 bind mounts: --mount type=bind,source=/usr/src/webapp,target=/opt/webapp tmpfs mounts: --mount type=tmpfs,destination=/app
- 不管你选择哪种挂载方式,从容器中看都是一样的。数据在容器的文件系统中被展示为一个目录或者一个单独的文件。一个简单区分
volumes
,bind mounts
和tmpfs mounts
不同点的方法是:思考数据在宿主机上是如何存在的。
①Volumes由Docker管理,存储在宿主机的某个地方(在linux上是/var/lib/docker/volumes/)。非Docker应用程序不能改动这一位置的数据。Volumes是Docker最好的数据持久化方法。
②Bind mounts的数据可以存放在宿主机的任何地方。数据甚至可以是重要的系统文件或目录。非Docker应用程序可以改变这些数据。
③tmpfs mounts的数据只存储在宿主机的内存中,不会写入到宿主机的文件系统。
- 更详细的Diff:
①Volumes:由Docker创建和管理。你可以通过docker volume create
命令显式地创建volume
,Docker也可以在创建容器或服务时自己创建volume。
<1>当你创建了一个volume,它会被存放在宿主机的一个目录下。当你将这个volume挂载到某个容器时,这个目录就是挂载到容器的东西。这一点和bind mounts
类似,除了volumes是由Docker创建的,和宿主机的核心(core functionality
)隔离。
<2>一个volume可以同时被挂载到几个容器中。即使没有正在运行的容器使用这个volume,volume依然存在,不会被自动清除。可以通过docker volume prune
清除不再使用的volumes。
<3>volumes也支持volume driver
,可以将数据存放在另外的机器或者云上。
②Bind mounts:Docker早期就支持这个特性。与volumes相比,Bind mounts
支持的功能有限。使用bind mounts
时,宿主机上的一个文件或目录被挂载到容器上。
<1>警告:使用Bind mounts
的一个副作用是,容器中运行的程序可以修改宿主机的文件系统,包括创建,修改,删除重要的系统文件或目录。这个功能可能会有安全问题。
③tmpfs mounts:tmpfs mounts
的数据不会落盘。在容器的生命周期内,它可以被用来存储一些不需要持久化的状态或敏感数据。例如,swarm
服务通过tmpfs mounts
来将secrets挂载到一个服务的容器中去。
DockerFile解析
DockerFile是什么:
- Dockerfile是用来构建Docker镜像的构建文件,是由一系列命令和参数构成的脚本。
- 构建三步骤:
①编写Dockerfile文件
②docker build
③docker run - 文件什么样???
DockerFile构建过程解析:
- Dockerfile内容基础知识:
①1:每条保留字指令都必须为大写字母且后面要跟随至少一个参数
②2:指令按照从上到下,顺序执行
③3:#表示注释
④4:每条指令都会创建一个新的镜像层,并对镜像进行提交 - Docker执行Dockerfile的大致流程:
①(1)docker从基础镜像运行一个容器
②(2)执行一条指令并对容器作出修改
③(3)执行类似docker commit的操作提交一个新的镜像层
④(4)docker再基于刚提交的镜像运行一个新容器
⑤(5)执行dockerfile中的下一条指令直到所有指令都执行完成 - 小总结:
①从应用软件的角度来看,Dockerfile、Docker镜像与Docker容器分别代表软件的三个不同阶段,
<1> Dockerfile是软件的原材料
<2>Docker镜像是软件的交付品
<3>Docker容器则可以认为是软件的运行态。
②Dockerfile面向开发,Docker镜像成为交付标准,Docker容器则涉及部署与运维,三者缺一不可,合力充当Docker体系的基石。
③Dockerfile,需要定义一个Dockerfile,Dockerfile定义了进程需要的一切东西。Dockerfile涉及的内容包括执行代码或者是文件、环境变量、依赖包、运行时环境、动态链接库、操作系统的发行版、服务进程和内核进程(当应用进程需要和系统服务和内核进程打交道,这时需要考虑如何设计namespace的权限控制)等等;
④Docker镜像,在用Dockerfile定义一个文件之后,docker build时会产生一个Docker镜像,当运行 Docker镜像时,会真正开始提供服务;
⑤Docker容器,容器是直接提供服务的。
DockerFile体系结构(保留字指令):
- FROM:基础镜像,当前新镜像是基于哪个镜像的
- MAINTAINER:镜像维护者的姓名和邮箱地址
- RUN:容器构建时需要运行的命令
- EXPOSE:当前容器对外暴露出的端口
- WORKDIR:指定在创建容器后,终端默认登陆的进来工作目录,一个落脚点
- ENV:用来在构建镜像过程中设置环境变量
①ENV MY_PATH /usr/mytest:这个环境变量可以在后续的任何RUN指令中使用,这就如同在命令前面指定了环境变量前缀一样;
②也可以在其它指令中直接使用这些环境变量,
③比如:WORKDIR $MY_PATH - ADD:将宿主机目录下的文件拷贝进镜像且ADD命令会自动处理URL和解压tar压缩包
- COPY:类似ADD,拷贝文件和目录到镜像中。将从构建上下文目录中 <源路径> 的文件/目录复制到新的一层的镜像内的 <目标路径> 位置
- VOLUME:容器数据卷,用于数据保存和持久化工作
- CMD:指定一个容器启动时要运行的命令
①Dockerfile 中可以有多个 CMD 指令,但只有最后一个生效,CMD 会被 docker run 之后的参数替换
- ENTRYPOINT :
①指定一个容器启动时要运行的命令
②ENTRYPOINT 的目的和 CMD 一样,都是在指定容器启动程序及参数 - ONBUILD:当构建一个被继承的Dockerfile时运行命令,父镜像在被子继承后父镜像的onbuild被触发
- 小总结:
- 链接:【docker】CMD ENTRYPOINT 区别 终极解读!
DockerFile总结:
Docker网络
Docker网络简介:
- 安装Docker时,它会自动创建三个网络,bridge(创建容器默认连接到此网络)、 none 、host
网络模式 | 简介 |
---|---|
Host | 容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。 |
Bridge | 此模式会为每一个容器分配、设置IP等,并将容器连接到一个docker0虚拟网桥,通过docker0网桥以及Iptables nat表配置与宿主机通信。 |
None | 该模式关闭了容器的网络功能。 |
Container | 创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围。 |
自定义网络 | 略 |
Docker网络详解:
- Host模式:
①相当于Vmware中的桥接模式,与宿主机在同一个网络中,但没有独立IP地址。
②众所周知,Docker使用了Linux的Namespaces技术来进行资源隔离,如PID Namespace隔离进程,Mount Namespace隔离文件系统,Network Namespace隔离网络等。
③一个Network Namespace提供了一份独立的网络环境,包括网卡、路由、Iptable规则等都与其他的Network Namespace隔离。一个Docker容器一般会分配一个独立的Network Namespace。但如果启动容器的时候使用host模式,那么这个容器将不会获得一个独立的Network Namespace,而是和宿主机共用一个Network Namespace。容器将不会虚拟出自己的网卡,配置自己的IP等,而是使用宿主机的IP和端口。 - Container模式:
①在理解了host模式后,这个模式也就好理解了。这个模式指定新创建的容器和已经存在的一个容器共享一个Network Namespace,而不是和宿主机共享。新创建的容器不会创建自己的网卡,配置自己的IP,而是和一个指定的容器共享IP、端口范围等。同样,两个容器除了网络方面,其他的如文件系统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。 - None模式:
①该模式将容器放置在它自己的网络栈中,但是并不进行任何配置。实际上,该模式关闭了容器的网络功能,在以下两种情况下是有用的:容器并不需要网络(例如只需要写磁盘卷的批处理任务)。
②overlay:在docker1.7代码进行了重构,单独把网络部分独立出来编写,所以在docker1.8新加入的一个overlay网络模式。Docker对于网络访问的控制也是在逐渐完善的。 - Bridge模式:
①相当于Vmware中的Nat模式,容器使用独立network Namespace,并连接到docker0虚拟网卡(默认模式)。通过docker0网桥以及Iptables nat表配置与宿主机通信;
②bridge模式是Docker默认的网络设置,此模式会为每一个容器分配Network Namespace、设置IP等,并将一个主机上的Docker容器连接到一个虚拟网桥上。下面着重介绍一下此模式。
Docker扩展
Docker Compose简介:
Docker Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose您可以使用 YML文件来配置应用程序需要的所有服务。然后使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。
# yaml 配置实例version: '3'services:web:build: .ports:- "5000:5000"volumes:- .:/code- logvolume01:/var/loglinks:- redisredis:image: redisvolumes:logvolume01: {}# yaml 配置实例 version: '3' services: web: build: . ports: - "5000:5000" volumes: - .:/code - logvolume01:/var/log links: - redis redis: image: redis volumes: logvolume01: {}# yaml 配置实例 version: '3' services: web: build: . ports: - "5000:5000" volumes: - .:/code - logvolume01:/var/log links: - redis redis: image: redis volumes: logvolume01: {}
- Docker Compose 使用的三个步骤:
①使用 Dockerfile 定义应用程序的环境。
②使用 docker-compose.yml 定义构成应用程序的服务,这样它们可以在隔离环境中一起运行。
③最后执行 docker-compose up 命令来启动并运行整个应用程序。 - Docker Compose 安装:
①运行以下命令以下载 Docker Compose 的当前稳定版本:sudo curl -L “github.com/docker/comp… -s)-$(uname -m)” -o /usr/local/bin/docker-compose
②将可执行权限应用于二进制文件:sudo chmod +x /usr/local/bin/docker-compose
③创建软链:sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
④测试是否安装成功:docker-compose –version - 链接:Docker Compose详解
Docker Machine简介:
-
Docker Machine 是一种可以让您在虚拟主机上安装 Docker 的工具,并可以使用 docker-machine命令来管理主机。Docker Machine 也可以集中管理所有的 docker 主机,比如快速的给 100 台服务器安装上docker。
-
Docker Machine 管理的虚拟主机可以是机上的,也可以是云供应商,如阿里云,腾讯云,AWS,或 DigitalOcean。使用docker-machine 命令,您可以启动,检查,停止和重新启动托管主机,也可以升级 Docker 客户端和守护程序,以及配置Docker 客户端与您的主机进行通信。
-
Docker和Docker Machine之间的区别:
①当人们说“Docker”时,他们通常是指 Docker Engine,它是一个客户端 – 服务器应用程序,由 Docker 守护进程、一个REST API指定与守护进程交互的接口、和一个命令行接口(CLI)与守护进程通信(通过封装REST API)。Docker Engine 从 CLI 中接受docker 命令,例如 docker run 、docker ps 来列出正在运行的容器、docker images 来列出镜像,等等。
②Docker Machine 是一个用于配置和管理你的宿主机(上面具有 Docker Engine 的主机)的工具。通常,你在你的本地系统上安装 Docker Machine。Docker Machine有自己的命令行客户端 docker-machine 和 Docker Engine 客户端 docker。你可以使用 Machine 在一个或多个虚拟系统上安装 Docker Engine。
③这些虚拟系统可以是本地的(就像你在 Mac 或 Windows 上使用 Machine 在 VirtualBox 中安装和运行 Docker Engine 一样)或远程的(就像你使用 Machine 在云提供商上 provision Dockerized 宿主机一样)。Dockerized 宿主机本身可以认为是,且有时就称为,被管理的“machines”。 -
Docker Machine安装:
安装命令:base=https://github.com/docker/machine/releases/download/v0.16.0 &&curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine &&sudo mv /tmp/docker-machine /usr/local/bin/docker-machine &&chmod +x /usr/local/bin/docker-machine查看是否安装成功:docker-machine version安装命令: base=https://github.com/docker/machine/releases/download/v0.16.0 && curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine && sudo mv /tmp/docker-machine /usr/local/bin/docker-machine && chmod +x /usr/local/bin/docker-machine 查看是否安装成功: docker-machine version安装命令: base=https://github.com/docker/machine/releases/download/v0.16.0 && curl -L $base/docker-machine-$(uname -s)-$(uname -m) >/tmp/docker-machine && sudo mv /tmp/docker-machine /usr/local/bin/docker-machine && chmod +x /usr/local/bin/docker-machine 查看是否安装成功: docker-machine version
Intellij IDEA安装Docker插件:
- 打开Idea,从File->Settings->Plugins->Install JetBrains plugin进入插件安装界面,在搜索框中输入docker,可以看到Docker ,点击右边的Install按钮进行安装。安装后重启Idea。
- 重启后配置docker,连接到远程docker服务。从File->Settings->Build,Execution,Deployment->Docker打开配置界面。
①若连接不上则需要要Docker开启端口连接。
<1>修改docker.service文件:vi /usr/lib/systemd/system/docker.service
<2>找到ExecStart在后面追加以下内容:-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
<3>重新加载docker让配置生效:systemctl daemon-reload
<4>重启docker:systemctl restart docker
<5>查看docker是否正常启动:systemctl status docker
②若还连不上则点击Idea中的help —> Edit custom vm options去添加-Djava.net.preferIPv4Stack=true即可,然后重启idea。原因是java在双协议栈机器上, 默认优先使用ipv6.java.net.preferIPv4Stack(默认值false)。 - 注意:
安装Docker时需要生成TLS证书来保证2375端口开放后的安全,不然容易被恶意脚本攻击!
在工程的maven中引入Docker镜像构建插件:
<build><!-- 引用我们的项目名字 --><finalName>${project.artifactId}</finalName><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin><!--使用docker-maven-plugin插件--><plugin><groupId>com.spotify</groupId><artifactId>docker-maven-plugin</artifactId><version>1.0.0</version><!--将插件绑定在某个phase执行--><executions><execution><id>build-image</id><!--用户只需执行mvn package ,就会自动执行mvn docker:build--><phase>package</phase><goals><goal>build</goal></goals></execution></executions><configuration><!--指定生成的镜像名,这里是我们的作者名+项目名--><imageName>cainiao/${project.artifactId}</imageName><!--指定标签 这里指定的是镜像的版本,我们默认版本是latest--><imageTags><imageTag>latest</imageTag></imageTags><!--指定基础镜像jdk1.8--><baseImage>java</baseImage><!--镜像制作人本人信息<maintainer>bruceliu@email.com</maintainer>--><!--切换到ROOT目录--><workdir>/ROOT</workdir><!--查看我们的java版本--><cmd>["java", "-version"]</cmd><!--${project.build.finalName}.jar是打包后生成的jar包的名字--><entryPoint>["java", "-jar", "/${project.build.finalName}.jar"]</entryPoint><!--指定远程 docker api地址--><dockerHost>http://192.168.29.133:2375</dockerHost><!-- 这里是复制 jar 包到 docker 容器指定目录配置 --><resources><resource><targetPath>/</targetPath><!--jar 包所在的路径 此处配置的 即对应 target 目录--><directory>${project.build.directory}</directory><!--用于指定需要复制的文件 需要包含的 jar包 ,这里对应的是 Dockerfile中添加的文件名 --><include>${project.build.finalName}.jar</include></resource></resources></configuration></plugin></plugins></build><build> <!-- 引用我们的项目名字 --> <finalName>${project.artifactId}</finalName> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> <!--使用docker-maven-plugin插件--> <plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> <version>1.0.0</version> <!--将插件绑定在某个phase执行--> <executions> <execution> <id>build-image</id> <!--用户只需执行mvn package ,就会自动执行mvn docker:build--> <phase>package</phase> <goals> <goal>build</goal> </goals> </execution> </executions> <configuration> <!--指定生成的镜像名,这里是我们的作者名+项目名--> <imageName>cainiao/${project.artifactId}</imageName> <!--指定标签 这里指定的是镜像的版本,我们默认版本是latest--> <imageTags> <imageTag>latest</imageTag> </imageTags> <!--指定基础镜像jdk1.8--> <baseImage>java</baseImage> <!-- 镜像制作人本人信息 <maintainer>bruceliu@email.com</maintainer> --> <!--切换到ROOT目录--> <workdir>/ROOT</workdir> <!--查看我们的java版本--> <cmd>["java", "-version"]</cmd> <!--${project.build.finalName}.jar是打包后生成的jar包的名字--> <entryPoint>["java", "-jar", "/${project.build.finalName}.jar"]</entryPoint> <!--指定远程 docker api地址--> <dockerHost>http://192.168.29.133:2375</dockerHost> <!-- 这里是复制 jar 包到 docker 容器指定目录配置 --> <resources> <resource> <targetPath>/</targetPath> <!--jar 包所在的路径 此处配置的 即对应 target 目录--> <directory>${project.build.directory}</directory> <!--用于指定需要复制的文件 需要包含的 jar包 ,这里对应的是 Dockerfile中添加的文件名 --> <include>${project.build.finalName}.jar</include> </resource> </resources> </configuration> </plugin> </plugins> </build><build> <!-- 引用我们的项目名字 --> <finalName>${project.artifactId}</finalName> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> <!--使用docker-maven-plugin插件--> <plugin> <groupId>com.spotify</groupId> <artifactId>docker-maven-plugin</artifactId> <version>1.0.0</version> <!--将插件绑定在某个phase执行--> <executions> <execution> <id>build-image</id> <!--用户只需执行mvn package ,就会自动执行mvn docker:build--> <phase>package</phase> <goals> <goal>build</goal> </goals> </execution> </executions> <configuration> <!--指定生成的镜像名,这里是我们的作者名+项目名--> <imageName>cainiao/${project.artifactId}</imageName> <!--指定标签 这里指定的是镜像的版本,我们默认版本是latest--> <imageTags> <imageTag>latest</imageTag> </imageTags> <!--指定基础镜像jdk1.8--> <baseImage>java</baseImage> <!-- 镜像制作人本人信息 <maintainer>bruceliu@email.com</maintainer> --> <!--切换到ROOT目录--> <workdir>/ROOT</workdir> <!--查看我们的java版本--> <cmd>["java", "-version"]</cmd> <!--${project.build.finalName}.jar是打包后生成的jar包的名字--> <entryPoint>["java", "-jar", "/${project.build.finalName}.jar"]</entryPoint> <!--指定远程 docker api地址--> <dockerHost>http://192.168.29.133:2375</dockerHost> <!-- 这里是复制 jar 包到 docker 容器指定目录配置 --> <resources> <resource> <targetPath>/</targetPath> <!--jar 包所在的路径 此处配置的 即对应 target 目录--> <directory>${project.build.directory}</directory> <!--用于指定需要复制的文件 需要包含的 jar包 ,这里对应的是 Dockerfile中添加的文件名 --> <include>${project.build.finalName}.jar</include> </resource> </resources> </configuration> </plugin> </plugins> </build>
- 使用步骤:
①在工程的resources目录下,添加文件名为Dockerfile的文件。
②使用maven的package,那么就会自动使用Dockerfile文件进行构建镜像。
③接下来构建容器,运行容器。 Docker的基本命令使用都可以在Docker插件中实现图形化操作,非常便捷。
- 链接:
①Intellij IDEA快速实现Docker镜像部署
②Docker实战 | 第五篇:Docker启用TLS加密解决暴露2375端口引发的安全漏洞,被黑掉三台云主机的教训总结
Docker启动各组件命令详解:
如果使用的是云服务器需要在服务商的安全设置防火墙中开启相应的端口,同时需要保证开启的端口有设置密码或者安装TLS来防止恶意脚本攻击。
- 注意:
①实现配置挂载时,本地配置目录如果是空目录,那么挂载的时候容器内的配置目录也会为空(因为挂载了会同步,同步会将容器内的配置目录也为空),这个时候容器就无法成功运行。
②解决这个问题,我们只要保证本地配置目录不为空就行了。解决思路有2个:
<1>启动一个容器,将容器内的配置文件 /etc/mysql/my.cnf,copy到我们本地。利用 docker cp命令完成。
<2>手动,自己本地新建一个my.cnf配置文件,手动将容器内配置文件 /etc/mysql/my.cnf内容 复制到本地的配置文件中。 - docker启动mysql:
①配置文件目录以及数据文件目录每个版本安装的位置不一致。
docker run -d -i \-p 3306:3306 \-e MYSQL_ROOT_PASSWORD=root \--name=my_mysql \-v /home/docker/mysql/mysql.conf.d/mysqld.cnf:/etc/mysql/conf.d \-v /home/docker/mysql/data:/var/lib/mysql \mysql:5.7docker run -d -i \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=root \ --name=my_mysql \ -v /home/docker/mysql/mysql.conf.d/mysqld.cnf:/etc/mysql/conf.d \ -v /home/docker/mysql/data:/var/lib/mysql \ mysql:5.7docker run -d -i \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=root \ --name=my_mysql \ -v /home/docker/mysql/mysql.conf.d/mysqld.cnf:/etc/mysql/conf.d \ -v /home/docker/mysql/data:/var/lib/mysql \ mysql:5.7
Docker总结
Docker云原生与仓库:
什么是云原生:
①云原生从字面意思上来看可以分成云和原生两个部分。
②云是和本地相对的,传统的应用必须跑在本地服务器上,现在流行的应用都跑在云端,云包含了IaaS,、PaaS和SaaS。
③原生就是土生土长的意思,我们在开始设计应用的时候就考虑到应用将来是运行云环境里面的,要充分利用云资源的优点,比如️云服务的弹性和分布式优势。
④微服务:
<1>微服务解决的是我们软件开发中一直追求的低耦合+高内聚,记得有一次我们系统的接口出了问题,结果影响了用户的前台操作,于是黎叔拍案而起,灵魂发问:“为啥这两个会互相影响?!”
<2>微服务可以解决这个问题,微服务的本质是把一块大饼分成若干块低耦合的小饼,比如一块小饼专门负责接收外部的数据,一块小饼专门负责响应前台的操作,小饼可以进一步拆分,比如负责接收外部数据的小饼可以继续分成多块负责接收不同类型数据的小饼,这样每个小饼出问题了,其它小饼还能正常对外提供服务。
⑤DevOps:
DevOps的意思就是开发和运维不再是分开的两个团队,而是你中有我,我中有你的一个团队。我们现在开发和运维已经是一个团队了,但是运维方面的知识和经验还需要持续提高。
⑥持续交付:
持续交付的意思就是在不影响用户使用服务的前提下频繁把新功能发布给用户使用,要做到这点非常非常难。我们现在两周一个版本,每次上线之后都会给不同的用户造成不同程度的影响。
⑦容器化:
容器化的好处在于运维的时候不需要再关心每个服务所使用的技术栈了,每个服务都被无差别地封装在容器里,可以被无差别地管理和维护,现在比较流行的工具是docker和k8s。
⑧所以你也可以简单地把云原生理解为:云原生 = 微服务 + DevOps + 持续交付 + 容器化。
Harbor镜像仓库:
①harbor是什么呢?英文单词的意思是:港湾。港湾用来存放集装箱(货物的),而docker的由来正是借鉴了集装箱的原理,所以harbor是用于存放docker的镜像,作为镜像仓库使用。官方的说法是:Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器。
②harbor镜像仓库是由VMware开源的一款企业级镜像仓库,它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制等诸多功能。
③链接:从harbor部署到在k8s中使用阿里云ECS Docker生态:
- 链接:Docker常用安装及推送至阿里云
使用Docker部署项目:
- 把springboot框架搭建的后端项目用idea打成jar包:把Maven Project窗口调出来,双击package就行
- 打包成功,会生成在当前项目的target目录下:
- 传到服务器,我上传到/home/javaProject/jz-project/目录下,然后在此目录下创建一个构建镜像的文件:vi dockerfile
- 配置dockerfile文件中的内容:
FROM java:8VOLUME /tmpAdd jz-project-0.0.1-SNAPSHOT.jar app.jarEXPOSE 8080ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"]FROM java:8 VOLUME /tmp Add jz-project-0.0.1-SNAPSHOT.jar app.jar EXPOSE 8080 ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"]FROM java:8 VOLUME /tmp Add jz-project-0.0.1-SNAPSHOT.jar app.jar EXPOSE 8080 ENTRYPOINT ["java","-Djava.security.egd=file:/dev/./urandom","-jar","/app.jar"]
- 使用命令构建镜像:docker build
- 运行容器:docker run
- 运行成功后查看此容器的日志:docker logs
Docker使用注意的点:
- 安装Docker时报HTTPS Error 404 – Not Found
①编辑docker-ce.repo文件:sudo vi /etc/yum.repos.d/docker-ce.repo
②修改 baseurl为下面的地址:baseurl=download.docker.com/linux/cento… - 安装时报openEuler20.09版本安装docker-ce:
①在网上查询相关资料得知,只有现在的最新的版本有这个问题,所以我们可以安装之前的版本。
②yum -y install docker-ce-19.03.9
Docker总结:
- 链接:Docker命令大全详解