ansible-app2k8s
#1 介绍
- 使用 ansible 管理和部署服务到 kubernetes
- 适用于项目容器化，多套 k8s 环境的管理，可结合
CICD工具做DevOps - 来自于项目实践,已部署多套 k8s 环境
#2 主要功能
- 镜像构建并推送到镜像仓库
- 环境初始化(创建 namespace、储存卷、驱动等)
- 部署监控(prometheus、grafana、loki)
- 构建与部署服务到 k8s(主要用途)
#3 运行环境
- 系统 Ubuntu 20
- ansible 2.7 (高版本可能出现语法兼容性问题)
- kubenertes(能被
kubectl客户端连接即可)
#4 原理与结构
原理很简单，使用ansible管理模板，调用kubectl执行部署
ansible-templates -> deploy.yml -> kubectl -> kubenertes![图片[1]-使用ansible-app2k8s管理和部署服务到 kubernetes-五八三](https://583.cn/wp-content/uploads/2023/06/26067a59e28cf8120f0bef0def019d48.png)
执行过程使用tag标记，如-t deploy执行deploy部分
根据执行过程，大致分为以下步骤模块
- base-build 基础镜像构建(docker build)
- push 推送公共镜像到镜像仓库(docker pull)
- init 环境初始化(如创建 namespace)
- monitor 监控警报(如 prometheus)
- build 构建服务镜像(docker build)
- deploy 部署服务(kubectl apply )
- ingress 配置域名访问(7 层代理)
模板目录 roles/k8s/templates
根据服务类别分为如下子目录
- base 基础镜像 dockerfile
- ingress 域名解析配置
- init 环境初始化 yaml 文件
- java jar包构建镜像和部署模板
- jetty 使用
jetty的服务构建和部署模板 - monitor 监控警报相关 yaml
- ms 没有单独参数文件的微服务部署模板
- nignx 前端静态使用 nginx 容器的部署模板
针对不同k8s环境如dev、prod,使用各自参数配置如储存、镜像仓库、资源限制等
使用ansible -i 指定inventory路径并使用对应的组变量
如dev环境的k8s配置文件 group_vars/dev/k8s.yml
服务app-v1的dev环境配置 group_vars/dev/k8s_apps/app-v1.yml
prod环境使用对应配置路径 group_vars/prod/k8s_apps/app-v1.yml
运行截图
#5 dev 环境准备与配置
#5.1 快速安装 k8s
export Ver=1.22.16 #k8s版本curl -ks http://elvin.vip/ks/k8s/k8s.master.ha.sh |bash # 参考https://www.cnblogs.com/elvi/p/8976305.html #5.2 获取 ansible-app2k8s
mkdir -p /data/ansible-app2k8scd /data/ansible-app2k8s#gitee git clone https://gitee.com/alivv/ansible-app2k8s.git ./ #github #git clone https://github.com/alivv/ansible-app2k8s.git ./#5.3 运行 ansible-app2k8s 容器
为保证运行
ansible版本一致，我做了ansible镜像
#查看shellcat /data/ansible-app2k8s/files/run.ansible-app2k8s.shsudo docker rm -f ansible-app2k8s &>/dev/null sudo docker run -dit --net=host \--name ansible-app2k8s -h app2k8s \-w /data/ansible-app2k8s \-v /tmp:/tmp \-v /etc/hosts:/etc/hosts \-v ~/.ssh:/root/.ssh \-v /data/ansible-app2k8s:/data/ansible-app2k8s \registry.cn-shanghai.aliyuncs.com/elvin/ansible:2.7.18-focal sudo docker ps -l#运行容器 ansible-app2k8sbash /data/ansible-app2k8s/files/run.ansible-app2k8s.sh #配置别名alias app2k8s='docker start ansible-app2k8s ; docker exec -it ansible-app2k8s bash' #linuxecho "alias app2k8s='docker start ansible-app2k8s ; docker exec -it ansible-app2k8s bash'" >>~/.bashrc #macOSecho "alias app2k8s='sudo docker start ansible-app2k8s ; sudo docker exec -it ansible-app2k8s bash'" >>~/.zshrc #进入ansible-app2k8s容器(Ctrl+d退出)app2k8s #查看ansbile版本ansible --version#5.4 初始化 docker-build 节点
本实例把多个功能部署在 docker-build 单节点
为了安全,实际可根据需求可拆分为多个节点
#5.4.1 更改配置
配置 dev 节点 env/dev/k8s.inv
#配置dev环境节点信息 env/dev/k8s.invcat > env/dev/k8s.inv <<EOF[dev:children]k8s-nodedocker-build [docker-build]build-node1 ansible_ssh_host=192.168.23.45[k8s-node]k8s-node1 ansible_ssh_host=192.168.23.30 [k8s:children]k8s-node[docker:children]docker-buildregistry[registry]build-node1EOF #IP地址换自己的,节点需要免密登录#节点需要安装python2# apt install -y python python2 python-apt# ln -fs /usr/bin/python2 /usr/bin/python配置 dev 环境参数 group_vars/dev/k8s.yml
#修改配置IP地址 k8s_version: 1.22.16 kubectl_node: 192.168.23.45deploy_yml_node: 192.168.23.45ansible 测试
ansible -i env/dev all -m ping #获取节点变量ansible -i env/dev all -m setup#5.4.2 安装docker-registry、nfs-server、yml-node
#安装docker,docker-py(ansible构建镜像依赖)ansible-playbook docker.yml -D -i env/dev -l docker-build -t docker,py,job #部署docker-registry作为镜像仓库ansible-playbook docker.yml -i env/dev -D -l registry -t registry,registry-auth#增加镜像仓库host解析ansible-playbook docker.yml -i env/dev -D -t hosts-registry #yml文件存放节点ansible-playbook docker.yml -i env/dev -D -l docker-build -t yml-node #安装nfs服务和创建nfs目录,创建容器存储卷PVC使用ansible-playbook nfs.yml -i env/dev -D -l docker-build -t nfs-server #使用nfs储存卷,k8s节点需安装nfs clientansible-playbook nfs.yml -i env/dev -D -l k8s#5.4.3 安装配置 kubectl
拷贝k8s 节点配置 /etc/kubernetes/admin.conf替换本实例配置 roles/k8s/files/kubeconfig-dev.yml
可手动配置kubeconfig,文件路径配置在group_vars/dev/k8s.yml
#安装配置kubectl命令行ansible-playbook k8s.yml -i env/dev -D -l build-node1 -t kubectl,kubeconfig #kubectl测试命令 kubectl get nodes ansible-playbook k8s.yml -i env/dev -D -t kubectl-test#5.5 ansible-app2k8s 测试
#查看帮助ansible-playbook k8s.yml -i env/dev -D -t h #查看资源列表ansible-playbook k8s.yml -i env/dev -D -t list构建镜像测试
#查看base基础镜像dockerfile列表ansible-playbook k8s.yml -i env/dev -D -t baselist #构建镜像nginx_1.22-alpine-wwwansible-playbook k8s.yml -i env/dev -D -t base-build -e baselist=nginx_1.22-alpine-www #构建完成后打开镜像仓库web查看镜像#默认账户密码 admin docker#添加本地host解析后打开 http://hub.elvin.vip#6 app2k8s 部署服务到 k8s
#6.1 推送公共镜像到镜像仓库
#查看列表ansible-playbook k8s.yml -i env/dev -D -t pushlist #推送所有(有点耗时)ansible-playbook k8s.yml -i env/dev -D -t push -e pushlist=all#6.2 k8 环境初始化
#查看yml列表ansible-playbook k8s.yml -i env/dev -D -t initlist #执行所有ansible-playbook k8s.yml -i env/dev -D -t init -e initlist=all#6.3 部署监控 prometheus、grafana、prometheus-adapter、loki
#警报通知使用钉钉机器人,需要改为自己的机器人tonkengrep notice_dingtalk_token group_vars/dev/k8s_ui.yml #查看yml列表ansible-playbook k8s.yml -i env/dev -D -t monitorlist #执行所有ymlansible-playbook k8s.yml -i env/dev -D -t monitorgrafana默认用户密码 admin grafana
添加loki数据源地址 http://loki:3100
添加prometheus数据库源地址 http://prometheus:9090
grafana模板 roles/k8s/templates/monitor/grafana-template/
#6.4 部署服务到 k8s
#查看app列表ansible-playbook k8s.yml -i env/dev -D -t applist #测试,构建与部署app-v1ansible-playbook k8s.yml -i env/dev -D -t build,deploy -e applist=app-v1 #构建与部署全部ansible-playbook k8s.yml -i env/dev -D -t build,deploy -e applist=all #6.5 域名解析 ingress
ansible-playbook k8s.yml -i env/dev -D -t ingress查看ingress配置,浏览器打开网址查看如下:
#7 部署验证与清理
#添加本机hosts解析ansible-playbook dev.yml -i env/dev -D -t hosts-local #查看已配置网址列表,浏览器打开测试ansible-playbook dev.yml -i env/dev -t url测试完成后,清理 k8s 的 dev 部署
#删除ingressansible-playbook k8s.yml -i env/dev -D -t ingress-rm #删除dev环境服务ansible-playbook k8s.yml -i env/dev -D -t rm -e applist=all #删除监控ansible-playbook k8s.yml -i env/dev -D -t monitor-rm #删除环境初始化ansible-playbook k8s.yml -i env/dev -D -t init-rm#8 功能解说
#8.1 本文常用 ansible 命令
ansible-playbook k8s.yml -i env/dev -D -t rmi,build,deploy -e applist=app-v1
- ansible-playbook 执行 ansible 剧本命令行
- k8s.yml 当前目录剧本文件名
- -i 指定 inventory 节点路径
- -D 是–diff 简称,显示执行过程中文件修改变化
- -t 是–tags 简称,执行 tag 标记部分,使用
,分隔多个 tag - -e 是–extra-vars 简称,命令行指定变量,变量优先级最高
- -C 是–check 简称,试运行,用于检测运行过程
#8.2 储存卷 PVE
为便于管理与维护,本实例存储卷PVC使用静态储存
使用PVC时挂载路径添加对应服务子路径 subPath
使用 cronJob 每天压缩与清理 PVC 储存的 log 文件
储存实例类型有 NFS、阿里云 NAS、腾讯云 CFS、AWS EFS、Azure Files
路径 roles/k8s/templates/init 前缀是1.4.pvc的文件
#8.3 日志方案(java 服务)
- 使用 log4j2 配置需要量化的 log 储存到 ElasticSearch
- 使用 log4j2 配置日志储存到文件,容器挂载 PVC
- 使用 loki 搜集终端日志,UI 界面使用 grafana
log4j2 配置在 configmap roles/k8s/templates/jetty/configmap/
#8.4 墙裂推荐的 k8s 工具软件 ！！！
以下部署 yaml 路径 roles/k8s/templates/init/
-
8.4.1 https 证书自动续签
cert-manager
官网 https://cert-manager.io
GitHub https://github.com/cert-manager/cert-manager
注意事项：- 配置自己的 cert-ssl-issuer.yml
- http 认证创建证书,需要域名解析到正确的公网IP
- DNS 认证需要配置DNS解析权限,可以查看官网文档
-
8.4.2 k8s 面板
KubePi
Kubernetes 可视化面板,可管多个 k8s 集群,国产开源
GitHub https://github.com/1Panel-dev/KubePi
-
8.4.3 k8s面板IDE工具推荐Lens
官网 https://k8slens.dev
-
8.4.4 k8s 用户权限管理
permission-manager
添加配置用户权限,生成用户 kubeconfig 文件
GitHub https://github.com/sighupio/permission-manager
#8.5 有状态服务 StatefulSet
- 有状态服务使用 StatefulSet 方式部署,需要挂载 PVC 储存
- 因为有状态服务部署后很少更改,放在 init 分类,前缀有 data 的 yml 文件
-
- 如 redis roles/k8s/templates/init/3.data-redis-standone.yml
- 测试环境部署单节点够用，生产环境推荐使用公有云云原生服务
#8.6 监控警报
监控方案为 prometheus, 主要包含如下模块:
- node-exporter 采集节点指标
- kube-state-metrics 汇聚容器状态指标
- metrics-server 汇聚资源度量指标
- prometheus 收集和储存指标,并提供查询接口
- alertmanager 监控警告路由管理
- grafana 仪表盘 UI 页面展示
- dingtalk 使用钉钉机器人发送警报通知
其它监控相关
监控警报规则
prometheus 采集和警报规则都在 prometheus-config.yml 文件
包含警报规则如下:
- k8s 节点 CPU、内存、磁盘使用率,磁盘剩余容量
- 容器 Pod 状态、CPU 和内存的限制使用率
- 其它服务如 JVM、Redis、rabbitmq
grafana 模板
JVM 监控 grafana 视图:
#8.7 容器镜像仓库
docker-registry 单独部署使用可以查看我博客
https://www.cnblogs.com/elvi/p/13394449.html
服务部署到公有云,推荐直接使用公有云的镜像储存服务
#8.8 镜像构建
- 镜像构建 + push 到镜像仓库
- 构建镜像不包含源码编译,可按需修改 dockerfile 里的下载地址
- 其它工具如 Jenkins(源码编译) -> 储存编译包 -> 镜像构建 -> 镜像仓库
配置里有 3 个镜像仓库地址(公有云分内网和外网地址)
- local_repository_url 构建默认 push 到本地镜像仓库
- push_repository_url 推送到远程镜像仓库地址
- deploy_repository_url 部署时的镜像仓库地址
#8.9 安全
请按需并自行解决安全问题,提示以下注意事项:
- yaml 储存节点配置访问控制
- 使用 ansible-vault 加密 ansible 密码文件
- 手动配置 kubeconfig, 并限制 k8s-apiserver 访问
#8.10 其它
- 由于所有部署步骤,模板均可按需更改,自由度很高
- k8s 所有配置、部署的操作,均保存 yaml 文件,便于以后升级、迁移等维护
- 若已熟悉 ansible,可使用本项目作为管理 k8s 部署服务的参考
- 做自动化部署还需结合其它工具，比如使用 Jenkins
使用 Jenkins+ansible+钉钉通知，自动化部署通知:
#9 日常使用命令参考
#更改构建参数后，查看dockerfile变化ansible-playbook k8s.yml -i env/dev -D -t dockerfile -e applist=app-v1 -C #更改部署参数后查看deployment变化ansible-playbook k8s.yml -i env/dev -D -t yml -e applist=app-v1 -C #单独更改configmap配置后,服务需要重启生效ansible-playbook k8s.yml -i env/dev -D -t config,restart -e applist=app-v1 #构建和部署服务,rmi是删除构建节点已存在的相同tag镜像ansible-playbook k8s.yml -i env/dev -D -t rmi,build,deploy -e applist=app-v1 #部署生产环境,使用upload上传镜像到外网镜像仓库ansible-playbook k8s.yml -i env/prod -D -t upload,deploy -e applist=app-v1 #更改prometheus监控警报规则后需要reload生效ansible-playbook k8s.yml -i dev -D -t monitor-config,monitor-reload#10 作者
Elvin hi@elvin.vip
主要博客 http://blog.elvin.vip
