首先说一下我的环境，首先准备一台ubuntu18.4虚拟机，安装docker， 然后用docker 安装gitlab[大家可以参考 Ubuntu Docker搭建GitLab以及常规配置使用] 和harbor【大家可以参考 Ubuntu18 安装搭建Harbor】，关于k8s的安装大家 可以参考 Ubuntu 18 Kubernetes集群的安装和部署 以及Helm的安装 和 Centos 使用kubeadm安装Kubernetes 1.15.3 关于harbor 程序手动更新到k8s 参考 Windows docker k8s asp.net core.我尝试过通过docker来安装jenkins，jenkins容器里面在安装docker和harbor通信，但是后面还是遇到很多问题 不好解决， docker默认是无状态的 需要保存的数据都要挂在的虚拟机上， 比如jenkins里面下载的golang镜像，jenkins重启就丢失了， 所以后面彩用jenkins直接安装到虚拟机上。
jenkins安装#准备工作#存储库密钥添加到系统wget -q -O - https://pkg.jenkins.io/debian/jenkins-ci.org.key | sudo apt-key add -#将Debian包存储库地址附加到服务器的sources.listecho deb http://pkg.jenkins.io/debian-stable binary/ | sudo tee /etc/apt/sources.list.d/jenkins.listapt-get updatesudo apt-get install -y openjdk-8-jdksudo apt-get install -y jenkins#如果你的端口8080被占用#编辑`/etc/default/jenkins`， 修改 ----HTTP_PORT=8080----`为----HTTP_PORT=8081----` 在这里，“8081”也可被换为其他可用端口#启动Jenkinssudo systemctl start jenkinssudo systemctl status jenkinsjenkins的配置我们就省略了， 部署项目我们时 在开发测试环境可以直接在jenkins上直接运行docker实例，也可以把docker推到harbor上，至于harbor到k8s上后面在写一篇文章。
go项目为了省事我们把必要脚本都放到项目里面，项目结构如下：
我们的Dockerfile文件如下：
FROM golang:1.15.6RUN mkdir -p /appRUN mkdir -p /app/confRUN mkdir -p /app/logsWORKDIR /app ADD main /app/mainEXPOSE 8080 CMD ["./main"]build.sh文件是把docker镜像推到harbor上的【已经测试通过】
#!/bin/bash#cd $WORKSPACEexport GOPROXY=https://goproxy.io#根据 go.mod 文件来处理依赖关系。go mod tidy# linux环境编译CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o main# 构建docker镜像，项目中需要在当前目录下有dockerfile，否则构建失败docker build -t gavintest .docker tag gavintest 192.168.100.30:8080/go/gavintest:${BUILD_NUMBER}docker push 192.168.100.30:8080/go/gavintestdocker rmi gavintestdocker rmi 192.168.100.30:8080/go/gavintest:${BUILD_NUMBER}cd ..#删除项目文件夹rm -rf gavintestbuildtest.sh是在jenkins上直接运行docker实例
#!/bin/bash#cd $WORKSPACEexport GOPROXY=https://goproxy.io #根据 go.mod 文件来处理依赖关系。go mod tidy# linux环境编译CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build -o main#删除dockerdocker stop gavintestdocker rm gavintestdocker rmi gavintest# 构建docker镜像，项目中需要在当前目录下有dockerfile，否则构建失败docker build -t gavintest .mkdir logsmkdir conf2#挂载资源文件夹 运行dockerdocker run -d --name gavintest -p 9999:8080 -v $(pwd)/conf:/app/conf -v $(pwd)/logs:/app/logs gavintest在jenkins上创建一个 自由风的项目 gavintest, 调用shell脚本：
cd /var/lib/jenkins/workspace/gavintestchmod 777 buildtest.sh./buildtest.shjenkins构建结果：
访问结果：
修改配置
重启docker restart gavintest然后访问
这里需要用到pvc，关于pvc的搭建我就省略了， 大家可以参考 ubuntu kubernetes中使用NFS创建pv_pvc ,以下都是在k8s master上执行，[我为了方便把 端口改为80了而不在是8080]
命令空间1.准备namespace.yaml
apiVersion: v1kind: Namespacemetadata:name: golabels: name: gokubectl apply -f namespace.yaml#因为是私有的harbor所以需要创建regsecret认证,然后在deploy文件引用它kubectl create secret docker-registry regsecret --docker-server=192.168.100.30:8080 --docker-username=admin --docker-password=123456 -n=go#kubectl delete secret regsecret -n=go创建mypv.yaml （kubectl apply -f mypvc.yaml）
apiVersion: v1kind: PersistentVolumemetadata: name: pv001spec: capacity:storage: 100M accessModes:- ReadWriteMany nfs:path: /data/k8s/server: 192.168.100.11和mypvc.yaml （kubectl apply -f mypvc.yaml）
kind: PersistentVolumeClaimapiVersion: v1metadata: name: myclaim namespace: gospec: accessModes:- ReadWriteMany resources:requests: storage: 10M和deploy.yaml (kubectl apply -f deploy.yaml)
apiVersion: apps/v1kind: Deploymentmetadata: name: gavintest namespace: gospec: replicas: 5 minReadySeconds: 10strategy:type: RollingUpdaterollingUpdate: maxSurge: 25% maxUnavailable: 25% selector:matchLabels: name: gavintest template:metadata: labels:name: gavintestspec: imagePullSecrets: - name: regsecret containers: - name: gavintestimage: 192.168.100.30:8080/go/gavintest:20210301ports:- containerPort: 80imagePullPolicy: AlwaysvolumeMounts: - mountPath: "/app/conf"name: httpd-volume volumes: - name: httpd-volumepersistentVolumeClaim: claimName: myclaim我们可以用kubectl exec -it podnamexxx -n gobash 进入pod验证以下
或者 kubectl get pod -o wide -n go 查看ip直接访问
service.ymal (kubectl apply -f service.ymal)
apiVersion: v1 kind: Service metadata: name: gavintest namespace: go spec: type: ClusterIP ports:- port: 80targetPort: 80protocol: TCPselector:name: gavintest
ingress.yaml (kubectl apply -f ingress.yaml ) 可以参考 https://www.cnblogs.com/fanqisoft/p/11609172.html
apiVersion: extensions/v1beta1 kind: Ingress metadata: name: gavintest namespace: gospec: rules:- host: k8s.go.com http:paths:- path: / backend: serviceName: gavintest servicePort: 80配置域名host 然后访问：
手动部署结果成功：
修改配置文件 然后手动重启 以下pod 看看配置是否更新
#pod 重启方法1kubectl scale deployment XXXX --replicas=0 -n {namespace}kubectl scale deployment XXXX --replicas=1 -n {namespace}#方法2kubectl delete pod {podname} -n {namespace}#方法3kubectl get pod {podname} -n {namespace} -o yaml | kubectl replace --force -f -#方法4Kubernetes 1.15开始才有#kubectl rollout restart deploy {your_deployment_name}kubectl rollout restart deploy gavintest -n go
推送到harbor的效果图：
现在我们搞一个rollout.sh文件【需要和gavintest_dm.yaml同级目录】， 就是根据现有的deploy.yaml文件来生成新的部署文件，然后调用/data/k8s/rollout.sh 38 [38是harbor里面镜像版本号，如果有权限问题chmod 777 /data/k8s/rollout.sh]
#!/bin/bashworkdir="/data/k8s"project="gavintest"job_number=$(date +%s)cd ${workdir}oldversion=$(cat ${project}_dm.yaml | grep "image:" | awk -F ':' '{print $NF}')newversion=$1echo "old version is: "${oldversion}echo "new version is: "${newversion}sed -i.bak${job_number} 's/'"${oldversion}"'/'"${newversion}"'/g' ${project}_dm.yamlkubectl apply -f ${project}_dm.yaml --record=true
那么jenkins就可以用过ssh 192.168.100.11 "cd /data/k8s && sh rollout.sh ${BUILD_NUMBER}" 来调用shell了
错误Host key verification failed 的解决
a.jenkins普通用户无法执行某些系统命令;
b.我们并没有为jenkins生成过密钥对,也没有将他的公钥拷到目标服务器上.
在安装jenkins后,系统生成了jenkins这个普通用户,但是在/etc/passwd中,他的shell是/bin/false,所以他不能登录系统,也没有家目录;
首先我们修改他的登录权限,将/bin/false改为/bin/bash,切换到jenkins用户,su - jenkins,他的终端显示为-bash-4.2$,修改终端显示.
终端修改完之后长这个样子
生成密钥对
具体步骤
vim ~/.bash_profileexport PS1='[\u@\h \W]\$'source ~/.bash_profile# 给jenkins生成密钥对ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub root@10.0.0.41# 验证ssh 'root@10.0.0.41'3.使用sudo提升普通用户权限
此时是完成了第二步,但还没有操作第一步,在文件末尾添加一行,就这么一行就有很多要注意的地方,首先修改文件权限为600,然后用viduso去修改文件,中间的空隙不是空格,而是tab,命令和命令之间要用逗号,保存退出后,将权限改为440,而不是400,最后用visudo -c检查语法是否出错.
jenkins ALL=(ALL) NOPASSWD: /usr/bin/ssh, /usr/bin/rsync
jenkins ALL=(ALL) NOPASSWD: ALL
这两行内容任意选一个都行.
需要确保k8s master 的vi /etc/ssh/sshd_config 配置
重启 sudo systemctl restart jenkins,至于如何带哦用远程的sh我这里比较偷懒 直接用插件SSH remote hosts
1.jenkins账号运行docker 没有权限提示 ：dial unix /var/run/docker.sock: connect: permission denied 解决办法
sudo groupadd docker #添加docker用户组sudo gpasswd -a $USER docker #将登陆用户加入到docker用户组中docker ps #测试当前用户是否可以正常使用docker命令#把jenkins添加到docker的group里就可以了。sudo usermod -a -G docker jenkins#重启jenkins。systemctl restart jenkins2.jenkins在王harbor上推送失败，提示push: unauthorized to access repository，解决办法
#首先登陆harbordocker login 192.168.100.30:8080查看.docker/config.json 文件root@server:~# cat .docker/config.json {"auths": {"192.168.100.30:8080": {"auth": "Z2F2aW46R2F2aW4xMjM="}},"HttpHeaders": {"User-Agent": "Docker-Client/19.03.6 (linux)"}}#把.docker复制到/var/lib/jenkins目录下 cp -r .docker/ /var/lib/jenkins/修改文件夹权限 chown -R jenkins.jenkins .docker cd /var/lib/jenkins/ chown -R jenkins.jenkins .dockersystemctl restart jenkins 31.pod若处于运行状态，则通过kubectl logs 即可# 查看指定pod的日志kubectl logs kubectl logs -f #类似tail -f的方式查看(tail -f 实时查看日志文件 tail -f 日志文件log)# 查看指定pod中指定容器的日志kubectl logs -c kubectl logs pod_name -c container_name -n namespace (一次性查看)kubectl logs -f -n namespace (tail -f方式实时查看)2.若pod处于init状态，则需要通过docker ps查看#获取对应的pod namekubectl get pods -n namespace -o wide (STATUS是init的pod_name)#通过docker ps 获取该pod的中的CONTAINER IDdocker ps | grep pod_name#通过docker log获取对应的日志信息docker logs CONTAINER_ID附main.go
package mainimport (_ "demo/routers""github.com/astaxie/beego""github.com/astaxie/beego/logs")func main() {_ = logs.SetLogger(logs.AdapterFile, `{"filename":"logs/gavintest.log", "level":7, "daily":true, "maxdays":10}`)logs.Debug("website=%v", beego.AppConfig.String("website"))beego.Run()}default.go
package controllersimport ("github.com/astaxie/beego""github.com/astaxie/beego/logs")type MainController struct {beego.Controller}type responseData struct {Data interface{}Code intMsg string}func (c *MainController) Get() {website := beego.AppConfig.String("website")logs.Info("/get:website=%v", website)ret := &responseData{Data: website,Code: 200,Msg: "OK",}c.Data["json"] = retc.ServeJSON()c.StopRun()}