现象

nginx 的日志中有两个关键错误

1. no live upstreams while connecting to upstream
2. upstream prematurely closed connection while reading response header from upstream

安装部署后，BK_DOMAIN 默认使用的是 bktencent.com，PaaS 的访问域名为 paas.bktencent.com。

此文档将以配置为 *.bk.example.com 为目标展开说明（此时 PaaS 的 paas.bk.example.com）

Issue

1. 晚饭过后，同事找过来看个问题，机器磁盘满了，问有什么方案找出大文件，我说这个就只能遍历目录找了，推荐了 ncdu 这个工具给他去扫描目录
2. 同事找了一圈，没有找到大文件。我也看了下数据盘空空如也，系统 USED 97%，/tmp 、/var/log、/root 这些容易藏污纳垢的地方看了一眼，居然一切正常
3. lsof | grep delete 一看，哇咔咔[Doge]。 rsylogd 写入 /var/log/message 快 90G 了，而且 /var/log/message 是 deleted 状态的

Running in BKCI

现象

获取 consul kv 时抛出异常：connection reset by peer

mysqldb.constants.field_type’ has no attribute ‘json’

• install/upgrade mysqlclient

• refer: https://docs.djangoproject.com/en/3.2/ref/databases/#mysql-db-api-drivers

Issue

• 版本 celery==4.4.7
• strace celery 发现：/dev/shm 权限为 600

服务运行状态及环境检查

1. 通过 job 在目标 ip 上执行任意作业，确定目标机执行 job 作业是否正常。
2. 搜索 gse_syncdata 服务进程的日志，检索 关键字 taskdriver，关注warn 和error 级别的信息。
3. 排查是否目标环境所有ip 都存在此问题，还是仅有个别ip 是错误的。
4. 排查目标ip 录入cmdb 的云区域与实际部署时配置的是否一致。
5. 版本依赖关系：gse_syncdata 1.7.9 依赖 cmdb-v3.10.1及以上，gse_syncdata api 配置参数模板，如下：

0x01 起因

本来想搞个 Prometheus 把房子里的两台服务器监控起来的，看完 Prometheus + Grafana + node_exporter 的实现方案，对自己发出了疑问？我究竟是想要监控什么？我无非只是想要个大屏看着爽而已。