部署了一个微服务应用，pod一直重启

Waxion · 2018 年7 月 10 日 03:04

部署了一个微服务应用，显示部署成功了。查看实例运行状态，发现在不断重启。

追踪日志发现

每次服务都会停止在这里

Waxion · 2018 年7 月 10 日 03:22

发现回报 OOMKilled 错误

Waxion · 2018 年7 月 10 日 05:28

今天有把一个node进行过增加内存的操作，从 16G -》32G,增加后重启过这个 node

Waxion · 2018 年7 月 10 日 05:32

vinkdong · 2018 年7 月 10 日 06:06

建议参考下面这个帖子提高限制内存： limits.memory , 一般情况下当容器使用的内存超过限制内存之后会发生OOMKilled。

Waxion · 2018 年7 月 10 日 06:12

我提高了 limits.memory 3G ，可以正常启动了。

Waxion · 2018 年7 月 11 日 03:29

今天发现昨天部署的微服务状态不稳定。重启次数有点多

Waxion · 2018 年7 月 11 日 03:41

追踪 pod的状态会出现如下情况

vinkdong · 2018 年7 月 11 日 03:45

这是内存不足导致的。

Waxion · 2018 年7 月 11 日 03:47

集群里面还有 7G的 free内存

vinkdong · 2018 年7 月 11 日 03:48

查看pod时候加上 -o wide 参数，可以看到pod所在的主机。查看该主机是否有足够的内存。

Waxion · 2018 年7 月 11 日 03:51

就是查看的node2的内存

vinkdong · 2018 年7 月 11 日 03:55

configs-server是否也运行在node2上?

Waxion · 2018 年7 月 11 日 03:55

是的

vinkdong · 2018 年7 月 11 日 03:57

这个pod运行到node2之后是否还继续重启呢。

Waxion · 2018 年7 月 11 日 03:59

这个pod 一直是在 node2上面的。我们的node2昨天加过内存。其他node 内存都不足了。

vinkdong · 2018 年7 月 11 日 04:27

尝试删除这个pod,如果仍然重启，建议加大限制内存。

Waxion · 2018 年7 月 11 日 06:00

我删除了pod 仍然不断重启 config-service这个也在重启。

vinkdong · 2018 年7 月 11 日 06:30

尝试调大限制内存

helm upgrade config-server c7n/config-server --version=版本号 -f &lt;(helm get values config-server) --set resources.limits.memory=3Gi

Waxion · 2018 年7 月 11 日 06:39

我重新部署了一个应用，我把 limits.memory 和 request.memory都注释掉就没有报错了。
我感觉这个问题可能和我单独扩容了一个node的内存有关，放到这个node上的pod 如果有内存限制都不稳定。
就是说这个node扩容的状态并没有同步到其他的matser 节点上