Track g4dn inference server OOM

instance swap 사용되는 것 확인

virt 43.635, res 0.014t

근데 cpu사용률 왤케 높지?

아니 들어가서 top좀 봤다고 죽어버리네..

docker container별 메모리  사용량을 보자

음.. 현재 datadog에서 항상 죽을때 log가 4k이상 쌓이는걸 볼 수 있다. 음 main container 메모리는 하드 리밋이 걸어놓은대로 잘 걸려있다. 이에 반해 logrouter가 메모리 리밋이 걸려있지 않네..? 문제가 생길 수 있을 것 같은데.. 높은 확률로 문제가 되어 보인다. 우선 infer server에 리밋을 좀더 13gib로 할당이 필요해보이고 logrouter에도 추가적인 hardlimit 조치가 필요해보인다.