シナリオ２でToo many open filesが出る

[ramenjuniti]

ログ画面

[ramenjuniti]

https://sunrise201911-team-b-kakeru-report.s3-ap-northeast-1.amazonaws.com/hakaru-365680141.ap-northeast-1.elb.amazonaws.com%3A80/20191103-1405/report.html

[ramenjuniti]

[YamagishiRyu]

[YamagishiRyu]

ELB 5XX 92419
HTTP 504 92419

[ramenjuniti]

エラー一部
Nov 3 14:11:00 ip-10-1-13-230 hakaru: 2019/11/03 05:11:00 http: Accept error: accept tcp [::]:8081: accept4: too many open files; retrying in 1s

[pei0804]

#17 (comment)
ELBのせいではないということがわかったとか書くとよき。

[YamagishiRyu]

CPUは100%近くでmemoryがだいぶ消費されている

[YamagishiRyu]

　

file open の上限
なんかソフトとハードの二つある

[YamagishiRyu]

https://pikesaku.wiki.fc2.com/wiki/ulimitについて

ソフトが適用される制限値。
ハードはユーザーが変更可能な上限値。

ulimitは一度に何個ファイル開けるかという数字。too many open filesはこの値を超えたときにでる。
今回のAPIはファイルを開いているのと同等なのでこのエラーが出たのではないか

[yamato3310]

アプローチ

今回は一秒間で2000リクエストが来る
しかし、サーバーのファイルを開ける上限が1024だったため、デフォルトの上限の4096に変更をする

想定インパクト

too many open filesが減るだろう

モニタリング項目

hakaruのログ

結果/考察

[YamagishiRyu]

https://sunrise201911-team-b-kakeru-report.s3-ap-northeast-1.amazonaws.com/hakaru-365680141.ap-northeast-1.elb.amazonaws.com%3A80/20191103-1438/report.html

[YamagishiRyu]

[ramenjuniti]

https://github.com/voyagegroup/sunrise201911-team-e/issues/11

[yamato3310]

アプローチ

ulimitの上限を上げることによって、さばける量を増やす
http://blog.father.gedow.net/2016/03/28/limits-of-systemd/

想定インパクト

too many open filesがなくなる

モニタリング項目

EC2のログ

結果/考察

[YamagishiRyu]

hakaruのulimitが増えてる
1006500はOpen filesの上限数

[pei0804]

基本なにか確認したらログとか貼ってほしい。何を書いたら出たとかみたい。

[ramenjuniti]

https://sunrise201911-team-b-kakeru-report.s3-ap-northeast-1.amazonaws.com/hakaru-365680141.ap-northeast-1.elb.amazonaws.com%3A80/20191103-1616/report.html

[YamagishiRyu]

数はELBとアプリケーションの504が合っていて、アプリケーションの値ということがわかる

[ramenjuniti]

[YamagishiRyu]

リクエスト数が安定していない、、、８万なんとかぐらいしかない
かけるがいけないんじゃね？→ #21