関ジャニ∞大倉忠義、ファンの過剰な行為に苦言「普通の人に戻る方がよっぽどらく」