どのような感じになるのを望んでいるのかはわかりませんが・・・
幾つか気になった点を書きます。

モディファイアは適用する順番で効果が異なるのは理解されていると思います。
(適用順を示されているので、そのように思いました)
subsurfの適用位置を上位に上げたほうがいいと思います。
subsurfで算出されたデータが以降のモディファイアに適用されるようになります。
膨らむのはコリジョンの適用最小距離が大きいせいだと思いますが・・・。

確認したファイルを添付しておきます。
私の環境では重かったので幾つか設定をオリジナルから変更してあります。

:download:clothman2.blend

ベースになるオブジェクトは必要十分な細分化がされていれば問題ないと思います。
ベースは軽い方が扱いやすいですし・・。
これは２分割したplaneを使用しているだけです。


:download:squarecloth.blend