妻妾兒女的家事不善應付，常常為了家務鬧得大家不開心。舉一個例來說，他原本住在華格臬路，但是地方不大，氣派不夠，所以另外在杜美路古拔路轉角造了一座很大的新式住宅，將要入住時，家庭間鬧得不可開交，杜氏氣惱非常，又不敢向妻妾發洩，遷延又遷延。後來有一位風水先生來說，這個宅子，殺氣太重，住進去家中必多口舌，且有惡象隱伏，於是讓杜氏在花園中另建一亭，用來鎮壓風水。但是亭子造成之後，家中反而越鬧越厲害，杜氏竟然束手無策，所以這座巨宅，空置了多年。直到抗戰開始，杜氏離滬，始終未進入這座新屋住過一宵。

還有一件事，就是他的疾病。最初患的是痰飲症（即慢性支氣管喘息），後來轉為哮喘症，我在民國十九年開始為他診視，我對他說：“這病只能治標，沒有根治的辦法。”他說：“中西醫不知看過多少，只有你肯說這句老實話。”但是他每次發病，總是急得不得了，好像危在旦夕一般，堅決的意志被病魔折磨殆盡了！

一九四九年五月二日，杜氏乘渣華公司最後一隻郵船“寶樹雲”號來港，住在堅尼地臺二十號陸姓建築商住屋中，杜氏的生活環境為之大變，而哮喘的發作更頻，除了喘病之外，還有嚴重的神經衰弱症象。他本來是意志極堅強的人，到這時意志也極度的薄弱，一天到晚疑神疑鬼。一時中西名醫畢集，有時一天要請幾個醫生，而且有兩位醫生，早、午、晚要連看三次；同時各種各式的迷信辦法也試過。終於他在六十四歲生辰的前一天與世永別。時為一九五一年八月七日。

六家要旨 儒俠並論

這篇文字，我僅是以我所見的實況寫出，對耳聞之事提及較少，不足以傳述杜氏的生平全部事蹟。

司馬遷寫《史記·遊俠列傳》，有一個很好的見解，說是“六家要旨，儒俠相併”，但是《遊俠列傳》中的人物，如朱家郭解，不過是排難解紛。季布季心，也不過是重諾守信，所以要是與杜氏來比較，那些遊俠就差得太遠了！

至於歷史上有名的富翁，如石崇、王愷，不過是自己生活豪奢，更不足與杜氏相提並論了！