而那些遊蕩在格雷德大橋附近的閒人中也流傳著許多有關柯溫的流言蜚語，而其中的很多傳聞都與鎮子裡那座屬於柯溫名下、修建在奧爾尼庭院中的房屋有關;相比之下，與那座在1761年‐‐這個男人幾乎有一百歲年紀時‐‐修建起來的新房子有關的傳聞要少一些，大多數傳聞都是在談論那座有著低矮復折式屋頂、無窗閣樓以及木瓦牆面的老房子。在拆毀那座老房子的時候，柯溫極端警惕地燒掉了所有從老房子裡拆下來的木材。的確，這兒沒有那麼神秘;可是，人們卻常看見房子在入夜後還會亮上好幾個小時，房子裡僅有的兩個男僕全是面板黝黑、舉止鬼祟的外國人，而那個年老得不可思議的法國女管家常會口齒含混卻又讓人毛骨悚然地喃喃自語，另外人們常看見大量的食物被送進了那座裡面只居住著四個人的老房子，還經常在極為不合適談話的時段裡聽見房子裡傳出一些模糊不清的交談聲‐‐所有這些，再加上那些與波塔克西特農場有關的流言蜚語，給這座房子帶來了一個非常糟糕的名聲。

在上流社會的圈子裡，柯溫的家也是眾人討論的焦點;身為一個逐步融入鎮教會與商人圈子的外來者，他自然認識了不少上流人士，而與這些上流人士做伴和交談時也顯得如魚得水。他有著很高貴的出生，因為在新英格蘭地區，柯溫家族‐‐或者說塞勒姆的柯溫家族‐‐是不需要人引薦的。人們紛紛認為約瑟夫&iddot;柯溫在年輕的時候經常旅行，去過很多地方，而且他曾在英格蘭生活過一段時期，還曾至少兩次坐船去過東方;當正式發言的時候，他的說話方式像是一個博學而又有教養的英國人。但出於某些原因，柯溫並不熱衷於社交。雖然他從未有意地冷落過任何一個訪客，但是柯溫始終都在自己面前豎著一道含蓄剋制的高牆，以至於很少有人能想到可以和他說些什麼話題卻又不會顯得自己空洞無聊。

此外，他的行為舉止裡似乎也潛藏著某些隱秘而又不屑的傲慢與自大，彷彿他曾與某些更加古怪也更加強大的存在打過交道，並且發現所有的凡人都非常乏味無趣。1738年，當風趣智慧而又赫赫有名的查克理博士從波士頓調來擔任國王教堂教區牧師的時候，他曾刻意地拜訪了這位他在不久之後將會經常聽人提起的怪人;但查克理博士只在柯溫家中待了很短的一段時間，便起身告辭了‐‐因為他從主人的談話中察覺到了某種險惡不祥的暗流。查爾斯&iddot;瓦德與自己的父親在一個冬天的傍晚討論起柯溫的種種事跡時曾告訴父親‐‐他非常想知道這個神秘的老人到底對那個精力充沛的神職人員說了些什麼，但所有留下日記的人都一致聲稱查克理博士根本不願意複述他聽到的任何內容。這位好牧師被嚇壞了;雖然他以舉止歡快得體聞名，但他回憶起約瑟夫&iddot;柯溫的時候卻從未表現過絲毫的高興與文雅。

不過，另一位有品位有教養的先生迴避這個傲慢隱士的理由卻要明確得多;1746年，一位在文學與科學方面頗有見識的英國老紳士，約翰&iddot;梅里特先生，從紐波特搬到了鎮子上‐‐因為當時普羅維登斯的地位已飛快地超過了紐波特。他在奈克街‐‐也就是現在最佳住宅區的中心地段‐‐修建了一座漂亮的別墅，並且過起了極為時尚而舒適的生活。梅里特先生最早在鎮子裡用上了四輪馬車和穿著制服的僕從。此外，他還為自己擁有的望遠鏡、顯微鏡以及大量精選出的英文和拉丁文藏書感到非常自豪。在得知柯溫擁有全普羅維登斯最好的圖書館後，梅里特先生早早地拜訪了他。而柯溫接待他的時候，也遠比接待其他訪客時要親切熱