張伯駒一生結過四次婚，有一兒一女，最后一任妻子潘素才是最愛。和一般的名門貴公子一樣，張伯駒的第一任妻子是包辦婚姻，他的妻子李月娥是安徽亳州人，官宦人家的千金，是個纏足的小腳女人，沒有受過多少文化教育，張伯駒和她沒有感情，也沒有和她生過兒女。

張伯駒的二房鄧韻綺是北京的京韻大鼓藝人，鄧韻綺的名字是張伯駒給她起的。鄧韻綺出身貧寒，既然她是唱戲出身，肯定相貌漂亮。在北京的各種交際場合都是鄧韻綺陪伴張伯駒出席。鄧韻綺沒有子女。

張伯駒的三房王韻緗也是窮家女出身，只生了兒子張柳溪。王韻緗的名字也是張伯駒取的。料理家事由三房王韻緗負責。

1935年，張伯駒遇到了他一生的最愛潘素。潘素她蘇州名門千金，前清著名的狀元宰相潘世恩的后代，幼年時期，她的母親聘請名師教她琴棋書畫，她擅長彈琵琶，繪畫也非常好。

可惜潘素十三歲時母親病逝，父親繼娶，后來家道中落，她被繼母王氏賣到上海的青樓，成為風塵女子。潘素天生麗質，容貌絕美，風姿綽約，外號“潘妃”，張伯駒對潘素一見鐘情，還寫了首詩贊美她：“潘步掌中輕，十步香塵生羅襪；妃彈塞上曲，千秋胡語入琵琶”。

這時潘素二十歲，張伯駒三十七歲。張伯駒斷除層層阻力，娶了潘素，從此兩人夫妻恩愛，形影不離，白頭到老。潘素為張伯駒生了女兒張傳彩。1948年，張伯駒和二房鄧韻綺離婚了,1952年，張伯駒和三房王韻緗離婚。從此潘素和張伯駒一夫一妻，相伴度過后半生。