趙世曾目前有多少資產不明。趙世曾透露，他三四十歲時，最愛泡女明星和選美冠軍。那時他是邵逸夫家的常客，整天在邵的住家舞會中泡到不少女明星。而與他戀愛過的女星和美后包括盈盈（蔡珍妮）、姚煒、方怡珍、陳鳳芝和樂蓓等人。

“老實說，年輕的時候跟我在一起的全是女明星，都是她們自己黏過來的，是覺得我對她們的娛樂事業有幫助，有多些宣傳作用，我可以說是被她們利用。”

趙世曾說過：“結婚很麻煩，尤其在香港當前的法律體系下，對方會分割走大量的財富。不結婚則要安全得多。”雖然他曾與過萬女子約會，但仍舊孤身一人，一生未婚。

1977年，41歲的趙世曾與女星姚煒相識、相戀，但1979年生下長女趙式芝后，姚煒就離開了趙世曾。姚煒曾說：“他總以為所有女人在他身邊都是為了錢，所以我決定什么都不要，抱著女兒離開，搬到父親的廉租屋住。”

與趙世曾分手后，姚煒專注演藝事業，1984年拍攝了電影《金大班的最后一夜》，該片也成為她的代表作，姚煒憑著演活白先勇筆下的“金大班”名噪一時。而她并不否認，這段感情經歷的確有助于她對金大班情感的詮釋。

1984年，趙世曾與女友盈盈（蔡珍妮）誕下兒子趙式浩。1992年，趙世曾與比他小30歲、漂亮的美籍越南裔女子特麗-霍拉迪（TerriHolladay）舉行海陸空訂婚儀式，但沒有正式注冊。特麗于1994年誕下趙式正，三年后與趙世曾分手。