趙世曾有多少個億沒有人統計過，所以并不清楚。在上世紀香港娛樂圈鼎盛時期，也趕上劉鑾雄事業大發的階段，他也趁勢泡女明星，炒緋聞，當時大劉上了不少娛樂版面，很多娛記回憶當年還是歷歷在目。其實在香港還有一位富豪風流史比大劉還多，這個人就是趙世曾。

在玩女人方面大劉絕對不是趙世曾的對手，趙世曾曾經說過："女人是我人生的樂趣來源！"可是如此"愛"女人的趙世曾卻給自己立下了很多規矩。趙世曾曾經公開表示，他雖然會和女人交往，但是絕對不會結婚。所以趙世曾一直流連花叢卻片葉不沾身，堪稱玩家中的玩家。

趙世曾之所以不結婚，是因為他打從心底里不相信女人，而且他身家幾十億，他認為和他結婚的女人多半都是看上了他的財產，一旦離婚趙世曾就會虧本。對于商人趙世曾來說，虧本的買賣他從來不干，所以他坦言自己不會結婚。和趙世曾交往的女人其實也比較委屈，因為她們甭想從趙世曾身上撈到太多好處。

趙世曾會按照女友的"表現"賞賜她們，可是絕對不允許女人蹬鼻子上臉，也就是說趙世曾認為給你可以，但是你不能要。雖然趙世曾有幾十億身家，但是他卻非常的摳門，外出吃飯一定會打包，修腳只花500塊，對自己都這么摳門的男人又怎么會舍得給女人花錢呢？

其實大劉很早以前就揭露了這些富豪的本質，他直言，其實大部分富豪都很節省，他們雖然喜歡賺錢，但是不喜歡花錢。所以趙世曾也是同樣，他喜歡玩女人，但是不會為了女人砸錢。但即便如此，還是有很多女人愿意撲過來，所以趙世曾從來不會為女人發愁，他還有一位好友就是邵逸夫，因為他們關系比較近，所以趙世曾因此有更多機會和女明星交往。打開趙世曾的花名冊，可以看到很多當年正夯的女明星，例如蔡珍妮、姚煒、方怡珍、陳鳳芝和樂蓓等藝人都榜上有名。