趙世曾曾自曝以前玩過五位數的女人，并且全是精心挑選出去的上上品美女。趙世曾為了更好地夜夜新郎，盡管有兄弟倆和一個閨女，可是迄今沒有婚姻生活拘束，他的一生便是休閑娛樂，成千上萬男生的理想生活。

年過花甲的趙世曾，是趙從衍大家族繼承者之一，另外他也是媽媽最看中的孩子之一。他的爸爸趙從衍與包玉剛、董浩云、曹文錦在20世紀七十年代末被稱作“中國香港四大船王”。趙世曾今年已經71歲，他曾放話玩過的女性總數超出5位數，并且還是歷經挑選的，如果不挑選，數量更為令人震驚。

“我每日都能與一位、二位、三位乃至四位女士幽會。”趙世曾的花花公子風格在中國香港十分知名，乃至有“中國香港第一玩家”的頭銜。趙世曾表露，他三四十歲時最喜歡泡女星溫馨后。那時候他是有“中國香港美女挖機”之稱的邵逸夫家的熟客，一天到晚在邵的居家晚會中泡到許多女星。

趙世曾自曝曾與上萬名女人登過床，而與他談戀愛過的女明星溫馨后包含瑩瑩、姚煒、方怡珍、陳鳳芝和睦蓓等，“老實巴交說，年輕的時候跟我在一起的都是女星，全是他們自身黏回來的，是感覺我對他們的游戲娛樂工作有協助，有多一些宣傳策劃功效，我能說成被他們運用。”

宣稱有一萬個女朋友的趙世曾，女朋友們均一身珠氣寶光，但是流傳這種珍貴飾品僅僅出借女朋友配戴，以后要償還，他出門食飯亦會將吃不完的食材裝包回府。他被問起婚姻觀時曾說：“年青時標準好，風流一下又何妨，說白了人不風流枉少年，風流本沒罪嘛!”