與趙世曾戀愛過的女星和美后包括盈盈（蔡珍妮）、姚煒、方怡珍、陳鳳芝和樂蓓等人。趙世曾說過：“結婚很麻煩，尤其在香港當前的法律體系下，對方會分割走大量的財富。不結婚則要安全得多。”雖然他曾與過萬女子約會，但仍舊孤身一人，一生未婚。1977年，41歲的趙世曾與女星姚煒相識、相戀，但1979年生下長女趙式芝后，姚煒就離開了趙世曾。姚煒曾說：“他總以為所有女人在他身邊都是為了錢，所以我決定什么都不要，抱著女兒離開，搬到父親的廉租屋住。”

與趙世曾分手后，姚煒專注演藝事業，1984年拍攝了電影《金大班的最后一夜》，該片也成為她的代表作，姚煒憑著演活白先勇筆下的“金大班”名噪一時。而她并不否認，這段感情經歷的確有助于她對金大班情感的詮釋。1984年，趙世曾與女友盈盈誕下兒子趙式浩。1992年，趙世曾與比他小30歲、漂亮的美籍越南裔女子特麗-霍拉迪舉行海陸空訂婚儀式，但沒有正式注冊。特麗于1994年誕下趙式正，三年后與趙世曾分手。

據某門戶網站2008年11月30日報道，趙世曾、羅莉莎和周汶锜等28日晚出席手表品牌豪門世家晚宴，趙世曾由世界小姐（中國）蔣欣妍陪伴進場，很有氣派，他大贊對方漂亮。問到他女友Wendy漂亮還是世界小姐漂亮？他笑說：“怎么比，她又不是我女朋友。”

提到近日不少名人結婚，他自言目前來說都沒可能結婚，也從來沒有過結婚的沖動。他說：“我一生的幸福，最重要就是不結婚。結了婚不會有這么多開心日子，自由無人管，可以日日新款。”至于姚煒和TerriHolladay，他稱已是很久以前的事了。他還笑稱金融海嘯不會影響他認識女朋友，他說：“少了生意，多了時間做自己喜歡的事。”