从1977年到2010年，他的交往对象全都是妙龄女子，外界常戏谑他谈“爷孙恋”。还曾有媒体曝出，赵世曾还曾花百万只为牵手林志玲。
▲媒体整理的赵世曾交往对象
▲赵世曾与林志玲
玩世不恭的赵世曾没能继承家业，他自称“白手起家做地产”，不仅结交了李嘉诚、霍英东、郭炳湘等赫赫有名的地产大亨，还与“影视大佬”邵逸夫称兄道弟，并通过他“猎园”了不少女星。
其中，邵氏女星姚炜、蔡盈盈，分别为他生下长女、次子，混血名模Terri与他生下第三子。三个孩子三个妈，全都没嫁入这位富豪家，因为赵世曾从不妻娶，怕“结婚会被分掉身家”。
尽管如此，三伯却为长女赵式芝草碎了心。赵世曾曾宣布用5亿在全球征女婿，只要能“扳直”女儿。
没错，他的女儿喜欢女生，还是中国香港史上第一位公开同新婚姻的名人，虽然她最终以离婚收场，但并未改变新取向。
明姐的弟弟赵式庆（庆弟），也一度被认为是一个有些“另类”的豪门公子哥。
作为家中独子，赵式庆原本被当做继承人培养，而他却对家族生意一点不感冒。庆弟大学的时候，就悖逆家人的意志抛弃法律，选择修读哲学；在学习打理家族生意时，也对继承祖业意兴阑珊。
相反，赵式庆对武术文化、少数民族文化的传承颇来电。他曾创办“中华国术总会”，在世界范围内传播中华武术文化，并以学者身份去书展、学校开一些武术和影视文学的讲座。
