赵世曾是香港四大船王赵从衍的儿子，家族坐拥百亿资产，他更是一生富贵优渥，豪车美女相伴。
不过他却一直未婚，3个子女也都是同父异母，女儿赵式芝的妈妈是知名港星姚炜。
而两个儿子的妈妈，一个是港姐蔡珍妮，一个是外国模特Terri Holiday。据传赵世曾是一个不婚主义者，信奉的也是只恋爱不结婚，被说是他怕被老婆分家产。
作为港圈中有名的花花公子，赵世曾还自曝和上万名女新有关系，而且还是经过筛选的，如果不筛选，数目更加惊人。他直言“我每天都能与一位、二位、三位甚至四位女新约会。”
他还偷露过，在他三四十岁时，最爱和女明星及选美小姐们约会，比如姚炜、方怡珍、陈凤芝和乐蓓等人。
早些年，赵世曾还花百万请林志玲来参加自己公司的活动，更是公然牵住林志玲的手，当时林志玲也是面露尴尬，而赵世曾却显得很开心。
