不过他却一直未婚，3个子女也都是同父异母，女儿赵式芝的妈妈是知名港星姚炜。
而两个儿子的妈妈，一个是港姐蔡珍妮，一个是外国模特TerriHoliday。据传赵世曾是一个不婚主义者，信奉的也是只恋爱不结婚，被说是他怕被老婆分家产。
作为港圈中有名的花花公子，赵世曾还自曝和上万名女新有关系，而且还是经过筛选的，如果不筛选，数目更加惊人。他直言“我每天都能与一位、二位、三位甚至四位女新约会。”
