据说，他出生时，父亲已经64岁了。乔羽的爷爷是清朝的秀才，父亲也是读书人，所以对他也是严加教育，乔羽3岁时父亲就教他认字，乔羽4岁时就认识了3000多个汉字。
不过因为家庭并不富裕，乔羽靠着哥哥做店员赚钱入学。而他的创作之路，也是从1946年开始展露，当时乔羽已经在报刊发表诗歌和小说，还写过秧歌剧。新中国成立后，乔羽被调往北京的中国剧本创作室工作。
后来，乔羽在同事的介绍下，与妻子佟琦相识相爱。但由于佟琦家境不错，许多人都觉得两人并不适合，但乔羽对佟琦痴心一片，《让我们荡起双桨》这首歌曲就是在跟佟琦热恋期间创作。据说，当时儿童片《祖国的花朵》需要一首歌曲，相关部门安排乔羽创作歌词。
可惜他苦思冥想也写不出来，于是佟琦就陪着他去北海公园玩。两人坐游船看到一队少先队员划着桨，悠然地从他们身边划过。乔羽由此来了灵感，直接在公园里就创作出了《让我们荡起双桨》的歌词。
后来乔羽跟佟琦正式结婚，两人婚后育有两个儿子一个女儿。大儿子名叫乔鲸，1956年出生。小儿子名叫乔方，女儿叫乔国子。
