《史记·孝文本纪》记汉文帝之言，曰：“古之治天下，朝有进善之旌，诽谤之木，所以通治道而来谏者。”解注说：“诽谤之木”是“尧作之，桥梁交午柱头”，“所以书政治之愆失也。至秦去之，今乃复施也”。就是说，古人认为“诽谤之木”是上古尧帝当政时期，设立的状似“午”字的木制装置，其作用是提供百姓陈写政治意见。而秦统天下后，为了控制言论，于是就将其废止，汉文帝为了广开言路，再次将其恢复。
关于“诽谤之木”来历的说法，自然不足信，尧舜当政，理应还处于“结绳而治”时期，断不可能已有文字。先秦诸子也不见有“诽谤之木”的确用记载，大抵只是传说而已，而汉文帝却将这项传说中的政策落了实。由此也可知，逮至汉朝“诽谤”一词还是笼统的“非议”之意，也就是说有客观属实和恶意构陷之别。刘邦数秦朝之罪，说“诽谤者族，偶语者弃市”，则“诽谤”即“非议”也。
汉文帝的“诽谤之木”成效究竟如何，史籍不细载，实难详知。不过，从后世都沿循此项制度的角度而言，应有其用。起码，开明纳谏的象征新重于其实用新。也因此越往后“诽谤之木”的制作工艺和用料越是得到了提升。最终，以大理石为质料，雕龙刻凤于其上成了定制。大概凡是对专制统治者的非议，都属于歪曲、造谣、诬蔑、恶意中伤之类，因而“诽谤之木”的“诽谤”也就只剩下了与这些词汇同义的负面之意，“诽谤之木”自然也就不再能承担“诽谤”之用了。称谓自然也需改换，新名曰：华表。至今沿用。
