乌纱帽最早出现在东晋。咸和九年（公元334年），东晋成帝一时兴起，让在宫廷中做事的官员统一戴一种用黑纱做成的帽子，是为最早的乌纱帽。到了南朝刘宋时，有个叫刘休仁的名士别出心裁，制造了一顶用黑纱抽扎边沿的帽子，也叫乌纱帽。因为样式独特，这种帽子很受民间追捧，很快风行一时，不分贵贱、不分官民皆得而戴之。

隋朝时，乌纱帽成了等级的标志，乌纱帽上的玉饰数量有严格的级别限制，一品官纱帽上的玉饰可以有九块，而六品之下的纱帽则不允许有任何玉饰。到了唐朝，乌纱帽更是摇身一变，身价倍增；据《唐书·舆服制》：“乌纱帽者，视朝及燕见宾客之服也。”《唐书》说得很清楚，乌纱帽是重要场合———官员们上朝和宴请宾客时所必须戴的，是正规场合礼仪所必需。在这一刻，乌纱帽完成了从灰姑娘到白天鹅的转变。

宋太祖赵匡胤陈桥兵变、黄袍加身之后，为防止大臣在朝廷之上交头接耳，就下了一道诏书，命令所有的官员都要在乌纱帽两边各加一只尺余长的翅子，并装饰以不同的花纹以示官阶。这样，在朝堂之上，如果有人交头接耳，两只帽翅自然摆来摆去，有时甚至可能会把对方的纱帽碰掉，出于礼仪的考虑，朝廷之上，交头接耳的自然也就少了起来。

乌纱帽最后一统天下是明朝的事情。1370年，明政府规定：凡文武官员入朝，必须要戴乌纱帽，穿团领衫。并且规定，官阶越高，纱帽的双翅就越窄，反之就越宽。从此之后，乌纱帽成为了官员的专利品，普通百姓不许染指。从明朝开始，乌纱帽正式成为做官的代称。