到了明朝，官员们仍沿袭宋制戴纱帽，但皇帝已不再戴了。从明世宗时开始，人们将纱帽称之为“乌纱帽”，同时其双翅也做了一些变动：不但翅的长度缩短了，而且其宽窄也不相同；官阶越大，纱帽的双翅越窄，反之亦然。其形状和后世戏台上的乌纱帽基本一样。

清初顺治帝入关时，由于收留了许多明代降臣，而且为了笼络人心，允许不少地方官员仍穿明代朝服，戴明代乌纱帽。等到清室统治巩固，才下令将官员戴的乌纱帽改变为红缨帽。但人们仍习惯使用“乌纱帽”一词，久而久之，“乌纱帽”便成为官位的别称了。时至今日，我们仍将罢官现象称为“丢了乌纱帽”。