中國人戴氈帽的歷史是很悠久的了。在《儒林外史》的開篇中，吳敬梓就給那位一度與范進一樣可憐的老童生周進戴上了一頂氈帽。因為薛家集的人決定聘請周進做私塾先生，所以開館那天，薛家集的頭面人物在觀音庵按慣例招待他，周進就是在一陣狗吠聲中出場的：“頭戴一頂破氈帽，身穿元色綢舊直綴，那右邊袖子同后邊坐處都破了，腳下一雙舊大紅綢鞋，黑瘦面皮，花白胡子。”如此一描，窮書生周進落魄的窮酸相也就栩栩如生了。氈帽在文學作品中似乎總是破落的苦命。魯迅不但讓他那愛大于恨的阿Q頭上加了一頂這樣的東西，也給他許多美好的回憶的少年閏土和給他帶來過無盡感傷的老年閏土頭上帶上了這東西。

在氈帽很流行的時候，其顏色大多是黑色，所以烏氈帽也就成了氈帽的代名詞。烏氈帽是尖頂、圓邊，前沿攤成簸箕形。它是用低檔羊毛反復錘煉，制成毛氈，再上漿、洗練、染色后套在模型上制成能拉開象“長油豆腐”那樣的帽坯，再經造型，成為尖頂圓邊的烏氈帽。農民買來后，一般都是自己再折成簸箕形，使雨水能從帽子的前沿流下，同時還可以在帽子上邊放香煙和票據等東西。

傳聞最初的氈帽并不是黑色，而是白色。在江南，制作烏氈帽的都相信老虎是他們的祖師爺。傳說生活在江南靠山的一位獵人一日追趕一只受傷的老虎至其洞穴時，發現了虎穴中余溫尚存的白色羊毛的圓形氈子。很明顯，這是老虎長期吃掉的羊的毛在老虎的屁股壓積下而成。正是大冬天，獵人也就順手戴在了自己的頭上。令獵人欣喜的是這頂“帽子”居然暖和異常。后來很多人就仿此形狀用羊毛做帽子。但因白色很容易臟，后來就染成黑色。

在江南，烏氈帽不僅僅農民戴，漁民、船工、瓦匠等經常風里來雨中去的下層人都戴，因此，烏氈帽一度時期是江南百姓的標志之一。解放前，茅盾、葉圣陶等人與魯迅一樣都經常在自己的作品中用烏氈帽來代指這些處于生活底層的勞苦大眾。今天，江南已經是中國最為富庶的地區，星羅棋布在青山綠水中的小洋樓也取代烏氈帽，成了江南人的標志。