中国的男人们大抵最害怕自己戴上那"绿帽子"，说来有一段让人饶有兴趣的史话。关于绿帽子，民间说法即已有家室的女子出轨，多存在讥讽意味。那么，"绿帽子"的说法早先是因何而来呢？
若论由来，有四种说法，第一种说法。"绿帽子"起源于元明两朝，是由从事妓院歌坊等贱业的标志色演变而来。第二种说法。"绿帽子"的由来是从元朝开始的。从原来在妓院里做工的男人戴绿头巾演变成中国男人最怕的一顶帽子，那就是"绿帽子"还有一种说法，与第一种说法大同小异，只是把戴着绿帽子的偷情信号，从妻子的头上发出变成了由丈夫的头上发出了。也就是说，只要是看到丈夫戴着绿帽子外出，这便是可以幽会偷情的信号。
但是在春秋时期却不是如此，春秋时期，生存对于一般人而言都是很大的问题，老实种地的农民遇到战火说不定就颗粒无收，可是这种现象在当时太普遍了，不少人在失去土地后并没有正经营生可做来养活自己。没有财产又没有收入，这该如何是好呢？一些男子就动了自己妻女的邪念——让她们出去卖淫。无论拿正经事养活自己，还是拿邪门歪道养活自己，都得打个广告让别人知道自己是干什么的。卖个米面还能吆喝吆喝，卖自己妻女大庭广众下吆喝那太丢人了，怎么让别人知道自己是卖老婆姑娘的呢？那就带个绿头巾吧。当时以妻女卖淫为生的男子并不在少数，大家皆不不约而同的戴起了绿头巾，绿这个颜色就从这儿有了引申含义。《七修类稿》中记载道："及见春秋时有货妻女求食者，谓之'娼夫'，以绿巾裹头，以别贵贱。"
据传，在明代初期，当朝皇帝朱元璋下令，凡是家中存有娼妓者，男性皆需头戴绿色头巾，腰系红褡膊，自此，"绿帽子"就此传开。娼妓在古时为青楼女子，作为已有家室的女性，依旧选择卖淫为业，在当时难免少不了"偷汉子"的指责，而娼妓的丈夫们头戴绿巾，由此，"绿帽子"取代了"偷汉子"，成为男性最觉耻辱的称谓。据传古时候，有一对夫妻。妻子是一位主妇，生得娇艳可人、风韵犹存，平时在家里做点针线活，因生得貌美，早就已招徕一些狂蜂浪蝶追求；丈夫是一个生意人，要经常到外地去做生意。两口子的日子过得也富裕，在丈夫外出的日子里，妻子就不免枕冷襟寒、寂寞难耐。
终于有一天，妻子忍不住跟街市一个卖布的好上了，在丈夫外出做生意的时候，他们就巫山云雨地在一起厮混。有一次，丈夫回家后三个月都没有外出，直急得那个卖布的天天在他们家附近打转。一天，丈夫骑着马到城外打猎去了，经过街市，那卖布的见了非常高兴，以为他又要外出做生意，当晚就迫不及待地窜进了妻子的卧室，准备和相好幽会。
当晚丈夫回来了，几乎将他逮了个正着，妻子也吓了个半死，那卖布的只好哆嗦在人家的床底一整晚。这件事后，妻子就向那卖布的要了一块绿色的布料，做了一顶帽子给丈夫，还和那卖布的约定，当你看见我丈夫戴上绿帽子外出的时候，你就可以来了。过了几天，丈夫又要外出做生意了，妻子赶紧拿出那顶绿帽子对丈夫说："外面的风沙大，戴上就不会弄脏头发。而且这颜色让你看起来很俊，以后你每次外出我都为你做一顶，就像我跟在你身边一样，你就不用牵挂我了。"丈夫听了很开心，以为自己真的很俊，于是高高兴兴戴上那顶绿帽子，骑着马得意洋洋穿过街市，到外地做生意去了。
当晚，他妻子就和那卖布的睡在他的床上。以后，那个卖布的凡见了那丈夫戴着绿帽子外出时，心里都不禁心花怒放："哈！你的
绿帽子真是很俊，不过今晚该到我俊了。"于是，绿帽子的说法就这样传下来了。
在民间广泛传播下，"绿帽子"流传至今，显然已经成为男性尊严的践踏品，为不可触碰的底线。在中国百姓心中，被戴绿帽是极为丢脸、耻辱的事情，如果，不幸经历此类事件，多数男性宁愿息事宁人亦不愿丑闻传出。尽管男性都害怕背上"绿帽"之名，但是，在古代有关"绿帽"的事例多不胜数。其实早在两千多年前吗，古代文献中已有"绿帽子"的记载。
不过此"绿帽"非彼"绿帽"，为正常的绿色帽子，并无特殊含义。明代时期，朱元璋赋予了"绿帽子"的特殊含义，进而流传开来。秦汉时期，绿色是低贱身份的代表颜色。当时统治者便有规定，犯人着装皆为特制的衣服，名为"赭衣"，颜色赤褐。此衣在秦朝时期发源，至汉朝时，赭衣已经成为犯法之人的代称。
唐宋时期，绿色所代表的含义逐步扩大，由单一的"犯法之人"扩大到"低贱人群"，即凡是身穿碧青绿衣服的百姓，皆可视为低贱下民。部分唐代地方府衙，在惩罚犯法之人时，不加以杖责，而是以绿色头巾戴在犯人头上，以示羞辱。这里的羞辱指得是犯人戴上头巾，就意味着身份低贱，并非配偶出轨。
有一个叫李缘铭的文人，他酷爱辞赋，经常邀朋唤友来家中做客，只为吟诗作对、彻夜不眠。此人有一妻貌若天仙，只因嫁了李缘铭，常常独守空房。时间一长，女子便耐不住寂寞。住
他们家隔壁有一户人家，男子因丧妻一直单身。这位男子经常爬在院墙上偷看"天仙"。
一天，李缘铭去朋友家做客，妻子便闲来无事，倚在门口发愣。这时隔壁的单身汉也正坐在门口发呆，妻子便叫来单身汉陪她聊天。从那以后，很长一段时间，每当寂寞的时候妻子便找来单身汉聊天。时间一长，两人之间竟然产生了些许的情素。终于有一天俩人做了出轨的事。
后来为了防止被李缘铭突然回家发现奸情，妻子便当丈夫不在家时，就戴着他的绿帽子在外面走动，单身男子看到后就会心领神会。世上哪有不透风的墙，没多久，妻子与单身汉的事突然回家的李缘铭撞了个正着，一气之下的丈夫休掉了妻子。后来大家把那些不守妇道偷汉子的事情叫做戴"绿帽子"。从此"绿帽子"就成了男人的忌讳。
"绿帽子"之所以为"绿色"?
显然，现在说的"绿帽子"是由元时的"绿头巾"直接传承而来的，而其真正的渊源，则在更早的时候。
元朝时期，对碧绿青诸色进行了限制，仅有"娼妓"、"乐人"可穿。《元典章》如此记载：娼妓需要穿皂衫，戴角巾儿，而娼妓的家属及丈夫需要头戴青巾。这一规定沿袭到明朝，朱元璋为此下诏，凡是娼妓家中的男子，必须以绿色头巾出门，且腰间系上红褡膊，脚上穿着有毛的猪皮鞋。走路时，禁止走在道路中间，只能在两旁偏路行走。
可见，当时娼妓与其家属地位之低，不受民间待见。在统治者诏令下，娼妓丈夫纵然有万般不愿，也只能选择妥协，遵从朝廷。每当有头戴绿巾者出现在街头小巷时，总会引得百姓驻足指点，议论纷纷。标志性的"绿帽子"在外，百姓立刻就能知晓哪家为"青楼一族"、哪家女人偷汉子，遭受指点的男子时常哀声怨道
一定程度上，这些娼妓家庭为迫不得已，男性在能力有限下，需要靠妻女卖淫维持生计，由此，头戴绿帽的男性，亦成为没有出息的代名词。
前文说到，绿色在古代为低贱的意思，无论是秦汉，还是唐宋，这一含义从未变更过。至于古人为何将绿色当做低贱者用色，民间众说纷纭。最为流传的说法与龟有关，民间曾有绿龟之说，绿色即为龟的颜色，此为背景。古人错误的认为雌龟需要和蛇交配方能繁殖，因此让雌龟与蛇交配繁殖后代。
这种说法看似天方夜谭，但却在多部古书中留有记载，包括《列子》、《说文解字》等古籍。由此，当一些男性的妻子与别人偷情后，他们便被称为"龟"，绿色便这样传开。但关于"绿龟"之说，稍显牵强，绿色代表通奸的含义是在元代方才出现，至明代定性。汉朝时期，绿色仅表示身份低贱。
《封氏见闻录》记载：延陵令李封在惩罚犯人时，不以棍杖责罚，而是以绿色头巾惩戒，这里的绿色即为下贱之意，作为羞辱。其实，在绿色真正代表通奸之意的时期应为元朝，据《元典章》记载：规定与娼妓有关的男性家眷，皆要以青色头巾裹头，而青色与绿色相似，故而，绿色得以流传下来。元朝覆灭后，有关"绿色"的规定并未随之消散，而是沿袭至明代。
并且，在此基础上，朱元璋进行加强，不仅要求娼妓家中男性需头裹绿巾，还需腰间系着红褡膊，脚穿猪皮鞋。且针对范围更加细化，仅对乐妓、女伶两类群体生效。基于以上之论证，已可看出绿头巾长期以来，即：一直是贱民隶卒或仆庶者流所使用的装束。