古代有一种色系，被称作“贱色”，绿色便归属其中，因此人们常常将绿色与贬义事物相联系，且寻常行当中，只有如“娼妓，清怜”等从事贱业者才会使用，如果是普通人或者富家千金，是会耻于穿戴绿色服装，并且将其当作忌讳。

从这个角度来讲，绿色在古代就具备一定的民间认知，在人们心中，会自动将“绿色”与“肮脏的性”相联系，而除了娼妓以外，男女的不正当关系也属于“肮脏的性”，因此从这个角度来讲，绿色与不正当关系，也存在一定联系，所以人们会将绿色与出轨或感情上的背叛混为一谈。（下图中红圈所标，正是娼妓所穿绿色服饰）

至于“绿帽子”一词的出处，其实古往今来说法并不统一，有一说是出自明朝郎瑛所撰的笔记《七修类稿》，相传在春秋时期，有些穷困潦倒的男子，依靠妻女为妓所获的收入维持生活，而这种男子，就会被人们强行在头上缠扎绿色头巾，以将其和寻常男子区分开来，受尽世人的辱骂批评。另外他的妻女，也要以绿色着装示人。

另一说，则出自《汉书．东方朔传》，其中讲过一个馆陶公主刘飘情夫董偃的故事，相传这董偃常年头戴绿巾，正是因他身为“情夫”，属于“贱人身份”，私情被发现后，便罚他头戴绿巾，使人能得知他的身份，对他进行侮辱，以作效尤。长此以往，“绿帽子”一词，便成为了指代偷情者与娼妓的俚语。