北京早在元代的时候就作为都城。那时候，北京不叫北京而叫大都。元朝是蒙古人建立的，而胡同一词，其实是蒙古语的音译，也就是街巷的意思。尽管后来蒙古人的统治被推翻了，但胡同这种叫法在北京老百姓当中已经约定俗成，所以就一直沿续下来。

北京的史籍上关于胡同的最早叫法有火弄、火疃、胡洞等七八种之多，关于解释也有水井、火道和胡人大同几种，更多人相信胡同两字是出于蒙语水井一词的音转，那时为了防火，很多胡同里都设有水井。不管怎么说，胡同一词自元朝起就是北京城市建设中的专有名词已是不争的事实，胡同两个字本身就印有深深的民族风情特征和浓浓的老北京文化韵味，它的出现比北京这个名称的出现还早了一个多世纪。北京的胡同最早出现于金元时期。

忽必烈建大都时，按照周礼对都城进行了全面规划设计，在都城的每座城门内都辟出一条干道，由此再引伸出一块块棋盘形的间隔布局，这些便于人马车行的隔带按宽窄不同就被分称为大街、小街和胡同。北方冬季天气比较冷，因为需要日照和抵御寒风，北京的胡同多以东西走向为主，南北走向胡同都是后来因地而宜相继产生的。

根据文献记载，元朝的大街宽24步，小街宽12步，胡同宽6步，大约不足现在的10米。胡同与大街、小街不同，它是宅系、院落和房屋连成的一排排民宅间的隔离带，所以在北京会见到很多这样的景象：两个院落虽然只有一墙之隔，但是要从一个院的正门到另一个院的正门，却得绕上一个大圈子。