胡同一詞最初見諸元雜曲。關漢卿《單刀會》中，有“殺出一條血胡同來”之語。明人沈榜在《宛署雜記》中進一步說：胡同不是漢語，而是蒙古語。

“胡同”的本義是蒙古語“井”的意思。在今天蒙古族居住的地方，用“井”做地名的現象仍然很普遍。如：“賽音忽洞”（好井）、“烏克忽洞”（死井）、“哈業忽洞”（雙井）等。這是因為，人居住的地方必須有水，水井和老百姓的日常生活息息相關。水井就在兩排四合院之間的小巷里，所以市民把水井所在的小巷也稱為“胡同”。

在東漢許慎著、北宋初年徐鉉校定的《說文解字》一書里，就有“衙”字。解釋是“衙，通街也”。然而，“衚秱”二字連在一塊兒出現，則是在金、元以后。“衚秱”乃“胡同”的異體字。女真人和蒙古人均屬于蒙古語系，而蒙古語稱城鎮為“浩特”，稱村落為“霍多”或“霍敦”，轉音做“胡同”。女真人、蒙古人進入中原的城市后，按照自己的習慣，把中原城市的街巷也稱做“胡同”。

也有人認為《馬可·波羅行記》中有“浩特兒”一詞，明朝光榜知《宛署雜記》里說，“元人呼街巷為胡同”，均可為佐證：早在元代即有“胡同”一詞了。說“胡同”一詞是元朝的詞語，意思是胡人大同的意思。

胡同和井，在元大都時代都有了“市”的意思，沙絡市也可以叫沙絡胡同，是珊瑚市的意思。在古代漢語里本來就有“市井”一詞，同在元大都時代，胡同和井也有了“大街”的意思，《析津志》鐘樓：“樓有八隅四井之號，蓋東西南北街道最為寬廣”。“井”指的就是大街。舊北京的井窩子。在沒有自來水的時代，北京居民的飲水主要靠井。一般居民沒有私家專用水井的，就得到公用水井去汲水。圖中的獨輪車是專為人家送水的。