清乾隆年间，乔全美和他的两个兄长分家后，买下了十字口东北角的几处宅地，起建楼房。主楼为硬山顶砖瓦房，砖木结构，有窗棂而无门户，在室内筑楼梯上楼。特点是墙壁厚，窗户小，坚实牢固，为里五外三院。主楼的东面是原先的宅院，也进行了翻修，作为偏院。还把偏院中的二进门改建为书塾，这是乔家大院最早的院落，也就是老院。传说偏院外原来有个五道祠，祠前有两株槐树，长的奇离古怪，被称为“神树”。主院与侧院间有一大型砖雕土地祠，雕有石山及口衔灵芝的鹿等。土地祠额有四个砖雕狮子和一柄如意，隐喻“四时如意”。祠壁上还有梧桐和松树，六对鹿双双合在一起，喻意“六合通顺”。[3]
乔致庸当家后，为光大门庭，继续大兴土木。他在老院西侧隔小巷置买了一大片宅基地，又盖了一座楼房院，也是里五外三，形成两楼对峙，主楼为悬山顶露明柱结构。[3]
明楼竣工后，乔致庸又在与两楼隔街相望的地方建筑了两个横五竖五的四合斗院，使四座院落正
乔家大院-国画谭翃晶作品
好位于街巷交叉的四角，奠定了后来连成一体的格局。
光绪中晚期，地方治安不稳，乔家的景仪、景俨为了保护自身的安危，花费了不少周折和银两，买下了当时街巷的占用权。乔家取得占用权后，把巷口堵了，小巷建成西北院和西南院的侧院；东面堵了街口，修建了大门；西面建了祠堂；北面两楼院外又扩建成两个外跨院，新建两个芜廊大门。跨院间有栅栏通过，并以拱形大门顶为过桥，把南北院互相连接起来，形成城堡式的建筑群。
民国初年，乔家人口增多，住房显得不足，因而又购买地皮，向西扩张延伸。民国十年后，乔映霞、乔映奎又在紧靠西南院建起新院，格局和东南院相似。窗户全部刻上大格玻璃，西洋式装饰，采光效果很好，在式样上有了改观。就是院内迎门掩壁雕刻也十分细致。与此同时，西北院也由乔映霞设计改建，把和老院相通的外院之敞廊堵塞，连同原来的灶房，改建为客厅。还在客厅旁建了浴室，修了“洋茅厕”。靠西北院，原来有一小院，为乔家的家塾，故把此院叫做书房院。分家后，乔健打算建内花园，从太谷县一个破落大户家买回了全套假山。正待兴建时，“七七事变”爆发，日军侵华，工程停止。日军侵占时期，全家外逃，剩下空院一处，只留部分家人看护。[4]
1985年，祁县人民政府利用这所古老的宅院成立了祁县民俗博物馆。
1986年11月1日正式对外开放。陈展5000多件珍贵文物，集中反映了以山西晋中一带为主的民情风俗，陈列内容有：农俗、人生仪礼、岁时节令、衣食住行、商俗、民间工艺，还专门设立了乔家史料、乔家珍宝、影视专题等的陈列。
2011年12月8日开始申报5A级景区。先后完成了乔家大院门景区建设，民俗博物馆展室的调整和布展，“三堂一园”安防工程，建设了乔家大院数字化信息系统、网上导游系统、旅游通道智能化交通管理系统等。
2014年11月28日，乔家大院入选国家AAAAA级旅游景区。[5]