从一些出土的遗址、墓葬的器物来看，远古即生息于徽州土地上的苗越先民，其农耕和手工业生产都达到了一定的水平，精美的徽州釉陶表明其当时已具有艺术性质，屯溪西周墓出土的两件“钟形五柱乐器”和一只铜鼎上所绘的舞蹈图，透露了先民们文化娱乐的情景，史称山越为“蛮民”，其俗“断发文身”、“勇悍尚武”，“特多以材力保捍乡土为称，其后寝有文士”。汉丹阳太守李忠曾“以越俗不学，嫁娶仪礼衰于中国，乃为起学校，习礼容、春秋乡饮，选用明经”，在当地倡导中原风俗。特别是两晋之后中原衣冠士族大规模入迁徽州，在长期的移植融合、同化过程中，作为“主支”的山越文化和作为“侨支”的中原汉族文化融为一体，凭借徽州独特的自然地理条件，逐渐形成了自具特色的徽州文化。作为历史的徽州文化，我们将其大致分为四个阶段来进行考察。

　　早期江南越文化阶段
　　从远古到春秋。苗越土著山民长期生息于斯，有自己的图腾崇拜、巢居农耕，有以印纹陶为代表的越族文化，农业、手工业发展已有一定水平。虽然由于很少见于史载，无多少资料可供征信，使徽州“汉代之前的历史几乎完全埋没在黑暗之中”，但随着考古出土文物等文化遗存的陆续被发现，人们将逐步扩大对这一阶段文化的了解。近年发现的屯溪近郊花山人工石窟群，以其工程的浩大和建构规模的不凡被称作“世界第九大奇迹”，据专家初步考测，当属西汉前后的人工杰作，是早期江南越文化的重要遗存。

　　山越文化阶段
　　从战国到东汉。徽州秦时即置黟、歙二县，山越民族“依山阻险，不纳王租”、“勇捍尚武”；“断发文身”“火耕水耨”，被称作“蛮越”。孙吴对徽州山越族进行征服战争之后，公元208年徽州始立新都郡，置六县。黟、歙等历史文化上的亲缘性，地理条件的内在统一性与行政区域的一律性实现了重合，似乎中断了山越民族经济文化独立发展的过程，为中原土族徙入后汉越文化的同化提供了先在条件。这一时期的文化，我们从徽州傩舞、徽州建筑等内在特征中当可发见遗存。

　　新安文化阶段
　　这一阶段自西晋太康元年(280)新安郡设置到南宋。由于中原战乱频仍，西汉时期起就有中原士族南迁，他们或在徽为官而留连忘返，或迷恋徽州大好山水而以徽为家，或看中徽州独特的地理环境而入徽定居，或为躲避战乱而在徽隐蔽。在西晋末永嘉之乱、唐末黄巢起义有两次中原衣冠大规模南徙，入徽先后达近八十个姓氏。这些中原士族在徽州“每一村落聚族而居，不杂他姓。其间社则有屋，宗则有祠，支派有谱，源流难以混淆，主仆攸分，冠裳不容倒置”，形成了典型的徽州宗族制度。他们的徙入带来了发达的中原文化，在长期的与山越共处、融合的过程中，一定程度上改变了徽州的人口和经济结构，徽州风气也为之一开。
　　新安文化以新安郡的设立为标识，亦以新安江流域(黟、歙、休、绩甚至淳安、建德诸县)自成系统，是山越文化和中原文化长期融合、同化产生的具有浓厚徽州特色的新质文化：保捍乡土、严宗族、尚祖祭、重教育、尚气好义、俭朴勤劳、文风昌盛、崇仪礼、沉潜理性……表明徽州文化开始走向成熟。