据史料记载，霍山黄芽源于唐朝之前。唐李肇《国史补》把寿州霍山黄芽列为十四品目贡品名茶之一。清朝列为皇家御用，是霍山县久负盛名的历史名茶。唐代李肇《国史补》记曰：“天下名山，必产灵草。江南地暖故独宜茶，大江以北则称六安。然六安乃其郡名，其实产霍山县大蜀山也。”史书记述：寿州之山有黄芽焉，可煮而饮，久肫得仙。“明代霍山知县王毗翁诗云：”露蕊纤纤才吐碧，即防叶老采须忙。家家篝火山窗下，每春来一县香。 霍山黄芽唐时为饼茶，唐《膳夫经手金录》载：“有寿州霍山小团，此可能仿造小片龙芽作为贡品，其数甚微，古称霍山黄芽乃取一旗一枪，古人描述其状如甲片，叶软如蝉翼是未经压制之散茶也”。
霍山黄芽自明代列为贡品。六安州志载：明时六安贡茶制定于未分霍山县之前原额茶二百袋，霍山办茶一百七十五袋。霍山县志载明人曹琥《注黄芽茶疏》中说：臣查得本府额贡茶岁不过二十斤，祖宗以来圣贤相承不闻以为不足……宁府正德十年之贡（1515年）取去芽茶一千二百斤，细茶六千斤，不知实贡朝廷几何……芽茶一斤，卖银一两，犹恐不得。
清乾隆四十一本（6-2）《霍山县志》贡茶产地载：“六安茶六安与霍山所并产也其以六安名者当霍未建县已有贡额从其朔也”。《天启志》谓以六安寨得名以似凿（寨本名六万，讹称六安）。顾霍邑山多绕确六地既广且饶（产茶实浮于霍而贡额州不县之什二）……产茶之地惟东山最早，而东山皆属州境，每年大府荐新及本县贡品，率皆州民于雨前，赴县售卖；霍产悉出西南，迟在雨后，帮不及入贡，则茶之专名六安，亦纪实也。今为详著其地此霍被六大较可睹矣。东山……贡茶岁居其八九（东山25处属县境的有与儿街、但家庙、单龙寺、东西溪等21处）。又据《霍山县志》载：“光绪年间，以南乡雾迷尖（即乌米尖），挂龙尖二山所产为一邑最采制既精，价亦倍于各乡”。
霍山黄芽曾一度失传。1971年以来开始挖掘、研制、恢复生产。1972年4月27日至4月30日，县茶办室选派农业局茶厂、坝上茶站三位茶叶技干，在乌米尖同三位七、八十岁高龄的茶农共同炒制黄芽茶，共计14斤茶样，当即用白铁桶封装六斤上报国务院进行鉴评。翌年县土产公司又布点三处，正式生产黄芽，金字山为重点，数年来，由审评室老茶师负责技术辅导。其余两处为乌米尖和金竹坪。此后，经过大化坪区农技站、茶站的技术人员反复切磋，试验改进，黄芽茶采制技术有所提高，品质规格趋于固定。黄芽茶收购量1973年178公斤，1980年644公斤，1985年多渠道收购量猛增至3700公斤，每斤茶价8.50元。
