黄姚街现在通用的话是历史悠久的高鹤话。它与附近村寨讲的连滩话、阳山话、董家话同属粤方言中的一种。连滩话起源于广东省的郁南县的连滩。阳山话起源于广东省的阳山县。黄姚街话起源于广东省的高要县、鹤山县一带。现在广东郁南县还讲连滩话，广东阳山县不讲阳山话了，仅在广宁县、怀集县还留传。广东鹤山市近百年不讲鹤山话了。

据地方志考证，汉朝马伏波将军到昭平马江驻扎开发马江。马江设县以来，汉人开始深入昭平沿江的瑶民地区谋生。

黄姚处在马江县、思勤县、临贺县、富钟县交界的边陲，在富群江的上游。富群江南下百余里，在马江汇入桂江。黄姚虽然山高林密，交通闭塞，但是良好的地理位置是人们谋生发展的最佳选择。为此，隋唐时期，四面八方到来的汉人都看好黄姚这个地方。于是，就有姚、黄、刘、李、邹、蒙、邓等姓氏的人家陆续从广东、湖南迁到黄姚来谋求发展。

当初，结伴到黄姚来的人家户数不多，只好集中群居。后来村寨稍多，才有一姓一寨居住的了。再后来人更多了，又开始多姓集体建房共同发展了。迁来的人的居住场所大都选择在依山傍水的地方。房子是自己烧砖瓦建成的普通砖木结构。现在到黄姚附近几座大山脚下都能找到当年的遗址。

到黄姚来的人，以种养为主，自家纺织染布，过着自给自足的优闲自在的生活。有些人住了十几年或几十年又搬走。原因是山多路窄，交通闭塞，不通船不通马路，生产出来的物资运送不方便，医疗技术落后，人丁不兴旺。所以，就往交通便捷的地方平乐、阳朔等地迁移了。

有人搬走，又有人迁来。历史就是这样延伸。元末，刘李寨就住了几十户人家。而且成了方圆几十里地最繁华的有十几姓人群居的热闹小街市。

这时的黄姚方圆几百里森林满地，老虎时有出没，但是村寨已经星罗棋布出现。此时，莫姓、古姓的人家结伴来到了隔江山下。他们是从广东的高鹤县，现在的高明县、鹤山市到来考察的。他们发现黄姚是个风水宝地，就决定在此地定居发展。他们派人回老家变卖家产，带钱上来请楚南人（湖南湘南一带的能工巧匠）帮助建房子。古家在隔江山北麓的上头叫做上寨。由于古家资金没有那么雄厚，所以建出来的房子简陋些。莫家在老家较富有，就建出现在看得清清楚楚的明朝风格的房子。莫家在下方，叫下寨。两家在分界点共同建了一个供奉北帝的兴宁庙。两家人都为了纪念祖先，分别建了家祠。古家祠气势宏伟风格独特。莫家祠规模庞大，风格典雅幽森可以与《红楼梦》中的大观园相媲美。

古、莫两姓讲的是同种语言，都是广东高鹤话。两家人多，房子漂亮，有财势，讲义气，办事公道，在附近村寨中号召力强，深得各寨民众的拥护和赞赏。在语言交际中，各村寨的人都纷纷学习使用高鹤话。刘李寨的各家各姓也都学讲高鹤话。不久，高鹤县古劳村的劳氏也来到黄姚。因此，广东高鹤话开始成为黄姚人语言交际的唯一语种了。

据族谱记载，黄姚古氏原籍广东梅县，是客家人。古氏凤信公迁到高鹤县后，入乡随俗，讲了高鹤话。凤信公的后代几乎都不讲客家话了。

高鹤话在昭平县的老城区也是通用上千年的地方语言。现在只有老人和少数年轻在讲，濒临失传。昭平县城老城区的高鹤话，因为街上人与外面的人通婚，受到沿江一带的语言影响很大。例如龙坪村寨的语言、说法直接渗透进了高鹤话。黄姚的高鹤话也在受连滩话、阳山话甚至客家话的影响。不过，原汁原味的高鹤话保留得要比县城老城区的远远多得多，而且还有旺盛的生命力。因为，凡是搬迁到黄姚街的人虽然不是讲高鹤话的，入乡随俗，语言自然就被同化了。

1979年，古春华出差到鹤山县古劳乡，拜见本家老人时，一位八十多岁的老人只会讲广州话。老人说起，小的时候，老一辈就是讲你这种话的。现在的确高鹤人不会讲高鹤话了。

黄姚的高鹤话，语言优美动听，有音乐旋律。尽管或多或少受到外来语言的渗透，不少用语、提法经过千百年的淘汰而丢失了。但是，它仍然不愧为一种具有旺盛生存能力而又十分优雅悦耳的古老的方言。