桂阳榜眼第系夏时，夏寿田父子生前之故居，于清光绪后期父子二人同心建造。因夏寿田为清末榜眼，古称榜眼第。
夏氏父子，在清代中晚期，是显赫于全国的高官，夏时在清咸丰十一年（1861）中举后，历任过知县，旋即主事签分工部营缮清吏司加二级、三级、四级，后来官运亨通，任川滇黔边计盐务，统领安定水陆全军，特旨补授川东兵备道，按察使署，布政使，江西巡抚部院兼提都军门、乡试监考官，江西巡抚、陕西巡抚、皇帝御赐他福寿字蟒袍、如意春茶、绸缎等件三代一品封典。诰授光禄大夫、建威将军。其子夏寿田，自幼十分聪明，七岁时祖父曾指着屋后的白阜岭要他作一首诗。他不到三步就吟出了“九嶷蜿蜒天际来，峥嵘冠日排云开，聩然一落千万丈，蛟龙伏走失青崖”的诗，使祖父大为惊讶。九岁时到县城应童子试时，县令问他居何处，他不卑不亢地回答说白阜岭下，县令即吟出上联“白阜当前峰独秀”要他作对。夏寿田不假思索地答道“黄榜在右甲联珠”。对仗之工整，意境之深远，使在座的人大吃一惊。光绪十五年（1889）夏寿田考中举人，任过刑部郎中、行走。光绪二十四年朝考中榜眼。
夏时夏寿田父子回乡建造了一处官厅，座北朝南，砖木结构。二层楼房总占地面10000余平方米，总建面积6570平方米。房建群体有榜眼第、巡抚居、中丞第、翰林坊、家祠、书房、客厅、厨房、杂屋。建筑工艺采用湘南传统的四合院式、宫殿式相结合的形制，造形奇异，结构严谨。
榜眼第是这群房建中最为宽广讲究的一栋大屋。整个外型呈倒∩字形，东西宽33米，南北长34米，两层楼房，建筑面积2276平方米。四面青砖砌墙，飞檐翘角，非常威然。硬山式顶，后栋屋一脊正中，有双龙戏珠。显得壮观。整栋楼房砖木结构，外墙用砖经过打磨，砌砖不用泥浆河砂，采用豆浆、桐油、细灰等混合物，线缝很细，故房子至今坚固牢实。