第四个渊源：源于姬姓，出自周公旦之子姬伯禽的后代公子衡，属于以先祖名字为氏。
西周初期，周武王姬发的弟弟周公旦(姬旦)被封于鲁(今山东曲阜一带)。
后由于周武王病逝得早，继位的周成王姬诵年仅十二岁，因此周公旦留在都城宗周(镐京，今陕西长安西北沣河西畔)，与另一个弟弟召公奭一起辅佐周成王。由于无暇顾及封地，便派长子姬伯禽去掌管鲁地，姬伯禽在鲁地整整用了三年多的时间，建立了鲁国，其后代世为鲁国之君。
在姬伯禽的后代中，有一个著名的人物叫公子衡，为鲁成公姬黑肱之子。
在周定王姬瑜十八年(鲁成公二年，楚共王熊审二年，公元前589年)，楚共王亲率楚国大军讨伐齐国，随后攻击鲁国。鲁成公无力抵抗，遂派孟孙为使臣，用上百名各行业先进的技工行贿楚共王，而楚国当时正缺少这些技术工匠，楚共王遂答应以鲁公子衡为人质，并与鲁国结盟，遂退兵而还。
这在史籍《春秋•成公二年》中有记载：“冬，楚师侵卫，遂侵我，师于蜀。使臧孙往，辞曰：‘楚远而久，固将退矣。无功而受名，臣不敢。’楚侵及阳桥，孟孙请往，赂之以执斫、执针、织纴，皆百人，并公子衡为质，以请盟。楚人许平。”
在公子衡的后裔子孙中，有以先祖名字为姓氏者，称子衡氏，后省文简化为单姓衡氏，世代相传至今。

第五个渊源：源于妫姓，出自三国时期河北袁绍一族，属于避难改以地名为氏。
袁绍，公元153～202年，字本初，汝南汝阳人(今河南周口)。袁绍出身名门大族，远祖即为西周时期陈国开国君主陈胡满之裔孙陈诸(字伯爰)的后裔，自其曾祖父袁京起，四代中有五人曾位居东汉王朝的三公之爵。袁绍为人豪爽，自少年时期起就折节下士，后任司隶校尉，知名当世。
东汉中平六年(公元189年)汉灵帝刘宏逝世后，大将军何进与司隶校尉袁绍合谋诛杀当朝宦官，事泄，何进被杀，袁绍率军尽诛朝内监宦。后董卓专权，袁绍与之政见不合，遂逃奔冀州，董卓则遥拜其为渤海郡太守。
东汉初平元年(公元190年)，关东地区的州、郡牧守们联合起兵讨伐董卓，袁绍被推举为盟主，自号“车骑将军”。董卓不久被杀，关东联军内部开始互相兼并。袁绍乘机夺取冀州牧韩馥的地盘(今山陕间的黄河以东、晋豫间的黄河以北，包括了现在的山西南部即尧都平阳、舜都蒲坂、禹都安邑，以及河南东北部即殷墟安阳，和河北西南角、和山东最西的一部分)，自领冀州牧，此后又相继夺得青州(今山东半岛中部)、并州(今山西太原地区，包括太原、上党、西河、雁门、乐平、新兴等六郡)之地，形成了袁家势力。
东汉建安四年(公元199年)，袁绍出兵消灭了幽州公孙瓒，吞并了幽州之地(今北京、河北北部、辽宁南部及朝鲜半岛西北部)，至此，袁家势力已占据了整个黄河下游的四个州，领兵多达六十余万，号称百万雄师，成为当时最大的区域割据势力。同年，袁绍准备向曹操发起进攻，意欲直捣许都，劫夺汉献帝。当时，监军沮授、谋士田丰皆劝其进屯黎阳(今河南浚县)，据守黄河，以逸待劳，并派遣精骑不断骚扰曹军，俾不出三年即可击败曹操。而以郭图、审配为代表的一部分狂傲将领则主张迅速决战。袁绍则采纳了后者的意见。
东汉建安五年(公元200年)，袁绍发布讨曹檄文，率十万大军进军黎阳。在当年，即与曹操所部决战于官渡(今河南许昌)。曹操率军在著名的“官渡之战”中仅以万余兵力以寡胜众，一举击败了袁绍十万大军，其主力七万多先后被曹操歼灭和坑杀，袁绍只与其长子袁谭带八百多骑兵败回河北。
两年后的东汉建安七年(公元202年)，袁绍惭愤吐血而亡，其几个儿子又接着自相残杀，袁氏势力土崩瓦解，所据四州之地尽并于曹操手中。
袁绍势力败亡之后，部分袁氏族人脱离袁家军，迁逃到湖南地区，在南岳衡山一带隐居避难，遂以居住地名为姓氏，改姓为衡氏，以掩人耳目，后世代以衡氏相传至今。