源于“芈”（mǐ）姓，出自春秋时楚国公族“芈潘崇”之后，属于以先祖名字为氏。公讳崇字道安，楚成王时大夫，穆王立，以其太子宫予公，使为太师，掌国事，环列之尹，楚国大治，有认楚公族后以字为氏，列公为潘姓始祖之一。

潘崇家族由于受到楚王的特别恩宠，故发展特别快，其后裔子孙的足迹几乎遍布楚国各地，在古籍中所记载春秋时代的潘氏名人，几乎都是楚国的人物。今天山东、江苏、浙江、河南等地，皆有该支潘氏的后裔。