唐玄宗在打猎时不慎放走一只白鹰,便命京兆府官吏捕捉。京兆府找到白鹰时,它已挂在荆棘丛里死了。官吏都担心皇帝治罪,源乾曜却道:“事有偶然,死亦常理,皇帝仁爱明察,应不会以此治罪。如果怪罪,就让我来承担,你们不用害怕。”于是上表请罪,并未受到追究。
源乾曜出身于鲜卑秃发氏。南凉国主秃发傉檀之子秃发破羌投降北魏,赐姓名为源贺。源贺生源怀,源怀生源子恭,源子恭生源彪,源彪生源师民。源师民是源乾曜的祖父,在隋朝官至刑部侍郎。
源乾曜父亲源直心,唐高宗年间官至司刑太常伯(即刑部尚书),后因罪被流放岭南,死于贬所。兄长源乾珍,史籍只载其名,生平事迹不详。
源乾曜生有四子:长子源复,官至华州刺史;次子源弼,官至工部郎中;三子源洁,官至河南县令;幼子源清,娶唐玄宗之女真阳公主,拜驸马都尉。