夏言出生于京师城西莲子巷。天性机警灵巧,才华洋溢。因为夏言家是军籍,明朝又有要保证兵部侍郎才可以摆脱军籍的旧例。夏言自小就身负全部大家族的期待。夏鼎以前培训他说道,尔宜苦学,未来位至尚书,庶可脱家里军伍。在长辈们的催促下,夏言自小努力勤奋好学。
弘治11年,夏鼎授浙江省严州府推官,夏言也随爸爸前去。他有时候学习培训当地的家乡话,夏鼎严格地斥责他,很多过去的经筵官烦扰说的家乡话比较难懂,不可以机警地参加争辩。你一定要及早纠正、音标发音规范,未来就能做给事中、奏事和讲官了。夏言遵从了爸爸的话。弘治13年,夏言返回江西省贵溪市,打算乡试。弘治14年,夏言第一次应乡试,不小心落选,然后再次在家里苦学。