杨秉是杨震的儿子，从小就跟随父亲学习，在精通《欧阳尚书》的同时，还学习了《京氏易》，博通经史。在成年之后，以教书为生，远近闻名。
杨秉和父亲杨震一样，一开始也是无意于仕途，一直到四十多岁才出仕。他首先接受了司空的推荐被任命为侍御史，接着又担任了豫州、荆州、徐州、兖州等四州的刺史，后来又担任了任城王相。跨入朝廷二千石高官的行列。但是，他在担任高官之后，只是根据自己的生活所需而接受俸禄，此外的俸禄一概不受。至于向杨秉行贿，更是绝无可能。杨秉成为当时著名的廉吏。
杨震塑像
公元146年，汉桓帝即位。当时的汉桓帝刘志只有十三四岁，还是一个需要学习的年龄。朝廷闻知杨秉长于《尚书》之学，就礼聘杨秉来教授皇帝《尚书》。并且任命杨秉担任太中大夫、左中郎将、侍中、尚书、光禄大夫等官职。但是，在汉桓帝即位之初，正是梁氏外戚飞扬跋扈如日中天之际。在这种情况之下，杨秉除了全心教导皇帝之外，很难有所作为。他基本上都是称病在家。有一次皇帝微服出宫，到梁冀的儿子河南尹梁胤的府邸饮酒。恰巧当日狂风大作，大树都被连根拔起，杨秉就借着这个机会上书皇帝，奉劝皇帝不要轻易出宫，不仅有失皇帝应有的威仪，而且万一出现点儿意外不测，追悔莫及。其实，这是杨秉在提醒皇帝，梁氏外戚恐怕会对皇帝不利，皇帝要尽量远离他们。事实上，汉桓帝也是受制于梁氏外戚，明知杨秉忠心而无法接纳杨秉的意见。
公元159年，就在杨秉称病六年之后，汉桓帝联合宦官发动政变，铲除了梁氏外戚。接着杨秉就被任命为九卿之一的太常。在铲除了梁氏外戚之后，人们对汉桓帝还是有所期待的。但是，汉桓帝却是更多地依赖宦官，很快就由外戚专权过渡到宦官专权，朝廷的政治并没有多少起色。在这种情况之下，发生了白马县县令李云上书事件，李云在上书里对皇帝提出了激烈的批评。汉桓帝看了李云的上书勃然大怒，将李云下狱处死。为了营救李云，杨秉也得罪了皇帝，被免官回乡。不过，就在当年的冬天，皇帝又征召杨秉出任河南尹。
当时宦官头子单超的侄子单匡担任济阴太守，仰仗着叔父的势力贪赃枉法。兖州刺史第五种派自己的属下卫羽调查此事，最终查出单匡贪腐五六千万。第五种立即向朝廷奏报，并且弹劾单超。单匡就收买了一个叫任方的刺客去刺杀卫羽，结果不仅没有刺杀成功，反而被卫羽给捉住了。当时，刺客任方就被囚禁在洛阳的监狱里。单匡害怕河南尹杨秉彻底调查此事的来龙去脉，于是就买通狱卒让任方越狱。在任方越狱之后，朝廷追究河南尹杨秉的责任，杨秉说：“要想搞清楚这件事情很简单，只需要将单匡押解到京师仔细审问就知道事情的真相了。”课时昏聩的朝廷竟然把杨秉判罪，罚他去做劳役。不过，很快就因为天下久旱不雨，朝廷下令大赦，杨秉再次回到家中。之后，泰山太守皇甫规等人上书为杨秉辩护，汉桓帝下令让有关部门征召杨秉，经过两次征召，杨秉才来到洛阳，被任命为太常。
延熹五年（162年）冬，杨秉升任太尉。当时宦官势力不断膨胀，走他们的门路而当官的遍布天下各地。这些官员都是一些披着人皮的狼，各地民怨沸腾。杨秉和司空周景一起尚书，请求整顿吏治。接着，杨秉又向朝廷弹劾匈奴中郎将燕瑗、青州刺史羊亮、辽东太守孙喧等五十余人，这些人或者被杀，或者被免职流放，一时间，天下震肃。在太尉的任上，杨秉经常向皇帝提出各种建议。比如各地的上计吏在完成到朝廷的上计工作之后，就不再留任朝廷的郎官，从而减少了政府开支。在陪同汉桓帝南巡的时候，他劝阻汉桓帝滥行封赏。
当时宦官集团的头子叫侯览，侯览的弟弟益州刺史侯参仰仗着哥哥的势力胡作非为暴虐百姓，引得民怨沸腾。杨秉对侯参提出弹劾，朝廷下令用囚车把侯参押送到洛阳，交给廷尉审理。侯参自知罪孽深重，在路上就自杀身亡了。接着，杨秉又对侯览和另一个宦官头子具瑗提出弹劾。在上书中，杨秉详细罗列了这些元恶大憝的倒行逆施，汉桓帝不得已罢免了侯览，对具瑗也进行了处分。
延熹八年（165年）五月杨秉逝世，享年七十四岁，汉桓帝在皇陵附近特赐墓地来陪陵安葬。
杨秉素以廉洁而著称，袁宏《后汉纪》中称杨秉“稍迁刺史、二千石，所历皆有政绩。虽三公之子，经历州郡，尝布衣蔬食，老而不改。在公卿位，朝廷每有得失，便尽心正谏，退而削草，虽子弟不知也”范晔的《后汉书》中也记载说“每朝廷得失，辄尽忠极谏，多见纳用”。杨秉生性不喜饮酒，其夫人早卒后一直未娶，杨秉自己曾经说过自己有三不惑“我有三不惑，酒、色、财也”。杨震所开创的良好家风，在杨秉这里得到了延续。