東京府東京市渋谷区(現在の東京都渋谷区)出身。血液型はO型。
戦時中は母方の実家がある宮城県古川市(現:大崎市)で過ごしていた。
渋谷区立広尾中学校、東京都立三田高等学校卒業。
1956年、NHKドラマ『この鐘』で俳優座養成所の同期の冨士眞奈美と共にデビュー。
当時から富士とはとても仲が良かったそうで、富士が大山のアパートに転がり込んで4年半ほど一緒に同居していたそう。
声優業では、かつては『ハリスの旋風』、『無敵超人ザンボット3』の石田国松や神勝平のように、ガラガラ声でやんちゃな喋り方をする演技が特徴であった。
しかし、『ドラえもん』の放送開始後、キャラクターの作画デザインが変わるに連れ、1986年後半ごろから演技も徐々に低音でゆったりと喋る演技に変化(後期)その後キーが少し高くなり張りが出た(末期)。
最終的にはこちらの演技が世間に定着し、ものまねでドラえもんの声が真似されるときは後期の時の声である。
降板後大山がドラえもんの声を披露するときは大山の中でドラえもんはここで止まっているためか、末期の声である。
『ドラえもん』のドラえもん役は1979年4月から2005年3月まで26年間演じた。
番組リニューアルにより、2005年3月18日放送分の『ドラえもん!オールキャラクター夢の大集合スペシャル!!』、2005年3月25日放送の映画『ドラえもん のび太のワンニャン時空伝』(CM前のお別れコメント)をもって降板となった。
2006年11月の第11回アニメーション神戸では、その功績が称えられ、小原乃梨子ほかオリジナルレギュラー陣(テレビ朝日版)4人と共に特別賞を受賞。
そして翌2007年3月にも、東京国際アニメフェア2007より、第3回功労賞を(4人と共に)受賞した。
同年4月からは東京都港区西新橋(御成門)にある音響芸術専門学校の校長として勤務を始めた。
現在、同校において昼間部・夜間部の両方で毎週授業を担当し、直接学生の指導に当たっている。
アニメ歌手としても活躍。
1980年には、EP『ドラえもん音頭』など大山が歌ったドラえもん関連のレコード売り上げが100万枚を突破し、日本コロムビアのゴールドディスクを受賞した。
料理研究家としても活動し、著書に『大山のぶ代のおもしろ酒肴』(主婦の友社、1981年)、『おかずのアイディア180』(小学館、1995年)、『大山のぶ代の毎日のおかず』(グラフ社、2000年)などがある。
中でも『大山のぶ代のおもしろ酒肴』は136万部のミリオンセラーを記録した。
現在は講演やタレントとしてのテレビ・ラジオ出演を中心に活動している。
『元祖!でぶや』などのナレーション活動にて、声優としての活動も続けている。
2008年4月24日に、心筋梗塞と脳梗塞を併発して緊急入院したが、投薬治療を行い、同年8月17日に退院。
自宅療養とリハビリにより、日常生活の不安はないまでに回復し、活動を再開している。
2010年、PSP用ゲームソフト『ダンガンロンパ 希望の学園と絶望の高校生』のモノクマ役で『ドラえもん』降板以来5年ぶりに声優復帰を成し遂げた。
さらにこの作品で人生初の悪役を演じることになる。
さらに2012年発売の『スーパーダンガンロンパ2 さよなら絶望学園』にもモノクマ役で引き続き出演しており、2013年ではテレビアニメ化『ダンガンロンパ 希望の学園と絶望の高校生 The Animation』でも出演することになった。
テレビアニメへの出演は『ドラえもん』降板以来である。