古罗马也在战争中直面过大象。第一次发生在公元前280年,希腊伊庇鲁斯的国王皮洛士(公元前319/318—公元前272年)为了阻止罗马扩张,入侵了意大利南部。起初,他用象群取得了成功,但是罗马人想出了一些对付它们的招数,其中格外引人注目的是点燃浑身是油的猪后,将它们赶入象群中。据说,猪极度惊恐的尖叫声逼得大象们四散惊逃。遭到重大损失的皮洛士被迫于公元前275年班师回朝。
在罗马共和国崛起而成为地中海地区支配力量的过程中,它最可怕的对手是统治版图在北非、西班牙和西西里岛的迦太基帝国。双方第一次交战从公元前264年打到了公元前241年,结果是罗马控制了西西里岛的大部分地区。公元前218年,冲突再起,迦太基将军汉尼拔(公元前247—约公元前181年)经由阿尔卑斯山,入侵意大利北部。他的军队中有37头战象。他雄心勃勃地希望带领这些战象穿过高高的、时而狭窄的山道。只有6头战象从长途跋涉中幸存了下来,下山进入了意大利,并挺过了接下来的冬季。汉尼拔并没有灰心丧气,而是在跟罗马人的对抗中赢得了一系列的胜利。他留在意大利,但无法向罗马行进。公元前204年,罗马人入侵北非,此时他不得不回家。在北非,汉尼拔在扎马战役(公元前202年)中被决定性地击败了。当他的象群冲锋时,罗马防线打开,放任它们奔过,这意味着大象在战争中不能再起重大作用了。获胜的罗马随后就吞并了西班牙,后来又在公元前149—公元前146年间,赢得了对迦太基的最终胜利,这导致迦太基的首都被毁和剩余领土全被吞并。