古罗马也在战争中直面过大象。第一次发生在公元前280年，希腊伊庇鲁斯的国王皮洛士（公元前319/318—公元前272年）为了阻止罗马扩张，入侵了意大利南部。起初，他用象群取得了成功，但是罗马人想出了一些对付它们的招数，其中格外引人注目的是点燃浑身是油的猪后，将它们赶入象群中。据说，猪极度惊恐的尖叫声逼得大象们四散惊逃。遭到重大损失的皮洛士被迫于公元前275年班师回朝。
在罗马共和国崛起而成为地中海地区支配力量的过程中，它最可怕的对手是统治版图在北非、西班牙和西西里岛的迦太基帝国。双方第一次交战从公元前264年打到了公元前241年，结果是罗马控制了西西里岛的大部分地区。公元前218年，冲突再起，迦太基将军汉尼拔（公元前247—约公元前181年）经由阿尔卑斯山，入侵意大利北部。他的军队中有37头战象。他雄心勃勃地希望带领这些战象穿过高高的、时而狭窄的山道。只有6头战象从长途跋涉中幸存了下来，下山进入了意大利，并挺过了接下来的冬季。汉尼拔并没有灰心丧气，而是在跟罗马人的对抗中赢得了一系列的胜利。他留在意大利，但无法向罗马行进。公元前204年，罗马人入侵北非，此时他不得不回家。在北非，汉尼拔在扎马战役（公元前202年）中被决定性地击败了。当他的象群冲锋时，罗马防线打开，放任它们奔过，这意味着大象在战争中不能再起重大作用了。获胜的罗马随后就吞并了西班牙，后来又在公元前149—公元前146年间，赢得了对迦太基的最终胜利，这导致迦太基的首都被毁和剩余领土全被吞并。