胡遵，字以道；安定临泾（今甘肃镇原南）人，魏卫将军。景初二年（238），辽东公孙渊反，司马懿遣遵等击破其将卑衍、杨祚。嘉平四年（252）冬十一月，诏征南大将军王昶、征东将军遵、镇南将军毌丘俭等征吴。十二月，吴大将军诸葛恪拒战，大破众军于东关。不利而还。正元二年(255)七月，以遵为卫将军。甘露元年(256)秋七月己卯，遵薨。