Уроженец Фритауна в 8-летнем возрасте вместе с получившим бельгийское гражданство отцом Ибрахимом Каргбо-старшим — тоже футболистом, который несколько лет был капитаном сборной Сьерра-Леоне — перебрался в Европу. В Бельгии он и начал заниматься футболом в школе базирующегося в Антверпене "Беерсхота". А когда его отец в 2015 году отправился в Англию, сын последовал за ним и проходил обучение в школах "Рединга" и "Кристал Пэласа". 

В 2018 году подписал первый профессиональный контракт — с "Руселаре", выступавшем во втором бельгийском дивизионе. В августе 2019 года перешел в "Льерс". В ту пору команда играла в третьем бельгийском дивизионе. Именно на этом отрезке карьеры Каргбо получил предложение выступать за юниорскую сборную Бельгии и провел в ее составе более десятка матчей.

В конце 2019 года футболист перебрался в киевское "Динамо", с которым заключил многолетний контракт. Правда, в первой половине 2020-го играть за команду не мог, поскольку регламент ФИФА не разрешает выступать в течение сезона более чем за два профессиональных клуба (а Каргбо в сезоне 2019/20 уже успел засветиться в "Руселаре" и Льерсе"). Дебют за киевлян был отложен до июня 2020-го и пришелся на победный полуфинальный поединок Кубка Украины против "Миная" (2:0), в котором он вышел на замену на 61-й минуте.

Закрепиться в "Динамо" у Ибрахима не получилось. Последовали аренды — в донецкий "Олимпик", словенский "Целе", кипрскую "Доксу". В начале 2023 года Каргбо уже на правах свободного агента снова оказался в "Целе". Затем в его карьере были короткие периоды выступлений за хорватский "Солин", могилевский "Днепр" и сербское "Единство".