Казалось, исключение из  кадетского училища в Хамина закрыло перед ним возможность сделать карьеру в армии Финляндии. Несмотря на это он целеустремлённо стремился овладеть военной профессией.На протяжении всей своей карьеры он служил в Российской (1887-1917гг.) и в Финляндской (1918-1951гг.) армиях.

На протяжении почти тридцати лет Маннергейм служил офицером царской армии в званиях от корнета до генерал-лейтенанта. В отличие от многих своих товарищей он проявлял к своей профессии большой интерес.

Первую офицерскую должность Маннергейм получил в 15-м драгунском Александрийском Е. И. В. Николая Николаевича старшего полку, дислоцированном в Польше, где он служил в 1889-1890 годах.

Благородное происхождение, экономическая поддержка родственников со стороны матери и успехи в учёбе открыли перед ним дорогу в почётный гвардейский полк. Он был записан в Кавалергардский полк Е.В. Государыни Императрицы Марии Фёдоровны, где прослужил с 1891 по 1904 год.

Маннергейм с детства увлекался лошадьми, поэтому когда с1897 по1903 годы он оказался на службе в Придворной конюшенной части, эта область деятельности была ему очень по душе. В 1903-1904 годах он служил в Офицерской кавалерийской школе в должности командира образцового эскадрона. Во время Русско-Японской войны Маннергейм для получения военного опыта отправился  в Маньчжурию помощником командира 52-го Нежинского драгунского полка (1904-1905гг.). Это означало перевод из гвардии, но, с другой стороны, благодаря своей инициативе и энергии ему удалось отличиться, так что перед ним открылась перспектива карьеры на командирских должностях в кавалерии.

В 1906-1908 годах он совершил военную разведывательную экспедицию в Китай. После сдачи им рапорта о поездке в Китай Маннергейм был переведён в Польшу на должность командира 13-го уланского Владимирского Е. И. В. В. Кн. Михаила Николаевича полка (он служил там с пятого января 1909 года по 24 декабря 1913 года), а позже - командира Отдельной гвардейской кавалерийской бригады с 24 декабря 1913 года до 24 июня 1915 года. На особое расположение к нему указывал тот факт, что с пятого октября 1912 года он был зачислен в Свиту Его величества.

В первые годы Первой мировой войны Маннергейм служил командиром кавалерийской бригады (1914-1915гг.) и командиром 12-й кавалерийской дивизии (24.6.1915-1917гг.) на Польском и Галицком направлениях, а позднее командиром кавалерийского армейского корпуса (в 1917 году). Когда его поздней осенью 1917 года перевели в офицерский резерв "как не приспособившегося к нынешним условиям", перед ним открылся путь к отставке с российской службы. Он подал прошение об отставке первого января 1918 года, обосновав его тем, что Финляндия стала независимой.