Trước khi đạt được thỏa thuận với MU, Rangnick đứng đầu bộ phận phát triển và thể thao của Lokomotiv Moscow.
Người đàn ông sinh năm 1958 này từng có sự nghiệp thi đấu không mấy suôn sẻ trước khi chuyển sang làm HLV. Ông đã trải qua một năm tại Southwick trong thời gian học tại Đại học Sussex (Anh) trước khi trở về quê hương mình.
Khi trở lại Đức, Rangnick tiếp tục chơi trong vòng một thập kỷ ở một loạt đội bóng hạng đấu thấp, đồng thời vẫn theo đuổi việc học làm huấn luyện viên.
Rangnick đã huấn luyện ở các giải hạng dưới của bóng đá Đức một số năm trước khi được trao cơ hội dẫn dắt đội bóng cũ Stuttgart tại Bundesliga nhưng bị sa thải sau mùa giải thứ hai.
Ông chuyển đến Hannover và được thăng hạng cao nhất. Ông cũng từng nộp đơn xin trở thành trợ lý HLV của đội tuyển Đức nhưng đã bỏ lỡ vai trò này cho Joachim Low.
Trong hai giai đoạn làm việc tại Schalke, Rangnick giúp đội bóng đã giành được Cúp Quốc gia Đức, Siêu Cúp Đức và lọt vào bán kết Champions League, nơi họ bị MU đánh bại.
Ngoài 5 năm dẫn dắt Hoffenheim, chiến lược gia người Đức đã rời công việc huấn luyện một thời gian để trở thành giám đốc bóng đá của cả Red Bull Leipzig và Salzburg, giúp đội bóng Đức vươn lên Bundesliga từ giải hạng 4.
Ông cũng được ghi nhận là người đi đầu trong việc tuyển mộ những cầu thủ chưa được kiểm chứng và thương hiệu bóng đá tấn công thú vị trên sân cỏ.
Rangnick được biết đến như một giáo sư bóng đá và có ảnh hưởng đến các HLV người Đức hiện đại như Jurgen Klopp, Thomas Tuchel, Ralph Hasenhuttl và Julian Nagelsmann.
Nhà cầm quân giàu kinh nghiệm này đóng vai trò quan trọng trong việc thiết lập chiến thuật gegenpress, nghĩa là gây áp lực để giành lại bóng từ đối phương sau khi mất bóng thay vì lùi sâu.