Vào năm 1862, Quân đội Pháp thành lập Bệnh viện Quân sự (Tiếng Pháp là Hôpital militaire) khi họ mới xâm chiếm Nam Kỳ. Cơ sở này vào cuối thập niên 1870 chuyển về số 14 rue Lagrandière, tức địa điểm hiện nay (14 Lý Tự Trọng, P. Bến Nghé, Q.1, TP.HCM).

Tại cơ sở này nhà bác học Albert Calmette đã thành lập Viện Pasteur (Pasteur-Institut) đầu tiên ở ngoài nước Pháp vào năm 1891.

Cấu trúc các tòa nhà trong khuôn viên đều là sườn sắt tiền chế đem ráp lại trên nền bằng đá. Mọi vật liệu được mang từ Pháp sang.

Từ năm 1905 trở đi cơ sở y tế này dưới sự điều hành của bác sĩ Charles Grall đã mở cửa chữa trị cho mọi thành phần, quân sự cũng như dân sự kể cả dân bản xứ.

- Năm 1925, Bệnh viện Quân sự chính thức đổi tên thành "Bệnh viện Grall" để vinh danh Giám đốc Y tế Nam Kỳ (bác sĩ Charles Grall).

- Tháng 4/1945 (thời Đệ Nhị Thế chiến) bệnh viện bị trúng bom, phá sập mé phía bắc, tiêu hủy các phòng thí nghiệm.

- Năm 1956, dưới chính thể Việt Nam Cộng Hòa, chính phủ Pháp ký biên bản tiếp tục điều hành Bệnh viện Grall, thuộc Bộ ngoại giao Pháp (Bệnh viện có 560 giường).

- Năm 1976, Người Pháp rút đi, Bệnh viện Grall được chuyển giao cho nhà chức trách Cộng hòa Xã hội Chủ nghĩa Việt Nam.

- Năm 1978, Bệnh viện Grall đổi tên thành Bệnh viện Nhi đồng 2 và trở thành bệnh viện chuyên khoa Nhi phụ trách khám và điều trị bệnh cho các bé từ 0 đến dưới 16 tuổi.