Thủ Đức là vùng đất thuộc huyện Ngãi An, tỉnh Biên Hòa (Đồng Nai ngày nay). Theo dòng lịch sử, nơi này được cắt ra, sáp nhập vào tỉnh Gia Định (một phần TP.HCM ngày nay).
Theo một số tài liệu được ghi chép lại, tên gọi Thủ Đức bắt nguồn từ tên hiệu Thủ Đức của ông Tạ Dương Minh (Tạ Huy) – người có công lao với vùng đất này từ năm 1679 đến 1725.
Để thuận tiện cho người dân buôn bán, ông cho xây ngôi chợ lớn nằm ở vị trí đẹp, thuận tiện buôn bán ở khu vực này, được gọi là chợ Thủ Đức – một trong những ngôi chợ lớn, sầm uất của vùng thời bấy giờ.
Thời Pháp thuộc, ngày 9-10-1868, tên Thủ Đức xuất hiện lần đầu với việc huyện Ngãi An tách ra lập khu thanh tra độc lập tên là Thủ Đức. Đến ngày 1-1-1911, tỉnh Gia Định được người Pháp chia thành bốn quận là Hóc Môn, Thủ Đức, Gò Vấp và Nhà Bè. Như vậy tên gọi Thủ Đức xuất hiện cách đây ít nhất 150 năm.
Năm 1955, dưới thời chính quyền Việt Nam Cộng Hòa, Thủ Đức vẫn là một quận của tỉnh Gia Định, gồm có năm tổng: An Bình, An Điền, An Thổ, An Thuỷ, Vĩnh Long Hạ với tổng cộng 19 làng (xã).
Quận lỵ Thủ Đức đặt tại xã Linh Đông. Năm 1966, xã An Khánh (thuộc tổng An Bình) được nhập vào Đô thành Sài Gòn. Sau đó xã này chia thành hai phường An Khánh và Thủ Thiêm thuộc quận 1 (quận Nhất), năm 1967 bị tách ra lập nên quận 9 (quận Chín) thuộc Đô thành Sài Gòn.
Sau năm 1975, chính quyền cách mạng thành lập huyện Thủ Đức trên cơ sở toàn bộ quận Thủ Đức cũ từ thời chính quyền Việt Nam Cộng Hòa. Một năm sau, quận 9 bị giải thể. Hai phường trực thuộc chuyển thành hai xã Thủ Thiêm và An Khánh nhập vào huyện Thủ Đức.
Trước năm 1997, TP.HCM có 20 quận huyện (15 quận, 5 huyện). Ngày 6-1-1997, Nghị định 3 do Thủ tướng Võ Văn Kiệt ký, thành lập quận 2, 9, Thủ Đức (tách từ huyện Thủ Đức).
Đến đầu năm 2021, theo Nghị quyết 1111 của Ủy ban Thường vụ Quốc hội, chính thức sáp nhập ba quận này trở thành TP Thủ Đức. Đây là thành phố trong thành phố đầu tiên của cả nước, với 34 phường.
Quá trình hoàn thiện đề án sáp nhập ba quận thành đơn vị hành chính mới cấp thành phố, TP.HCM cũng tổ chức lấy ý kiến người dân về tên gọi mới sau sáp nhập. Cuối cùng, thống nhất đặt tên là TP Thủ Đức cho đến nay.