Στις 11 Ιουλίου του 1927 δημοσιεύθηκε το Προεδρικό Διάταγμα " Περί συστάσεως Βιβλιοθήκης του Πανεπιστημίου Θεσσαλονίκης". Η Βιβλιοθήκη άρχισε τη λειτουργία της στα τέλη του 1927, στο ισόγειο του παλαιού κτιρίου της Φιλοσοφικής Σχολής, όπου και στεγάστηκε για 47 χρόνια.
Από το 1974 στεγάζεται σε δικό της κτίριο, στο κέντρο της Πανεπιστημιούπολης. Το κτίριο της Βιβλιοθήκης με αρχιτέκτονες τους Κ. Παπαιωάννου και Κ. Φινές, είναι τετραώροφο, με τους δυο ορόφους των βιβλιοστασίων υπόγειους.
Σε εξέλιξη βρίσκονται και οι εργασίες για τη νέα μονάδα της Κεντρικής Βιβλιοθήκης του Πανεπιστημίου. Η νέα μονάδα οριοθετείται βορειοανατολικά και σε συνέχεια με το υπάρχον κτίριο της Βιβλιοθήκης. Οργανώνεται σε τρία επίπεδα, γύρω από ένα κυλινδρικό αίθριο και αποτελείται από κλειστό βιβλιοστάσιο, διπλού ύψους χώρο αναγνωστηρίου και ανοικτό βιβλιοστάσιο σε πατάρι.
Τον πρώτο πυρήνα της Βιβλιοθήκης αποτέλεσαν τα βιβλία του άλλοτε διευθυντή της Εθνικής Βιβλιοθήκης και συνέδρου του Ελεγκτικού Συνεδρίου Γ. Κωνσταντινίδη, τα βιβλία του Ελληνικού επί Τουρκοκρατίας Γυμνασίου Θεσσαλονίκης (κυρίως παλιές εκδόσεις κλασσικών κειμένων) και τα βιβλία του Διδασκαλείου Αρρένων (συλλογή με βιβλία κυρίως ιστορικά και περιηγητικά, συγκροτημένη από την προσωρινή κυβέρνηση Θεσσαλονίκης, κατά τον Α΄ Παγκόσμιο Πόλεμο).
Στη συνέχεια η Βιβλιοθήκη του Α.Π.Θ. πλουτίστηκε με τα βιβλία της Παιδαγωγικής Ακαδημίας Αθηνών ενώ αργότερα ο Τραπεζούντιος ευεργέτης του Πανεπιστημίου Κ.Κωνσταντινίδης δώρισε στη Βιβλιοθήκη τα βιβλία που είχε συγκεντρώσει και προόριζε για τη Βιβλιοθήκη του Τραπεζουντίου Φροντιστηρίου, αποστολή που ματαιώθηκε εξαιτίας της Μικρασιατικής Καταστροφής του 1922. Την ίδια εποχή η Επιτροπή Ταμείου Ανταλλαξίμων Περιουσιών παρέδωσε στη Βιβλιοθήκη του Α.Π.Θ. αρκετά βιβλία, που προέρχονταν από τα Ελληνικά εκπαιδευτικά ιδρύματα, που εγκαταλείφθηκαν στην Τουρκία μετά το1922.
Η Βιβλιοθήκη του Πανεπιστημίου Θεσσαλονίκης εμπλουτίστηκε επίσης με αγορές και δωρεές σπουδαίων ιδιωτικών συλλογών, όπως του Ν. Πολίτη, Γ. Χατζηδάκη, Αλ. Σβώλου, Αλ. Δελμούζου, Αλ. Παπαναστασίου, Μ. Τριανταφυλλίδη, Αλ. Πάλλη, Π.Καλλιγά, Χρ. Ευελπίδη, Δημ. Στεφανίδη κ.ά.
Το 1963 στις συλλογές της Βιβλιοθήκης προστέθηκε η δωρεά της ιδιωτικής συλλογής του ομογενούς από την Αίγυπτο Ιωάννη Τρικόγλου (11.763 τίτλοι βιβλίων ιστορικοφιλολογικού περιεχομένου και 963 χαρακτικά και φωτογραφίες, τοπία, χάρτες και πρόσωπα της Ελληνικής Επανάστασης.)
