Οι εναλλάκτες θερμότητας μπορούν να κατασκευαστούν από μια σειρά διαφορετικών υλικών, αν και μέταλλα, όπως ο ανοξείδωτος χάλυβας, χρησιμοποιούνται συνήθως λόγω της ικανότητάς τους να απορροφούν και να μεταδίδουν τη θερμότητα. Εκτός από μέταλλα, κεραμικά, σύνθετα υλικά με βάση μέταλλα και κεραμικά και πλαστικά μπορούν να χρησιμοποιηθούν για την κατασκευή εναλλάκτη θερμότητας. Κάθε ένα από αυτά τα υλικά προσφέρει τα δικά του πλεονεκτήματα, καθιστώντας τα κατάλληλα για διαφορετικές εφαρμογές.
Τα μέταλλα προσφέρουν καλή θερμική αγωγιμότητα, απορρόφηση θερμότητας και αντοχή σε υψηλές θερμοκρασίες, αλλά τα κεραμικά μπορούν να χρησιμοποιηθούν για εφαρμογές υψηλότερης θερμοκρασίας άνω των 1000 βαθμών, οι οποίες θα έλιωναν μέταλλα όπως ο χαλκός, ο σίδηρος και ο χάλυβας. Τα κεραμικά χρησιμοποιούνται επίσης με λειαντικά και διαβρωτικά υγρά υψηλής και χαμηλής θερμοκρασίας.
Τα πλαστικά, ή τα πολυμερή, μπορούν επίσης να αντισταθούν στη διάβρωση και τη ρύπανση, καθώς και να είναι λιγότερο ακριβά και ελαφρύτερα από τα μέταλλα. Αν και μπορούν να κατασκευαστούν για να έχουν καλή θερμική αγωγιμότητα, τα πλαστικά δεν είναι γενικά κατάλληλα για εφαρμογές σε υψηλές θερμοκρασίες. Ωστόσο, με πιο ψυχρές εφαρμογές, όπως η θέρμανση πισίνας ή ντους, οι πλαστικοί εναλλάκτες θερμότητας λειτουργούν τέλεια.
Οι σύνθετοι εναλλάκτες θερμότητας προσφέρουν τα πλεονεκτήματα των μητρικών υλικών τους, όπως το χαμηλότερο βάρος και αντοχή στη διάβρωση του πλαστικού με τη θερμική αγωγιμότητα και τη θερμική αντίσταση ενός κεραμικού ή μετάλλου.
Άλλα υλικά διερευνώνται επίσης για χρήση σε εναλλάκτες θερμότητας, όπως μικροσκοπικοί νανοσωλήνες άνθρακα, οι οποίοι χρησιμοποιούνται ως απαγωγείς θερμότητας για ηλεκτρονικές συσκευές λόγω των εξαιρετικών ιδιοτήτων αγωγιμότητας της θερμότητας.