Το "Shiba" αναφέρεται σε ένα είδος μικρού, βούρτσα που βρέθηκε στις ορεινές περιοχές της Ιαπωνίας. Η λέξη "shiba" χρησιμοποιείται για να περιγράψει κάτι μικρό, συμπαγές ή ρουστίκ. Στην περίπτωση του Shiba Inu, πιθανότατα αναφέρεται στο μικρό μέγεθος του σκύλου και τη σχέση του με τις αγροτικές περιοχές.
Το "Inu" σημαίνει απλώς "σκύλο" στα ιαπωνικά. Είναι μια κοινή λέξη που χρησιμοποιείται για να αναφέρεται σε οποιοδήποτε είδος σκύλου, ανεξάρτητα από τη φυλή.
Έτσι, η λέξη "shiba inu" μεταφράζεται κυριολεκτικά σε "σκυλί βούρτσας" ή "μικρό ρουστίκ σκυλί". Αυτό το όνομα αντικατοπτρίζει την προέλευση του σκύλου και τη σχέση του με τις αγροτικές περιοχές της Ιαπωνίας όπου εκτράφηκε.