- 'It Ain't Me Babe' muncul sebagai lagu terakhir di Side 2 dari album studio keempat Dylan, Sisi Lain Bob Dylan . Ini adalah album legendaris yang direkam Dylan dalam satu sesi studio sepanjang malam, dibantu oleh 'beberapa botol Beaujolais.' Pengambilan master terakhir dilakukan pada pukul 1:30 pagi.
- Menurut legenda, baris pembuka 'Go away from my window...' adalah teriakan untuk sesama penyanyi folk John Jacob Niles' lagu 'Go 'Way From My Window' - Dylan menyebut Niles sebagai pengaruh awal.
Juga refrein 'tidak, tidak, tidak, itu bukan aku sayang' adalah panggilan balik ke The Beatles' 'dia mencintaimu, ya, ya, ya,' seperti yang terdengar di lagu mereka 'Dia Mencintaimu.' - Ini adalah salah satu lagu yang diberi aransemen elektrik oleh Dylan saat memulai konser gitar elektrik pada tahun 1965.
- Pengagum lama Johnny Cash mengcover lagu ini dengan restu Dylan untuk albumnya Bunga Jeruk Spesial . Joan Baez, Peter, Paul and Mary, Johnny Thunders, dan The Turtles juga meliputnya, dengan versi The Turtles mencapai #8 di tangga lagu AS.
- Lirik untuk Sisi Lain Bob Dylan adalah hasil dari usahanya untuk menerbitkan buku puisi pada saat itu. Buku itu belum diambil, tetapi Dylan tetap mendapat manfaat dari latihan mental itu. Ini juga setahun setelah pembunuhan Kennedy - dapatkah Anda mendengar lirik yang lebih intens? Terutama dengan lagu-lagu seperti 'Chimes of Freedom,' sarjana Dylan Clinton Heylin akan mencatat bahwa Dylan telah dilahirkan kembali sebagai penyair jalanan.
