هو أول شخصية صوفية في مدرسة بغداد : ذلك ما يخبرنا.. المثقف العراقي الكبير عزيز السيد جاسم – طيّب الله ثراه – و هو أول من تسمى بالصوفي .
وصدق تصوفه مؤكداً من خلال سلوكه الشخصي في تذوقه الحس الصوفي فهو من الذين (يقرن علمه بسلوكه مطهراً نفسه من الرياء)ٍ وكان يرى بالعلم هو وسيلة العبد للتقرب من المعبود، وحين يرى قاضياً أو عالماً أو عابداً يتقرب من ذوي الجاه والسلطان، كان حين يرى أحدهم في الطريق يقول : (أعوذ بك من علم لا ينفع) . لأن (أبو هاشم) يرى في التصوف هو التبصر بأسرار القلوب لتحصينها من النفاق والرياء والتزلف للآخرين . ومن الذين حاولوا السير على نهجه : القطب الصوفي سفيان الثوري حيث يقول :
(ما زلت أرائي وأنا لا أشعر حتى جالستُ أبا هاشم فأخذت منه ترك الرياء) ويقول الثوري عنه : (لولا أبو هاشم ما عرفتُ دقائق الرياء) كما تأثر الصوفي الكبير الحارث المحاسبي بفكر وسلوك أبي هاشم الزاهد .
ويرى المستشرق ما سينيون أن كلمة الصوفي بزغت في النصف الثاني من القرن الثاني الهجري، إذ نُعت بها جابر بن حيان وأبو هاشم الصوفي .
يقول أبو هاشم الزاهد :
أهل المعرفة لا يملكون إلاّ الاشتياق إلى الآخرة والاستيحاش من الدنيا .
ويقول أيضا (إن الله تعالى وسم الدنيا بالوحشة ليكن أنس المريدين به دونها .
وليُقبل المطيعون إليه بالإعراض عنها، فأهل المعرفة بالله فيها مستوحشون وإلى الآخرة مشتاقون) .
وكذلك يقول : لو أن الدنيا قصور وبساتين، والآخرة أكواخ، لكانت الآخرة أهلا أن تؤثر على الدنيا، لبقاء تلك ونفاد هذه .
