Johansson var en murarson från Stockholm. Efter folkskolan hade han en del ströjobb, bland annat i en livsmedelsaffär och i kooperationen. Vid 21 års ålder flyttade han till Kooperativa Förbundet, där han blev föreståndare för soliditetsavdelningen. Den formellt outbildade Albin skrev handbok i bokföring för konsumtionsföreningar, gick kvällskurser på Handelshögskolan i Stockholm och senare i Tyskland.

27 år gammal blev han förbundets kontorschef och började förespråka en centralisering efter engelskt mönster i Stockholms konsumentkooperativa verksamhet. En sådan centralisering skedde med bildandet av Konsumtionsföreningen Stockholm 1916, Nordens största konsumentägda företag och med Johansson som affärsledare.

Från 1924 var han hela kooperationens verkställande direktör. Förbundets affärsutveckling bar hans prägel - satsningar på produktionsföretag som skulle bryta den makt som privata karteller och monopol byggt upp. De bildade eller förvärvade olika fabriker över hela Sverige. Förbundet hade också gått in på andra områden än dagligvaruhandeln genom Sko-Konsum och varuhuset P.U.B, som övertagits från företagaren Paul U. Bergström. Det fanns ett försäkringsbolag, Folket-Samarbete, senare Folksam, och det kom ett bensinbolag, OK. Glödlampsfabrikationen genom Lumaförbundet blev den första internationella kooperativa industriverksamheten.
KF växte till ett av landets största företag under Albin Johanssons ledning.  Han avgick som styrelseordförande i KF 1959 vid 73 års ålder och avled 1968.