Можно полагать, что под "Йогом" подразумевается человек, полностью посвятивший себя учению йоги и выполняющий все правила, установленные этим учением (сознательно не использую здесь специальную терминологию). Соответственно цели, деяния, образ жизни и жизненные установки Йога, как представляется, также подчинены учению йоги. Это не означает, что они ограниченны, поскольку, как любое учение, йога затрагивает все аспекты духовной и физической жизни и потому безгранична.
Человек, занимающийся йогой, воспринимает и встраивает в свою жизнь большую ими меньшую часть духовного и физического аспектов учения йоги. В силу этого он сочетает в своих действиях, мировоззрении и взглядах "йогические" и "нейогические" компоненты. Замечательно, если ему удалось найти сочетание, в котором ему комфортно и которое он не пытается навязать окружающим.
Человек, который йогой не занимается, в зависимости от своего характера, может относиться к йоге и занимающимся йогой более или менее толерантно или совершенно равнодушно. Он может выполнять какие-то асаны (не задумываясь, йога эти, пилатес или гимнастика), может придерживаться каких-то взглядов, соответствующих йоговским. Но при этом не ассоциирует себя с йогой.
На мой взгляд, некорректно говорить "обычный человек", Тот, кто занимается йогой - тоже обычный человек, он просто занимается йогой, что не делает его лучше, хуже или "необычнее".
Так что разница - не более и не менее чем между людьми разных профессий, разных взглядов и разного вероисповедания. Как-то непонятно, какой смысл искать эту разницу...