ﻧﻮرون ﻫﺎي ﺧﻄﯽ و ﻣﺤﺪودﯾﺖ ﻫﺎي ﻣﻮﺟﻮد
ﺑﯿﺸﺘﺮ اﻧﻮاع ﻧﻮرون ﻫﺎ را ﺑﺎ ﺗﺎﺑﻊ ﺗﻌﺮﯾﻒ ﻣﯽ ﻧﻤﺎﯾﻨﺪ و از آن ﻫﺎ ﺑﺮاي ﺗـﺎﺑﻊ اﺳـﺘﻔﺎده ﻣـﯽ ﮐﻨﻨـﺪ ﻻﯾﻪ ﻫﺎﯾﯽ از ﻧﻮرون ﻫﺎ را در ﻧﻈﺮ ﺑﮕﯿﺮﯾﺪ ﮐﻪ از ﺗﺎﺑﻊ ﺧﻄﯽ در ﻓﺮم اﺳﺘﻔﺎده ﻣﯽ ﻧﻤﺎﯾﻨﺪ. ﻣﺜـﺎﻟﯽ را در ﻧﻈﺮ ﺑﮕﯿﺮﯾﺪ ﮐﻪ در آن ﺑﺮاي ﺗﺨﻤﯿﻦ ﻗﯿﻤﺖ ﻏﺬا در رﺳﺘﻮران از ﻧﻮرون ﻫﺎي ﺧﻄﯽ اﺳﺘﻔﺎده ﻣﯽ ﺷﻮد ﮐﻪ در آن و اﺳﺖ. ﺑﻪ ﻋﺒﺎرت دﯾﮕﺮ، ﻣﯿﺰان ﺳﻔﺎرش ﺳﻪ ﻧﻮع ﻏﺬاي ﺑﺮﮔﺮ، ﺳﻮﺧﺎري و ﺳﻮدا و ﺑـﺎ در ﻧﻈﺮﮔﺮﻓﺘﻦ وزن ﻫﺎي ﻣﺴﺎوي در ﺳﺎﺧﺘﺎر ﯾﮏ ﻧﻮرون ﺧﻄﯽ در ﻗﺎﻟﺐ ﺷﮑﻞ اراﺋﻪ ﺷـﺪه و ﺧﺮوﺟـﯽ ﻧﻮرون ﺧﻄﯽ ﻣﻌﺎدل ﺑﻬﺎي اﯾﻦ ﺗﺮﮐﯿﺐ اﺳﺖ.
ﻧﻮرون ﺧﻄﯽ ﺑﻪ ﺳﺎدﮔﯽ ﻗﺎﺑﻞ ﻣﺤﺎﺳﺒﻪ اﺳﺖ اﻣﺎ داراي ﺑﺮﺧﯽ ﻣﺤﺪودﯾﺖ ﻫﺎ ﻧﯿﺰ اﺳﺖ. ﺷﺒﮑﻪ ﻋﺼـﺒﯽ ﭘﯿﺸﺮو ﮐﻪ ﺗﻨﻬﺎ داراي ﻧﻮرون ﻫﺎي ﺧﻄﯽ اﺳﺖ ﻣﯽ ﺗﻮاﻧﺪ در ﻻﯾﻪ ﻫﺎي ﭘﻨﻬﺎن اﯾﺠﺎد ﺷﻮد. اﯾﻦ اﻣﺮ ﻣﺸـﮑﻞ ﺳـﺎز اﺳﺖ زﯾﺮا ﻻﯾﻪ ﻫﺎي ﭘﻨﻬﺎن ﻫﻤﺎن ﺳﺎزوﮐﺎري اﺳﺖ ﮐﻪ ﻣﺎ را ﻗﺎدر ﻣﯽ ﻧﻤﺎﯾﺪ ﺗﺎ ﯾـﮏ ﺧﺼﯿﺼـﻪ ﻣﻬـﻢ ر ا از روي داده ﻫﺎي ورودي ﯾﺎد ﺑﮕﯿﺮﯾﻢ. ﺑﻪ ﻋﺒﺎرت دﯾﮕﺮ، ﺑﺮاي ﯾﺎدﮔﯿﺮي ارﺗﺒﺎط ﭘﯿﭽﯿﺪه، ﻧﯿﺎز ﺑﻪ ﻧﻮرون ﻫﺎﯾﯽ ﻏﯿﺮﺧﻄﯽ داریم
ﻧﻮرون واﺣﺪ
ﻪ ﻧﻮع اﺻﻠﯽ ﻧﻮرون ﮐﻪ داراي ﻣﺤﺎﺳﺒﻪ ﻫﺎي ﻏﯿﺮﺧﻄﯽ ﻫﺴﺘﻨﺪ و ﺑﺎ ﻧﺎم ﻫﺎي ﻧﻮرون ﻫﺎي ﺳﯿﮕﻤﻮﺋﯿﺪ، ﺗﺎﻧﮋاﻧﺖ ﻫﺎﯾﭙﺮﺑﻮﻟﯿﮏ و ﻧﻮرون واﺣﺪ ﺧﻄﯽ ﻣﺤﺪود ﺷﻨﺎﺧﺘﻪ ﻣﯽ ﺷﻮﻧﺪ. در اداﻣـﻪ ﺑـﻪ ﻣﻌﺮﻓـﯽ اﯾـﻦ ﻧـﻮرون ﻫـﺎ ﭘﺮداﺧﺘﻪ ﻣﯽ ﺷﻮد. اوﻟﯿﻦ ﻣﻮرد ﻧﻮرون ﺳﯿﮕﻤﻮﺋﯿﺪ اﺳﺖ ﮐﻪ از ﺗﺎﺑﻊ زﯾﺮ اﺳﺘﻔﺎده ﻣﯽ ﻧﻤﺎﯾﺪ.
وﻗﺘﯽ ﻣﻘﺪار ﺗﺎﺑﻊ ﺧﯿﻠﯽ ﮐﻮﭼﮏ اﺳﺖ، ورودي ﻧﻮرون ﺑﻪ ﺻﻔﺮ ﻣﯿﻞ ﻣﯽ ﮐﻨﺪ. اﯾﻦ در ﺣﺎﻟﯽ اﺳﺖ ﮐـﻪ ﺧﺮوﺟﯽ ﻧﻮرون در ﻣﻮاﻗﻌﯽ اﺳﺖ ﮐﻪ ﻣﻘﺪار ﺗﺎﺑﻊ ﺧﯿﻠﯽ ﺑﺰرگ ﺑﺎﺷﺪ ﺑﻪ ﯾـﮏ ﻣﯿـﻞ ﻣـﯽ ﮐﻨـﺪ . ﻧﻤـﺎﯾﯽ از اﯾـﻦ ﻧﻮرون s ﺷﮑﻞ در ﻗﺎﻟﺐ ﺷﮑﻞ 11-1 ﺑﻪ ﺗﺼﻮﯾﺮ ﮐﺸﯿﺪه ﺷﺪه اﺳﺖ..
دوﻣﯿﻦ ﻣﻮرد ﻧﻮرون ﻫﺎي ﺗﺎﻧﮋاﻧﺖ ﻫﺎﯾﭙﺮﺑﻮﻟﯿﮏ (Tanh) اﺳﺖ. اﯾﻦ ﻧﻮرون ﻫﻤﺎﻧﻨﺪ ﺳﯿﮕﻤﻮﺋﯿﺪ، s ﺷﮑﻞ اﺳﺖ؛ ﺑﺎ اﯾﻦ ﺗﻔﺎوت ﮐﻪ ﺑﻪ ﺟﺎي اﯾﻦ ﮐﻪ داﻣﻨﻪ ﺗﻌﺮﯾـﻒ آن از ﺻـﻔﺮ ﺗـﺎ ﯾـﮏ ﺑﺎﺷـﺪ ، از 1- ﺗـﺎ 1 اﺳـﺖ . اﯾـﻦ ﻧﻮرون ﻫﺎ از ﺗﺎﺑﻊ اﺳﺘﻔﺎده ﻣﯽ ﻧﻤﺎﯾﻨﺪ. ارﺗﺒﺎط ﻣﺎﺑﯿﻦ ﺧﺮوﺟﯽ و ﺗﺎﺑﻊ در ﻗﺎﻟـﺐ ﺷـﮑﻞ 12-1 اراﺋﻪ ﺷﺪه اﺳﺖ. در ﺑﺴﯿﺎري از ﻣﻮاﻗﻊ ﻧﻮرون Tanh ﻧﺴﺒﺖ ﺑﻪ ﻧﻮرون ﺳﯿﮕﻤﻮﺋﯿﺪ در ﺷﺮاﯾﻂ اﺳـﺘﻔﺎده از ﺗﻮاﺑﻊ ﻏﯿﺮﺧﻄﯽ S ﺷﮑﻞ ﺑﺮﺗﺮي دارد؛ زﯾﺮا در آن ﻣﺒﺪأ ﻣﺨﺘﺼﺎت ﺑﺮاﺑﺮ ﺑﺎ ﺻﻔﺮ اﺳﺖ.
ﺳﻮﻣﯿﻦ ﻣﻮرد، ﻧﻮرون “واﺣﺪ ﺧﻄـﯽ ﻣﺤـﺪود 1 ” اﺳـﺖ . ﻧـﻮرون ReLU از ﺗـﺎﺑﻊ اﺳﺘﻔﺎده ﻣﯽ ﻧﻤﺎﯾﺪ. ﻧﻤﺎﯾﯽ از اﯾﻦ ﻧﻮرون ﮐﻪ ﺑﻪ ﺷﮑﻞ ﭼﻮبِ ﺣﺎﮐﯽ اﺳـﺖ در ﻗﺎﻟـﺐ ﺷـﮑﻞ 13-1 ﺑـﻪ ﺗﺼـﻮﯾﺮ ﮐﺸﯿﺪه ﺷﺪه اﺳﺖ.
ﻃﯽ ﺳﺎل ﻫﺎي اﺧﯿﺮ ﺗﻤﺎﯾﻞ ﺑﻪ اﺳﺘﻔﺎده از ﻧـﺮون ﻫـﺎي ReLU ﺑـﻪ وﯾـﮋه د ر ﺳﯿﺴـﺘﻢ ﻫـﺎي راﯾﺎﻧـﻪ اي اﻓﺰاﯾﺶ ﯾﺎﻓﺘﻪ اﺳﺖ. اﻟﺒﺘﻪ ﺑﺮﺧﯽ ﻣﺴﺄﻟﻪ ﻫﺎ ﻧﯿﺰ در ﺑﻪ ﮐﺎرﮔﯿﺮي اﯾﻦ ﻧـﻮرون وﺟـﻮد دارد. در ﻓﺼـول آتی ﺑـﻪ ﻣﻌﺮﻓﯽ اﯾﻦ ﻧﻮرون و راﻫﺒﺮدﻫﺎي ﻣﻘﺎﺑﻠﻪ ﺑﺎ ﻧﻘﺺ ﻫﺎي آن ﭘﺮداﺧﺘﻪ ﺧﻮاﻫﺪ ﺷﺪ.
مقداد علی بخشی هستم. موسیقی دان، برنامه نویس، متخصص هوش مصنوعی، علم داده، متخصص بلاکچین و توسعه دهنده ربات های هوشمند.
دانش آموخته مقطع ارشد و دکتری دانشکده فنی دانشگاه تهران هستم. با سابقه تدریس درس برنامه نویسی در دانشگاه (پردیس بین الملل کیش دانشگاه تهران)