| QUOTE (Pearltea @ Mar 9 2016, 22:13 ) |
| http://www.techweb.com.cn/internet/2016-03-10/2293369.shtml ¨¦ºq¤H¤u´¼¯à¡]AI¡^µ{§ÇAlphaGo围´Ñ°f转战败§õ¥@乭¤E¬qªº®ø®§让¤H颇为¾_Õa¡A¤j©I¡§³Ì¦Zªº骄¶Æ¡¨¤]丧¥¢¤F¡CÚÌ实¡A¦b«Ü¦h¨Æ±¡¤W¡A¤H¤u´¼¯à³£¯àû{¥N´À¤H类来§¹¦¨¡C¦ý´N¤µ¤Ñ这§½¡§¥@纪围´Ñ¡¨¤§战来说¡A Ð`负¦b´Ñ盘¤§¥~¡C©ÎªÌ说¡AAlphaGoªºÐ`§Q¦}没¦³¯«©_¨ì¥i¥H说¡§¤H¤u´¼¯à战Ð`¤H类¡¨¡C ¤@¡B计ºâ¤OüL势½V压 ¦bAlphaGoªº¨t统¤W¡A开发团队¨Ï¥Î¤F§ó¤jªº计ºâÉóÊI络¡X¡X¥]¬A170个GPU©M1200个标ãCPU¡C结¦X»X¯S¥d¬¥·j¯Áºâªk¡AAlphaGo¯àû{¬Ý¨ìªº¥i¯à©Ê¨«ªk²M´·¦Ó¥þ±¡A纯计ºâªº¤è¦¡¦P时ÁקK¤F¥¢误ªº¥i¯à¡C计ºâÉó¤@¤À钟ªº计ºâ¶q¡]实战¤¤AlphaGo«e´Á¨B时约1¤À钟¡^¡A¤H脑¤]许»Ýn¥b¤p时¬Æ¦Ü§ó¦h¡C ¦ÓÕu·jª¯CEOªí¥Ü¡A¦p¤µAlphaGoªº°t¸m¤w¦³¤FÌå¤jªº§ïµ½¡A¨ä¤¤GPU达¨ì2000¥H¤W¡C¤]´N¬O说¡AAlphaGo拥¦³¤F这个¥ýú¨ªºÉ¬势条¥ó¡A¦b¨«¤l¤Wªºªí现¤]¤£¨¬为©_¡C¦bAlphago¤§«e¡A¤]¤w经¦³¦hÏú纯计ºâ软¥ó战Ð`´Ñ¤O°ªüLªº¤H类选¤â¡C 从¤µ¤Ñªº对§½来¬Ý¡AAlphaGo¡]执¥Õ¡^«D±`¾Õ长ªñ¨¦×·i¡A¥i见¨ä§½³¡计ºâ¤§ºë±K¡C ¤G¡B¤£À´¤j§½谋¦E¡A§Î势§P断¤´¥¼¬ð¯} AlphaGo©M§õ¥@乭¤µ¤Ñªº对§½¤¤¡A«e´Á§õ¥@乭¨Ï¥Î¤j规¼Ò¥¬§½ªº§@战¤è¦¡¡A§Î势¤W°¸¦³领¥ý¡C¦ý¬O¡A§Î势属虚¡A¦b¦Z来ªñ¨¦×·iªº过µ{¤¤¡AAlphaGo¤ñ§õ¥@乭n¤¿²r¡C¤ñ¦p¤U图¡A¶Â´Ñ¦b¥ª¤U¤è©w«¬时¡A¥Õ¤l¦^¨ì¤W¤è¬D¨Æ¡A«D±`顽üL¡A©Ò¥H¶Â¤l¤~会³Q¥Õ¤l«õ¨«¤@块¤S¤@块¡C ¦ý¬O¡A这ý©说©ú计ºâÉóµ{§Ç对¤_¥¬§½还没学会¡C¥¬§½变数¤ñ应þÓn¦h¡A§Î势n虚¡A§P断¨Ì赖´Ñ·P¡C¦b这¤@点¤W¡AAlphaGo¤´µMÊ^现¥X¤F电脑ªº®z点¡C¥j¤O¤E¬qªí¥Ü¡AAlphaGo对«p势¡]¥~势¡^ªº§P断没¦³·d²M·¡¡C ¦Ó«ê¦n¡A§õ¥@乭ªºüL项©M®z项³£©MAlphaGoªº¯S©Ê对¤W¤F¡C¡§¤¤国围´Ñ²Ä¤@¤H¡¨¬_Ï¡¤E¬q¤ÀªR称¡G¡§§õ¥@乭ªºüL项¬O¦Z¥b盘ªºÂ½盘¯à¤O¡A¥¬§½则¬O§õ¥@乭³Ì®tªº¦a¤è¡A§P断¤O¤]¤£¬O¤Ó¦n¡A这对¤_AlphaGo来说¬O个«¤j§Q¦n¡A¦]为计ºâÉó¤@¯ë来说¤]¬OüL¦b¦Z¥b盘¡C¡¨ ¤T¡BAlphaGo¦b进¨ú¡A¦ý§ó¦hªº¬O¤Ï应 ¨ì¤F¤¤盘¡A尽ºÞ¶Â¤è¤w经©w势¡A¦ýAlphaGo«D±`进¨ú¡A¥HP¶Â¤è¥¼¯à§¤实ɬ势¡C这¬OAlphaGoªí现ɬ¨qªº¤@±¡C¦]为«ö²z说¡An¯}这Ïú§Î势»Ýn§ä¨ì³Ìɬªº§®¤â¡A¥i见AlphaGoªº»X¯S¥d¬¥·j¯ÁºâªkªºãÚ̫צ³¤FÌå¤jªº´£°ª¡C ¤£过¡A AI¥Ø«e¥u¯à¦b¯S©w场´º¤U¡A¿í´`规则产¥Í¯S©wªº结ªG¡C¦b¦¹对§½¤¤¡AAlphaGo虽µM执¥Õ属¦Z¤â¡A¦ý°ò¥»ÆÓªk抢±o¥ý¤â¡A¤]«Ü¤Ö¯àû{¥D导§½±§Î势ªº变¤Æ¡A§ó¦hªº¬O顺þÓ对¤è¨«¡Aª½¨ì对¤â¥¢误¡C ±ä¤j¤¸¤E¬q¦b对§½结§ô时ªí¥Ü¡AAlphaGoªºªí现¥O¤H¦YÕa¡A¦ý¤H¤u´¼¯àÉO¤H类¥»质¤W还没¦³¤À¥XÐ`负¡C´N«Ù´Ñ¦Ó¨¥¡A§C¤â¤ñ´Ñ谱¡AüL¤â¤ñ计ºâ¡A°ª¤â¤ñ´Ñ²z¡C §Ú们¤£¯à§_认AlphaGo¦b¤H¤u´¼¯à¤W¨ú±oªº¬ð¯}¡A¤H¤u´¼¯àªºÎ`杂©Ê©M艰¥¨©Ê¤£¨¥¦Ó³ë¡A¥¦ªº¨C¤@¤p¨B³£·N¨ýþÓ¤H类¬ì学迈¥Xªº¤@¤j¨B¡A§Y«K¥¦还¬O这¤\¡§Äø¡¨¡A§Ú们¤´为¥¦欢ªY¹ª»R¡C |
§Ú¤£À´³ò´Ñ¡A¦ý¤W±³o¨Çµû½×¬O²Ä¤@§½ªº¡A²Ä¤G§½¹L«á«Ü¦h¤H»{¬°Alphagoªº§G§½¨ä¹êµ·²@¤£®z¡]·íµM¦¬©x´N§ó±j¡^¡C¤HÃþ°ª¤â²´¤¤ªº¬Y¨Ç¡u½w¤â¡v¡A¨ä¹ê¬O¦]¬°¤HÃþªº¤j§½Æ[¤Ó®z¡A¨S¬ÝÀ´Alphagoªº´Ñ²z¡C
Ãö©óAlphago³Ì¦nªº§Þ³N¤¶²Ð¡]«ü¹q¸£§Þ³N¡A¤£¬O³ò´Ñ§Þ³N¡^¡AÁÙn¬Ý¨äÄvª§¹ï¤â¡AFacebook³ò´ÑAI¡u¶Â·t´ËªL¡v¶}µo¤p²Õt³d¤H¥Ð²W´Éªº¸ÑŪ¡G
| QUOTE |
| µÛ§@ÅvÂk§@ªÌ©Ò¦³¡C °Ó·~Âà¸ü½ÐÁpô§@ªÌÀò±o±ÂÅv¡A«D°Ó·~Âà¸ü½Ðµù©ú¥X³B¡C §@ªÌ¡G¥Ð²W´É Ãì±µ¡Ghttp://zhuanlan.zhihu.com/yuandong/20607684 ¨Ó·½¡Gª¾¥G ³Ìªñ§Ú¥J²Ó¬Ý¤F¤UAlphaGo¦b¡m¦ÛµM¡nÂø»x¤Wµoªíªº¤å³¹¡A¼g¤@¨Ç¤ÀªRµ¹¤j®a¤À¨É¡C AlphaGo³oÓ¨t²Î¥Dn¥Ñ´XÓ³¡¤À²Õ¦¨¡G 1. ¨«´Ñºôµ¸¡]Policy Network¡^¡Aµ¹©w·í«e§½±¡A¹w´ú/±Ä¼Ë¤U¤@¨Bªº¨«´Ñ¡C 2. §Ö³t¨«¤l¡]Fast rollout¡^¡A¥Ø¼Ð©M1¤@¼Ë¡A¦ý¦b¾A·íÄ묹¨«´Ñ½è¶qªº±ø¥ó¤U¡A³t«×n¤ñ1§Ö1000¿¡C 3. ¦ôȺôµ¸¡]Value Network¡^¡Aµ¹©w·í«e§½±¡A¦ôp¬O¥Õ³ÓÁÙ¬O¶Â³Ó¡C 4. »X¯S¥dù¾ð·j¯Á¡]Monte Carlo Tree Search¡AMCTS)¡A§â¥H¤W³o¤TÓ³¡¤À³s°_¨Ó¡A§Î¦¨¤@Ó§¹¾ãªº¨t²Î¡C §Ú̪ºDarkForest©MAlphaGo¦P¼Ë¬O¥Î4·f«Øªº¨t²Î¡CDarkForest¸ûAlphaGo¦Ó¨¥¡A¦b°V½m®É¥[±j¤F1¡A¦Ó¤Ö¤F2©M3¡AµM«á¥H¶}·½³n¥óPachiªº¯Ê¬Ùµ¦²¤ (default policy)³¡¤À´À¥N¤F2ªº¥\¯à¡C¥H¤U¤¶²Ð¤U¦U³¡¤À¡C 1.¨«´Ñºôµ¸¡G ¨«´Ñºôµ¸§â·í«e§½±§@¬°¿é¤J¡A¹w´ú/±Ä¼Ë¤U¤@¨Bªº¨«´Ñ¡C¥¦ªº¹w´ú¤£¥uµ¹¥X³Ì±jªº¤@¤â¡A¦Ó¬O¹ï´Ñ½L¤W©Ò¦³¥i¯àªº¤U¤@µÛµ¹¤@Ó¤À¼Æ¡C´Ñ½L¤W¦³361ÓÂI¡A¥¦´Nµ¹¥X361ӼơA¦n©Ûªº¤À¼Æ¤ñÃa©Ûn°ª¡CDarkForest¦b³o³¡¤À¦³³Ð·s¡A³q¹L¦b°V½m®É¹w´ú¤T¨B¦Ó«D¤@¨B¡A´£°ª¤Fµ¦²¤¿é¥Xªº½è¶q¡A©M¥L̦b¨Ï¥Î¼W±j¾Ç²ß¶i¦æ¦Û§Ú¹ï§½«á±o¨ìªº¨«´Ñºôµ¸¡]RL network¡^ªº®ÄªG¬Û·í¡C·íµM¡A¥L̨èS¦³¦b³Ì«áªº¨t²Î¤¤¨Ï¥Î¼W±j¾Ç²ß«áªººôµ¸¡A¦Ó¬O¥Î¤Fª½±µ³q¹L°V½m¾Ç²ß¨ìªººôµ¸¡]SL network¡^,²z¥Ñ¬ORL network¿é¥Xªº¨«´Ñ¯Ê¥FÅܤơA¹ï·j¯Á¤£§Q¡C  ¦³·N«äªº¬O¦bAlphaGo¬°¤F³t«×¤Wªº¦Ò¼{¡A¥u¥Î¤F¼e«×¬°192ªººôµ¸¡A¦Ó¨Ã¨S¦³¨Ï¥Î³Ì¦nªº¼e«×¬°384ªººôµ¸¡]¨£¹Ï2(a))¡A©Ò¥Hn¬OGPU§ó§Ö¤@ÂI¡]©ÎªÌ§ó¦h¤@ÂI¡^¡AAlphaGoªÖ©w¬O·|Åܱo§ó±jªº¡C ©Ò¿×ªº0.1¬í¨«¤@¨B¡A´N¬O¯Âºé¥Î³o¼Ëªººôµ¸¡A¤U¥X¦³³Ì°ª¸m«H«×ªº¦XªkµÛªk¡C³oºØ°µªk¤@ÂI¤]¨S¦³°µ·j¯Á¡A¦ý¬O¤j§½Æ[«D±`±j¡A¤£·|³´¤J§½³¡¾Ô°«¤¤¡A»¡¥¦«Ø¼Ò¤F¡u´Ñ·P¡v¤@ÂI¤]¨S¦³¿ù¡C§Ú̧âDarkForestªº¨«´Ñºôµ¸ª½±µ©ñ¤WKGS´N¦³3dªº¤ô¥¡AÅý©Ò¦³¤H³£Åå¼Û¤F¤U¡C¥i¥H»¡¡A³o¤@ªi³ò´ÑAIªº¬ð¯}¡A¥Dn±o¯q©ó¨«´Ñºôµ¸ªº¬ð¯}¡C³oÓ¦b¥H«e¬O¤£¥i·Q¹³ªº¡A¥H«e¥Îªº¬O°ò©ó³W«h¡A©ÎªÌ°ò©ó§½³¡§Îª¬¦A¥[¤W²³æ½u©Ê¤ÀÃþ¾¹°V½mªº¨«¤l¥Í¦¨ªk¡A»ÝnºCºC½Õ°Ñ¼Æ¦~¡A¤~¦³¶i¨B¡C ·íµM¡A¥u¥Î¨«´Ñºôµ¸°ÝÃD¤]«Ü¦h¡A´N§Ú̦bDarkForest¤W¬Ý¨ìªº¨Ó»¡¡A·|¤£ÅU¤j¤pµL¿×ª§§T¡A·|µL¿×²æ¥ý¡A¤£ÅU§½³¡¦º¬¡¡A¹ï±þ¥X¿ù¡Aµ¥µ¥¡C¦³ÂI¹³°ª¤â¤£¸g»{¯u«ä¦ÒªºÀH¤â´Ñ¡C¦]¬°¨«´Ñºôµ¸¨S¦³»ùȧPÂ_¥\¯à¡A¥u¬O¾Ì¡uª½Ä±¡v¦b¤U´Ñ¡A¥u¦³¦b¥[¤F·j¯Á¤§«á¡A¹q¸£¤~¦³»ùȧPÂ_ªº¯à¤O¡C 2. §Ö³t¨«¤l ¨º¦³¤F¨«´Ñºôµ¸¡A¬°¤°»òÁÙn°µ§Ö³t¨«¤l©O¡H¦³¨âÓì¦]¡Aº¥ý¨«´Ñºôµ¸ªº¹B¦æ³t«×¬O¤ñ¸ûºCªº¡AAlphaGo»¡¬O3²@¬í¡A§Ú̳o¸Ì¤]®t¤£¦h¡A¦Ó§Ö³t¨«¤l¯à°µ¨ì´X·L¬í¯Å§O¡A®t¤F1000¿¡C©Ò¥H¦b¨«´Ñºôµ¸¨S¦³ªð¦^ªº®ÉÔÅýCPU¤£¶¢µÛ¥ý·j¯Á°_¨Ó¬O«Ü«nªº¡Aµ¥¨ìºôµ¸ªð¦^§ó¦nªºµÛªk«á¡A¦A§ó·s¹ïÀ³ªºµÛªk«H®§¡C ¨ä¦¸¡A§Ö³t¨«¤l¥i¥H¥Î¨Óµû¦ô½L±¡C¥Ñ©ó¤Ñ¤å¼Æ¦r¯ëªº¥i¯à§½±¼Æ¡A³ò´Ñªº·j¯Á¬O²@µL§Æ±æ¨«¨ì©³ªº¡A·j¯Á¨ì¤@©wµ{«×´Nn¹ï²{¦³§½±°µÓ¦ô¤À¡C¦b¨S¦³¦ôȺôµ¸ªº®ÉÔ¡A¤£¹³°ê¶H¥i¥H³q¹Lºâ´Ñ¤lªº¤À¼Æ¨Ó¹ï½L±°µ¤ñ¸ûºë½Tªº¦ôÈ¡A³ò´Ñ½L±ªº¦ôp±on³q¹L¼ÒÀÀ¨«¤l¨Ó¶i¦æ¡A±q·í«e½L±¤@¸ô¨«¨ì©³¡A¤£¦Ò¼{§Ã¸ô¦aºâ¥X³Ót¡AµM«á§â³Ótȧ@¬°·í«e½L±»ùȪº¤@Ó¦ôp¡C³o¸Ì¦³Ó»ÝnÅv¿Åªº¦a¤è¡G¦b¦Pµ¥®É¶¡¤U¡A¼ÒÀÀ¨«¤lªº½è¶q°ª¡A³æ¦¸¦ôȺë«×°ª¦ý¨«¤l³t«×ºC¡F¼ÒÀÀ¨«¤l³t«×§Ö¤D¦Ü¨Ï¥ÎÀH¾÷¨«¤l¡AÁöµM³æ¦¸¦ôȺë«×§C¡A¦ý¥i¥H¦h¼ÒÀÀ´X¦¸ºâ¥§¡È¡A®ÄªG¥¼¥²¤£¦n¡C©Ò¥H»¡¡A¦pªG¦³¤@Ó½è¶q°ª¤S³t«×§Öªº¨«¤lµ¦²¤¡A¨º¹ï©ó´Ñ¤Oªº´£°ª¬O«D±`¦³À°§Uªº¡C ¬°¤F¹F¨ì³oӥؼСA¯«¸gºôµ¸ªº¼Ò«¬´NÅã±o¤ÓºC¡AÁÙ¬On¥Î¶Ç²Îªº§½³¡¯S¼x¤Ç°t¡]local pattern matching¡^¥[½u©Ê¦^Âk¡]logistic regression¡^ªº¤èªk¡A³o¿ìªkÁöµM¤£·s¦ý«D±`¦n¨Ï¡A´X¥G©Ò¦³ªº¼s§i±ÀÂË¡AÄv»ù±Æ¦W¡A·s»D±Æ§Ç¡A³£¬O¥Îªº¥¦¡C»P§ó¬°¶Ç²Îªº°ò©ó³W«hªº¤è®×¬Û¤ñ¡A¥¦¦b§l¯Ç¤F²³¦h°ª¤â¹ï§½¤§«á´N¨ã³Æ¤F¥Î±è«×¤U°ªk¦Û°Ê½Õ°Ñªº¯à¤O¡A©Ò¥H©Ê¯à´£°ª°_¨Ó·|§ó§Ö§ó¬Ù¤ß¡CAlphaGo¥Î³oÓ¿ìªk¹F¨ì¤F2·L¬íªº¨«¤l³t«×©M24.2%ªº¨«¤l·Ç½T²v¡C24.2%ªº·N«ä¬O»¡¥¦ªº³Ì¦n¹w´ú©M³ò´Ñ°ª¤âªº¤U¤l¦³0.242ªº·§²v¬O«¦Xªº¡A¬Û¤ñ¤§¤U¡A¨«´Ñºôµ¸¦bGPU¤W¥Î2²@¬í¯à¹F¨ì57%ªº·Ç½T²v¡C³o¸Ì¡A§ÚÌ´N¬Ý¨ì¤F¨«¤l³t«×©Mºë«×ªºÅv¿Å¡C  ©M°V½m²`«×¾Ç²ß¼Ò«¬¤£¦P¡A§Ö³t¨«¤l¥Î¨ì¤F§½³¡¯S¼x¤Ç°t¡A¦ÛµM»Ýn¤@¨Ç³ò´Ñªº»â°ìª¾ÃѨӿï¾Ü§½³¡¯S¼x¡C¹ï¦¹AlphaGo¥u´£¨Ñ¤F§½³¡¯S¼xªº¼Æ¥Ø¡]¨£Extended Table 4)¡A¦Ó¨S¦³»¡©ú¯S¼xªº¨ãÅé²Ó¸`¡C§Ú³Ìªñ¤]¹êÅç¤F¥L̪º¿ìªk¡A¹F¨ì¤F25.1%ªº·Ç½T²v©M4-5·L¬íªº¨«¤l³t«×¡AµM¦Ó¥þ¨t²Î¾ã¦X¤U¨Ó¨Ã¨S¦³´_²{¥L̪º¤ô¥¡C§Ú·Pı¤W24.2%¨Ã¤£¯à§¹¥þ·§¬A¥Ļֳt¨«¤lªº´Ñ¤O¡A¦]¬°¥un¨«¿ùÃöÁ䪺¤@¨B¡A§½±§PÂ_´N§¹¥þ¿ù»~¤F¡F¦Ó¹Ï2(b)§ó¯àÅé²{¥Ļֳt¨«¤l¹ï½L±§Î¶Õ¦ôpªººë½T«×¡An¯à¹F¨ì¥L̹Ï2(b)³o¼Ëªº¤ô·Ç¡A¤ñ²³æ¦a¤Ç°t24.2%n°µ§ó¦hªº¤u§@¡A¦Ó¥L̨弦b¤å³¹¤¤±j½Õ³o¤@ÂI¡C  ¦bAlphaGo¦³¤F§Ö³t¨«¤l¤§«á¡A¤£»Ýn¨«´Ñºôµ¸©M¦ôȺôµ¸¡A¤£É§U¥ô¦ó²`«×¾Ç²ß©MGPUªºÀ°§U¡A¤£¨Ï¥Î¼W±j¾Ç²ß¡A¦b³æ¾÷¤W´N¤w¸g¹F¨ì¤F3dªº¤ô¥¡]¨£Extended Table 7˼ƲĤG¦æ)¡A³o¬O¬Û·í¼F®`ªº¤F¡C¥ô¦ó¨Ï¥Î¶Ç²Î¤èªk¦b³æ¾÷¤W¹F¨ì³oÓ¤ô¥ªº³ò´Ñµ{§Ç¡A³£»Ýnªá¶O¼Æ¦~ªº®É¶¡¡C¦bAlphaGo¤§«e¡AAja Huang´¿¸g¦Û¤v¼g¹L«D±`¤£¿ùªº³ò´Ñµ{§Ç¡A¦b³o¤è±¬Û«H¬O¦³«Ü¦hªº¿n²Öªº¡C 3. ¦ôȺôµ¸  AlphaGoªº¦ôȺôµ¸¥i¥H»¡¬OÀA¤W²Kªáªº³¡¤À¡A±qFig 2(b)©MExtended Table 7¨Ó¬Ý¡A¨S¦³¥¦AlphaGo¤]¤£·|Åܱo¤Ó®z¡A¦Ü¤ÖÁÙ¬O·|¦b7d-8dªº¤ô¥¡C¤Ö¤F¦ôȺôµ¸¡Aµ¥¯Å¤À¤Ö¤F480¤À¡A¦ý¬O¤Ö¤F¨«´Ñºôµ¸¡Aµ¥¯Å¤À´N·|¤Ö±¼800¦Ü1000¤À¡C¯S§O¦³·N«äªº¬O¡A¦pªG¥u¥Î¦ôȺôµ¸¨Óµû¦ô§½±¡]2177¡^¡A¨º¨ä®ÄªGÁÙ¤£¤Î¥u¥Î§Ö³t¨«¤l¡]2416¡^¡A¥u¦³±N¨âÓ¦X°_¨Ó¤~¦³§ó¤jªº´£°ª¡C§Úªº²q´ú¬O¡A¦ôȺôµ¸©M§Ö³t¨«¤l¹ï½L±¦ôp¬O¤¬¸Éªº¡A¦b´Ñ§½¤@¶}©l®É¡A¤j®a¤U±o¤ñ¸û©M®ð¡A¦ôȺôµ¸·|¤ñ¸û«n¡F¦ý¦b¦³½ÆÂøªº¦º¬¡©Î¬O¹ï±þ®É¡A³q¹L§Ö³t¨«¤l¨Ó¦ôp½L±´NÅܱo§ó«n¤F¡C ¦Ò¼{¨ì¦ôȺôµ¸¬O¾ãÓ¨t²Î¤¤³ÌÃø°V½mªº³¡¤À¡]»Ýn¤T¤d¸U§½¦Û§Ú¹ï§½¡^¡A§Ú²q´ú¥¦¬O³Ì±ß°µ¥X¨Ó¨Ã¥B³Ì¦³¥i¯à¯à¶i¤@¨B´£°ªªº¡C Ãö©ó¦ôȺôµ¸°V½m¼Æ¾Úªº¥Í¦¨¡Aȱoª`·Nªº¬O¤å³¹¤¤ªºªþ¿ý¤p¦r³¡¤À¡C»P¨«´Ñºôµ¸¤£¦P¡A¨C¤@½L´Ñ¥u¨ú¤@Ӽ˥»¨Ó°V½m¥HÁקK¹LÀÀ¦X¡A¤£µM¹ï¦P¤@¹ï§½¦Ó¨¥¿é¤Jµy¦³¤£¦P¦Ó¿é¥X³£¬Û¦P¡A¹ï°V½m¬O«D±`¤£§Qªº¡C³o´N¬O¬°¤°»ò»Ýn¤T¤d¸U§½¡A¦Ó«D¤T¤d¸UÓ½L±ªºì¦]¡C¹ï©ó¨C§½¦Û§Ú¹ï§½¡A¨ú¼Ë¥»¬O«Ü¦³Á¿¨sªº¡A¥ý¥ÎSL network«OÃÒ¨«´Ñªº¦h¼Ë©Ê¡AµM«áÀH¾÷¨«¤l¡A¨ú½L±¡AµM«á¥Î§óºë½TªºRL network¨«¨ì©³¥H±o¨ì³Ì¥¿½Tªº³Ót¦ôp¡C·íµM³o¼Ë°µªº®ÄªG¤ñ¥Î³æ¤@ºôµ¸¬Û¤ñ¦n¦h¤Ö¡A§Ú¤£¦n»¡¡C ¤@ÓÅý§Ú¦YÅ媺¦a¤è¬O¡A¥Ļ¹¥þ¨S¦³°µ¥ô¦ó§½³¡¦º¬¡/¹ï±þ¤ÀªR¡A¯Âºé¬O¥Î¼É¤O°V½mªk°V½m¥X¤@Ó¬Û·í¤£¿ùªº¦ôȺôµ¸¡C³o¦b¤@©wµ{«×¤W»¡©ú²`«×¨÷¿nºôµ¸¡]DCNN¡^¦³¦Û°Ê±N°ÝÃD¤À¸Ñ¦¨¤l°ÝÃD¡A¨Ã¤À§O¸Ñ¨Mªº¯à¤O¡C ¥t¥~¡A§Ú²q´ú¥L̦b¨ú°V½m¼Ë¥»®É¡A§P©w³Ì²×³Ót¥Îªº¬O¤¤°ê³W«h¡C©Ò¥H»¡¤T¤ë©M§õ¥@¥Û¹ï§½ªº®ÉÔ¤]n¨D¥Î¤¤°ê³W«h¡A¤£µM¦pªG´«¦¨§Oªº³W«h¡A´N»Ýn«·s°V½m¦ôȺôµ¸¡]ÁöµM§Ú¦ôpµ²ªG®t¶Z¤£·|¤Ó¤j¡^¡C¦Ü©ó¬°¤°»ò¤@¶}©l´N¥Îªº¤¤°ê³W«h¡A§Úªº²q´ú¬O½sµ{«D±`¤è«K¡]§Ú¦b¼gDarkForestªº®ÉÔ¤]¬O³o¼Ëı±oªº¡^¡C 4. »X¯S¥dù¾ð·j¯Á ³o³¡¤À°ò¥»¥Îªº¬O¶Ç²Î¤èªk¡A¨S¦³¤Ó¦h¥i¥Hµû½×ªº¡A¥L̥Ϊº¬O±a¥ýÅ窺UCT¡A§Y¥ý¦Ò¼{DCNN»{¬°¤ñ¸û¦nªºµÛªk¡AµM«áµ¥¨ì¨CÓµÛªk±´¯Á¦¸¼Æ¦h¤F¡A¿ï¾Ü§ó¬Û«H±´¯Á±o¨Óªº³Ó²vÈ¡C¦ÓDarkForest«hª½±µ¿ï¤FDCNN±ÀÂ˪º«e3©Î¬O«e5ªºµÛªk¶i¦æ·j¯Á¡C§Úªì¨B¸ÕÅç¤U¨Ó®ÄªG®t¤£¦h¡A·íµM¥L̪º¿ìªk§óÆF¬¡¨Ç¡A¦b¤¹³\¨Ï¥Î¤j¶q·j¯Á¦¸¼Æªº±¡ªp¤U¡A¥L̪º¿ìªk¥i¥H§ä¨ì¤@¨ÇDCNN»{¬°¤£¦n¦ý«o¹ï§½±¦ÜÃö«nªºµÛªk¡C ¤@Ó¦³½ìªº¦a¤è¬O¦b¨C¦¸·j¯Á¨ì¸¤l¸`ÂI®É¡A¨S¦³¥ß§Y®i¶}¸¤l¸`ÂI¡A¦Ó¬Oµ¥¨ì³X°Ý¦¸¼Æ¨ì¹F¤@©w¼Æ¥Ø(40)¤~®i¶}¡A³o¼ËÁקK²£¥Í¤Ó¦hªº¤À¤ä¡A¤À´²·j¯Áªºª`·N¤O¡A¤]¯à¸`¬ÙGPUªºÄ_¶Q¸ê·½¡A¦P®É¦b®i¶}®É¡A¹ï¸¸`ÂIªº½L±¦ôÈ·|§ó·Ç½T¨Ç¡C°£¦¹¤§¥~¡A¥L̤]¥Î¤F¤@¨Ç§Þ¥©¡A¥H¦b·j¯Á¤@¶}©l®É¡AÁקK¦hÓ½uµ{¦P®É·j¯Á¤@¸ôÅܤơA³o³¡¤À§Ú̦bDarkForest¤¤¤]ª`·N¨ì¤F¡A¨Ã¥B°µ¤F§ï¶i¡C 5. Á`µ² Á`ªº¨Ó»¡¡A³o¾ã½g¤å³¹¬O¤@Ó¨t²Î©Êªº¤u§@¡A¦Ó¤£¬O¤@¨âÓ¤pÂI¦³¤F¬ð¯}´N¯à¹F¨ìªº³Ó§Q¡C¦b¦¨¥\I«á¡A¬O§@ªÌÌ¡A¯S§O¬O¨â¦ì²Ä¤@§@ªÌDavid Silver©MAja Huang¡A¦b³Õ¤h¶¥¬q¤Î²¦·~¥H«á¤¦~¥H¤Wªº¿n²Ö¡A«D¤@´Â¤@¤i©Ò¯à§¹¦¨ªº¡C¥L̯వ¥XAlphaGo¨Ã¨É¦³²{¦bªººaÅA¡A¬O¹ê¦Ü¦WÂkªº¡C ±q¥H¤W¤ÀªR¤]¥i¥H¬Ý¥X¡A»P¤§«eªº³ò´Ñ¨t²Î¬Û¤ñ¡AAlphaGo¸û¤Ö¨Ì¿à³ò´Ñªº»â°ìª¾ÃÑ¡A¦ýÁÙ»·¥¼¹F¨ì³q¥Î¨t²Îªºµ{«×¡C¾·~´Ñ¤â¥i¥H¦b¬Ý¹L¤F¹é¹é´X§½¤§«á©ú¥Õ¹ï¤âªº·®æ¨Ã±Ä¨ú¬ÛÀ³µ¦²¤¡A¤@¦ì¸ê²`¹CÀ¸ª±®a¤]¥i¥H¦bª±¤@Ó·s¹CÀ¸´X¦¸«á«Ü§Ö¤W¤â¡A¦ý¨ì¥Ø«e¬°¤î¡A¤H¤u´¼¯à¨t²În¹F¨ì¤HÃþ¤ô¥¡AÁÙ¬O»Ýn¤j¶q¼Ë¥»ªº°V½mªº¡C¥i¥H»¡¡A¨S¦³¤d¦~¨Ó²³¦h´Ñ¤â¦b³ò´Ñ¤Wªº¿n²Ö¡A´N¨S¦³³ò´ÑAIªº¤µ¤Ñ¡C ¦bAlphaGo¤¤¡A¼W±j¾Ç²ß¡]Reinforcement Learning¡^©Ò§êºtªº¨¤¦â¨Ã¨S¦³·Q¹³¤¤¨º»ò¤j¡C¦b²z·Q±¡ªp¤U¡A§Ú̧Ʊæ¤H¤u´¼¯à¨t²Î¯à¦b¹ï§½¤¤°ÊºA¦a¾AÀ³Àô¹Ò©M¹ï¤âªº©Û¦¡¨Ã¥B§ä¨ì¿ìªk¤Ï¨î¤§¡A¦ý¬O¦bAlphaGo¤¤¼W±j¾Ç²ß§ó¦h¦a¬O¥Î©ó´£¨Ñ§ó¦h½è¶q§ó¦nªº¼Ë¥»¡Aµ¹¦³ºÊ·þ¾Ç²ß¡]Supervised Learning¡^¥H°V½m¥X§ó¦nªº¼Ò«¬¡C¦b³o¤è±¼W±j¾Ç²ßÁÙ¦³«Üªøªº¸ôn¨«¡C ¥t¥~¡A¾Ú¥L̪º¤å³¹©Ò¨¥¡AAlphaGo¾ãÓ¨t²Î¦b³æ¾÷¤W¤w¨ã¦³¤F¾·~¤ô¥¡AY¬O¨¦ºqÄ@·N¶}´X¸U¥x¾÷¾¹©M§õ¥@¥Û¹ï¨M¡]³o¹ï¥¦¨Ó»¡¦A®e©ö¤£¹L¤F¡A§ïӰѼƴN¦æ¡^¡A¬Û«H¤ñÁÉ·|«D±`ºë±m¡C =========================== ¤@¨Ç§ó·s¡C °ÝÃD1¡G¡uAlphagoªºMCTS°µrolloutªº®ÉÔ¡A°£¤F¨Ï¥Î§Ö³t¨«¤l¡AÁ٥ΤF·j¯Á¾ðªº¤w¦³³¡¤À¡A¬Ý°_¨Ó¹³¬OAMAF/RAVE¤Ï¹L¨Ó¡GAMAF¬O§â§Ö³t¨«¤lªº«H®§¶Ç¾É¨ì¾ðªº¨ä¥¦µLÃö³¡¤À¡AAlphago¬O§â¾ðªº¨ä¥¦µLÃö³¡¤À®³¨Ó¼W±j§Ö³t¨«¤l¡C§ÚÃhºÃ³o¬O¤£¬O¥¦´Ñ¤O¤ñ¨ä¥¦DCNN+MCTS±jªºì¦]¤§¤@¡C" ³oÓ¿ìªk¦b¸Ñ¦º¬¡ÃDªº¤å³¹¤¤¥X²{¹L¡A·|¦b¤@©wµ{«×¤W´£°ª·j¯Á®Ä²v¡A¦ý¬O´£°ª¦h¤ÖÁÙ¤£ª¾¹D¡C °ÝÃD2¡G¡urolloutªº¨«ªk½è¶qÅܦn¥i¯à·|¾ÉP´Ñ¤O¤U°¡C¡v ³o¸Ìn¤À¨âºØ±¡ªp¡Atree policy©Mdefault policy¡C¦bAlphaGoªº¤å³¹¸Ì±¤w¸g»¡¹L¤F¡Atree policyªº¤À§G¤£¯à¤Ó¦y¡A¤£µM¦b·j¯Á®É¤Ó¹L«µø¤@¨Ç¬Ý°_¨Óªº¦nµÛ¡A¥i¯à¨Ï±o´Ñ¤O¤U°¡C¦ý¬O°£¤F³oºØì¦]¡A¤@¯ë¨Ó»¡tree policyÅܦn´Ñ¤OÁÙ¬O·|Åܱjªº¡C default policy³oÃä¡A§Y¡]¥b¡^ÀH¾÷¨«¤l¨ì³Ì«áµM«á§P¤À¡A´N«Ü½ÆÂø¤F¡A½è¶qÅܦn¥¼¥²¹ï§½±¯à¦ô±o§ó·Ç¡Cdefault policy»Ýn«OÃÒªº¬O¨C¶ô´Ñªº¦º¬¡¤jÅ饿½T¡A¤£n§â¦ºªº´Ñ¤U¦¨¬¡ªº©ÎªÌ¤Ï¤§¡A¦Ó¹ï¤j§½Æ[ªºn¨D¤Ï¦Ó¨S¦³¨º»ò°ª¡CÂù¤è§¹¥þ¥i¥H°t¦XµÛ§â¨C¶ô´Ñ¤U§¹¡AµM«áÂà¾Ô¥t¤@¶ô¡A¦Ó¤£¬O»¡·m¦b¹ï¤è«e¥h§O³B¦û¥ý¤â¡C |
Alphago¶W¶V³ò´Ñªº·N¸q¦b©ó¨äÅé²{¤F²`«×¨÷¿n¯«¸gºôµ¸¡]DCNN¡^ªº«Â¤O¡C¤Wz¤å³¹Á¿ªº1©M3´N¬O¨Ï¥Î¤FDCNN¡A¨Ï±oAI¦b³ò´Ñ¤W¨ã³Æ¤Fªñ¦ü¤Hªº¾Ç²ß¯à¤O¡A¦ý¤S¦³þÓ»·¶W¹L¤Hªº°O¾Ð¤O©Mpºâ³t«×¡C³o¸ò¦h¦~¥H«e°ê»Ú¶H´Ñ¡B¤¤°ê¶H´ÑAI¨Ì¾a¶Ç²Î³W«h©Êºâªk©M±j¤jºâ¤O¾Ô³Ó¤HÃþ°ª¤â¦³þÓ¥»½è¤£¦P¡C
³oºØºâªk¤§©Ò¥HºÙ爲¯«¸gºôµ¸¡A¬O¦]爲¥¦¼ÒÀÀ¤F¥Íª«¤j¸£¹ï«H¸¹ªº³B²z¤è¦¡¡A¦Ó³o¼Ëªº³B²z¤è¦¡«Ü¾A¦X¥Î¨Ó¤ÀªR¥Rº¡¤£½T©w©Êªº§½±¡]¥Íª«±¹ï¦ÛµMÀô¹Ò´N¬O³o¼Ëªº§½±¡^¡A¤£¹³¶Ç²Î¹q¸£µ{§Ç¥u¯à«ö¬J©w³W«h°µ½T©w©Ê§PÂ_¡C»¡¥¦¶W¶V³ò´Ñ¡A«h¬O¦]爲DCNN¥i¥HÀ³¥Î©ó«Ü¦h³õ´º¡A¤ñ¦p¦Û°Ê¾r¾p¨t²Îªºµøı¿ëÃÑ¡B½ÆÂø¤£½T©w±ø¥ó¤Uªº¨Mµ¦¡B¤j¼Æ¾Ú¤ÀªR¡B¾÷¾¹¤Hªº°Ê§@±±¨îµ¥µ¥¡A³o´N¬O爲¤°»ò«Ü¦h¬ì§Þ¤½¥q·|§ë¸ê³o¼Ëªº¶µ¥Ø¡A¥¦Ìµ´¤£¶È¶È¬O爲¤F«Å¶Ç§ä¾»ÀY¦Ó¤w¡C
¥t¤@¤è±¡A¤]¤£¥²¹³¬Y¨Ç¤H¤@¼Ë°ª©I¤Ñºô¨ÓÁ{¡A¼y©¯AlphagoÁÙ¨S¾Ç·|ÁôÂæۤv°½°½¿é´Ñµ¥µ¥¡Cnª¾¹D«e±»¡Alphago¡u¨ã³Æ¤Fªñ¦ü¤Hªº¾Ç²ß¯à¤O¡A¦ý¤S¦³þÓ»·¶W¹L¤Hªº°O¾Ð¤O©Mpºâ³t«×¡v¶È«ü³ò´Ñ¦Ó¤w¡C³ò´ÑÁöµM¤ñ¶H´Ñ¸õ´Ñµ¥ÅܤƤj±o¦h¡A¦ý»¡¬ï¤F¨ÌµM¬O¤@ºØ³W«h©ú½Tªº´ÑÃþ¡A¤ñ°_¥Íª«¾AÀ³¦ÛµM¬ÉÁÙ¬O²³æ¤F¤Ó¦h¡Cµ´¤£¬O»¡¥un¼g¥X¤@ºØDCNNªººâªk´N¯à¥þ±¹ê²{¤HÃþ¤j¸£ªº¦UºØ¯à¤O¡AAlphagoµy·L§ï¤@§ï©ÎªÌ¥ô¨ä¦Û¦æºt¤Æ´N·|Åܦ¨¶W±jÀÀ¤H´¼¼z¡X¡X³o¥u¬O¤p»¡ªº¾ô¬q¡A¦b²{¹ê¤¤«o¬O¤£¥i¯àªº¡Cnª¾¹D§Y¨Ï¬O¥Íª«¤j¸£¥»¨¡A¤]¬O³q¹L»õ¸U¦~¶i¤Æ¥X¦UºØ¤£¦Pªºµ²ºc°Ï°ì¡A¤~³Ì²×¹ê²{¨Ã¾ã¦X¦UºØ¤£¦Pªº¥\¯à¡A©Ò¥H¯«¸gºôµ¸AI¤]¥²µM»Ýn¤@Ó¤@Ó¶µ¥Ø¥h¶}µo¡A¥h§¹µ½¡A¤~¯à³vº¥¢ªñ¤HÃþªº¥þ±»{ª¾¯à¤O¡C¥Ñ¦¹¬Ý¨Ó¡AÁöµMDCNNÃþºâªk·|¦¨¬°±j¤H¤u´¼¯àªº¤@ÓÃöÁä§Þ³N¡A¦ý§Ú̶ZÂ÷¤@Ó¥þ±¤ñªÓ¤HÃþ´¼¼zªºAIÁÙ¬O¦³«Ü»·«Ü»·¡AÁÙ»Ýn°µ«Ü¦h§V¤O¡C
ü©_©Ç§Ú©ú©ú¨S¦³¥´¤W±³o¤@¬q«ç»ò·|¬ðµM¸õ¥X¨Ó§Úªº¹q¸£¬O¤£¬O¥X°Ý.*O(I*^&%YT$RGEFY&^%$&^GH
