单片机原理与应用

深度强化学习中的好奇心

    本文是AI研究所编写的一个技术博客。最初的标题是《深层强化中的好奇心》。

    本文是AI研究所编写的一个技术博客。最初的标题是:

    深度强化学习的好奇心

    作者|迈克尔·克莱尔

    翻译|缩写2018

    校对|酱梨涂饰|菠萝女孩

    链接到原始文本:

    Http://towardsdata..com/holio.-in-.-.ment-.-.-.-network-.llation-747b322e2403

    深度强化学习中的好奇心

    早期密集学习的困难任务之一,Montezuma的复仇,在探索随机网络蒸馏方面取得了重大突破(来源:Parker兄弟博客)。

    Atari游戏是深层强化学习(RL)算法的一个流行的基准任务。Atari很好地平衡了简单性和复杂性:一些游戏(如Pong)是如此简单,以至于它们可以通过基本算法(如一般策略梯度)来解决,而其他游戏则足够复杂以至于可以击败甚至最先进的算法。

    在最简单和最复杂的游戏之间的一系列有用的任务已经成为许多深入加强学习研究论文的核心。

    来自OpenAI博客。

    前者“未解决”的阿塔里游戏,蒙提祖马的复仇,最近已经解决了一个算法(在某种程度上),可以在得分上超过人类表现。研究人员可以鼓励代理人在1级探索不同的房间,这是赢得游戏积分的好方法。

    通过好奇心探索

    人类在玩冒险游戏时有一种内在的探索欲望,比如蒙提祖玛的复仇。游戏设计者构建这样的游戏来鼓励这种行为,通常需要玩家在继续游戏之前进行探索。这就是为什么冒险游戏很有趣。(问任何喜欢玩天空游戏的人。)

    像Montezuma的《复仇》或《天空》这样的冒险游戏充分利用了玩家探索的自然欲望,使得探索成为游戏任务的关键部分。

    深度强化学习算法执行“探索”的典型方法是通过随机策略:从神经网络提供的动作似然分布中随机采样动作。因此,特别是在早期阶段(当策略没有时间收敛时),它是随机行动的明显选择。

    这种方法在某些情况下是有效的。例如,Pong的解决方案是随机旋转桨并观察结果。幸运的是,球偏转可以启动优化。

    在像蒙特祖马的复仇游戏中,这种方法是不可行的。想象一下,从游戏的开始,化身随机地左右移动,随机地跳跃。结果,化身掉进熔岩中或直接进入敌人而没有获得点数。没有积分或奖励,算法无法得到优化的信号。

    那你会随便甩一甩吗?祝你好运。

    好奇

    重点放在寻找更好的探索方法上。基于好奇心的探索可以看作是激发人类玩家好奇心的一种尝试。

    但是,我们如何创建一个好奇的代理呢?

    有很多方法可以实现这个想法。其中之一,甚至使用下一个状态预测,由于其简单性和可伸缩性而很有趣。

    其基本思想是同时培养独立的预测模型和策略模型。预测模型输入所观测到的当前状态和所选择的动作,并对下一次观测进行预测。

    为了探索足够的轨迹,我们假设损失很小(因为我们通过监督学习不断开发预测模型);对于探索不足的轨迹,我们假设损失很大。

    那么,我们能做的就是创建一个新的奖励函数(称为“内在奖励”),它提供与预测模型的损失成比例的奖励。因此,当探索新的轨迹时,代理接收到强烈的奖励信号。

    (a)一级学习探索(b)二级快速探索

    使用马里奥模拟器任务(来源)中的下一个预测,学习探索从第一级的好奇心转移到第二级的快速探索。

    这项技术在超级马里奥模拟器中产生了一些令人鼓舞的结果。

    拖延症代理人:电视问题

    这项技术并不完美。一个已知的问题是代理被环境中的随机或噪声元素所吸引。这种时钟情况有时被称为“白噪声”问题或“电视问题”;也称为“拖延”。

    为了证明这种效果,设想一个代理人通过观察他所看到的像素来学习在迷宫中导航。

    下一状态预测引起代理人学习成功导航迷宫的好奇心。

    代理人很好地完成了任务;他开始寻找迷宫中未被探索的部分,因为他有能力在探险丰富的地区做出好的预测(或者换句话说,他不能在未开发地区做出好的预测)。

    现在在迷宫的墙上放一个“电视”,快速连续地显示随机选择的图像。由于图像的随机来源,代理不能准确预测接下来会出现什么图像。该预测模型将产生高损耗,从而为代理商提供高“内在”回报。最终的结果是,特工们倾向于停止看电视,而不是继续探索迷宫。

    在环境(源)中,当代理人面对电视或随机噪声源时,下一个状态预测引起代理人的好奇心,最终导致“拖延”。

    为了避免延误,采用随机网络蒸馏。

    OpenAI的一些优秀人员最近发表了一篇论文,提出了噪声电视问题的解决方案,探讨了随机网络蒸馏(RND)。

    这里的新思想是将类似的技术应用到下一个状态预测方法,但是消除对先前状态的依赖。

    下一状态预测相对于RND(源)的概述。

    RND并不预测下一个状态,而是观察下一个状态并试图预测下一个状态。这是一个非常微不足道的预测,不是吗?

    RND随机网络的目的是采用这种小的预测任务,并将其转化为硬预测任务。

    使用随机网络

    这是一个聪明但违反直觉的解决方案。

    其思想是我们使用随机初始化神经网络将观测值映射到潜在的观测向量。函数本身的输出并不重要;重要的是,我们有一些未知的确定性函数(随机初始化的神经网络),以某种方式转换观测值。

    因此,我们的预测模型的任务不是预测下一个状态,而是预测给定观测状态的未知随机模型的输出。我们训练该模型使用随机网络输出标签。

    当代理处于熟悉的状态时,预测模型应该能够很好地预测随机网络的期望输出。当智能体对状态不熟悉时,预测模型会对随机网络的输出做出较差的预测。

    通过这种方式,我们可以定义一个内在的奖励函数,它再次与预测模型的损失成比例。

    内部报酬计算的概念概述。只使用下一个观察状态。

    这可以解释为“新奇性检测”方案,其中当进行新的观测或不熟悉的观测时,预测模型具有较高的计算损失。

    作者使用MNIST作为这个概念的证明。在本实验中,他们通过随机初始化神经网络提供MNIST样字符。然后,在给定的输入条件下,它们训练并行网络来预测随机网络的输入。如预期,当目标类的训练样本数量增加时,它们将看到目标类被并行网络丢失。

    数据2:MNIST上的新奇性检测:预测器网络模拟随机初始化的目标网络。训练数据包括不同比例的图像和目标类别与“0”类别。每个曲线都表示MSE测试显示的目标类的训练用例的数量(对数)。

    论文对MNIST概念进行了验证。

    这样,当代理看到随机噪声源时,它不会被卡住。它不需要试图预测屏幕上下一个不可预测的帧,只需要知道这些帧是如何通过随机网络转换的。

    探寻蒙太祖玛的复仇

    由于解决方法不佳,以往的状态预测的好奇机制并不能解决蒙台梭玛的复仇问题,但RND似乎已经克服了这些问题。

    好奇心驱使的代理人探索房间,学习收集钥匙,这样他们就可以打开新房间。

    尽管取得了这样的成功,但是代理仅“偶尔”通过了一级。这是因为通过最后一道门来完成检查点,需要严格管理密钥的使用。需要内部状态模型(如LSTM)来克服这一障碍。

    因此,虽然RND已经允许代理人在得分上超过一般人的表现,但是在掌握游戏之前还有很长的路要走。

    这是关于深度强化学习算法的实验的一系列文章的一部分。查看本系列以前的一些帖子:

    理解演进的战略梯度。

    感谢卢多维奇·本尼斯坦特。

    要继续查看本文的链接和参考资料吗?

    长时间点击链接打开或点击底部[好奇心在深度强化学习]:

    Http://ai.yanxishe.com/page/Text./1363

    AI协会每天更新精彩内容,观看更多精彩内容:雷锋网、雷锋网和雷锋网。

    五大CNN架构

    深度强化学习中的好奇心

    使用Pytorch进行深度学习(第一部分)手柄:使用PyTorch实现图像分类器(第二部分)

    等待您翻译:

    如何为初学者聚类混沌数据以使用Keras进行迁移学习增强学习:对于情绪行为系统,如果你想学习数据科学,这七个资源不能错过

当前文章:http://www.lessines.net/qt2al/490820-521081-28599.html

发布时间:03:21:02

广州设计公司  产品设计  广州设计公司  工业设计  免费VPS  广州设计  广州工业设计  工业设计  广州工业设计  广州设计公司  易用设计  

{相关文章}

十亿金独角兽:懒散的秘密起源——新浪技术

    欢迎光临四光市集/彭芳婷订阅号:ID:深层回声。除了Uber和Airbnb,我们还可以在明年即将上市的美国公司名单中看到Slack,公司服务领域的新星。据路透最新消息,Slack已聘请高盛(Goldman Sachs)为2019年上市做准备,预计估值超过100亿美元.谈到企业服务,甲骨文和Salesforce等美国公司已经变成了数千亿美元的巨人,并且已经用近十年的发展经验建立了坚实的障碍。在中国,“工业互联网”今年正式开通,在接下来的十年里唱“To B”。有一段时间,“中国松懈”成了一个响亮的口号。对于中国的许多初创企业来说,松弛在美国是一个独特的存在:它也仅仅经历了四年的发展。这个山谷宠儿已经成长为一个拥有800万直播用户和价值100亿美元的独角兽,并被公认为历史上发展最快的SaaS公司。2014年2月,Slack发布了其官方版本,在推出之初,有15000多名现场用户;2014年10月,Slack在不到一年的时间内完成了一轮1.2亿美元的融资,有73000户家庭支付过高,比6个月前增加了386%。在2015年2月,Slack正式推出了一年,有50万现场用户,用户每天花费超过两个小时;2018年8月,Slack获得了4.27亿美元的新一轮投资,4年多来共筹集到了12.7亿美元,成为微软和谷歌在办公通信领域的最大竞争对手。最近,当多于一美元的基金投资者告诉深圳,除了Facebook和Twitter,Slack是他们最常用的国外应用时,我们不禁要问,快速增长的粘性Slack背后隐藏着什么秘密武器?国内企业能否复制Slack的发展道路?近年来,术语“增长”已经成为硅谷最热门的互联网概念之一,引发了对诸如MVP(Minimal Viable.)、PMF(Product.Fit)、ARRR用户模型(Acquisition-Activation-Re.ion-Dissemi.-.nue)等策略的大量讨论。在这些增长策略的指导下,为了在有限的时间窗内快速占据有利位置,产品必须满足以下几点:(1)在探索期间,必须快速创建MVP以满足基于用户、场景和需求分析的核心需求;(2)在生长期间,产品应该不断地从测试、改进到反馈。为了验证产品PMF并为大规模促销做准备,在促销期间,产品应该推背书_资讯博客网按照ARRR用户模型操作,以获得收入。这些增长策略对于SaaS尤其重要,SaaS的主要指标是付费的人数,Slack是这些策略用于赢得市场的典型案例。在早期,Slack只是一个游戏初创公司Tiny Speck的内部应用程序。该公司正在开发一个大型多人在线角色扮演游戏,Glitch,但开发团队已经分散开来。为了保证交流的效率,他们根据自己的需要创建了一个在线交流工具。Tiny Speck继续添加团队在产品中所需的功能,如聊天组、项目管理、应用程序内搜索等。那时,大约在2010年,群组间最流行的即时聊天方式仍然是1988年创建的IRC(Internet Relay Chat)程序:IRC用户使用特定的客户端聊天软件连接到IRC服务器,并通过服务器中继与连接到服务器的其他用户通信。基于这种技术,旧的即时通讯工具,如MSN和雅虎!Messenger已经占据了一定的市场,在这一时期涌现出了许多初创公司,比如Slack的长期竞争对手HipChat,它成立于2009年底。然而,在如此众多的即时通讯应用中,Slack仍然幸运地找到了一个空白的需求市场——Office通信。工作交流是一个强烈的需求,但是其他即时通讯工具忽略了它。据Slack的创始人Steward Butterfield说,Slack早期用户中只有20%到30%来自HipChat或IRC等在线聊天平台。当其他人被问到他们使用什么内部沟通工具时,他们的回答是“没有”。本说明并非真的一无是处,但在用户的感知中,当时的工作沟通是通过电子邮件、SMS、Skype等工具一起进行的,没有专门的办公室沟通工具。因此,巴特菲尔德决定放弃Glitch,发展Slack后,决定以“企业IM统一搜索文件共享”为核心功能,在网络办公协作下进入市场细分。2013年初,Slack推出了原型版本。从发现市场到推出产品,Slack迅速创建了自己的MVP。此时,谷歌未来的主要竞争对手,Google Hangouts和Microsoft Teams仍在寻找他们的产品,仅仅几年后,他们才为公司办公室推出了版本。后来,SLACK首先发现一些初创公司根据他们的反馈经验来调整和改进。在这个过程中,松弛团队清楚地意识到,当公司的规模不同时,办公室的需求将是不同的。为了验证产品的PMF,SLACK在正式推出之前不断寻找更大的公司进行测试。当巴特菲尔德决定推出该产品时,松弛团队首先发布了一个基于邀请的体验版本。随着巴特菲尔德的声誉和媒体的宣传,SLACK在第一天收到了超过8000份申请,很快这个数字上升到了15000。六个月后,懈怠正式启动。六个月的经验对创业公司来说并不算短。然而,在六个月的周期中,继续使用的用户已经成为了深度种子用户,他们也在松弛之后正式推出了口碑营销,使得没有CMO和销售团队的公司价值11亿美元。SLACK也有很大的操作用户的方式,在增长策略中充分利用ARRR用户模型。首先,在获取方面,松弛通过用户丰富的UI设计吸引了用户的注意力并促进了愉快的工作体验。在通信方面,SLACK一直致力于口碑传播,注重用户体验和浦银安盛基金_甲酸沸点网反馈。SLACK有一个用户体验团队,随着用户的成长而扩展。据报道,该团队在2015年度拥有18名全职员工,其中6人在Twitter上提供全天候支持。这些步骤允许SLACK赶上HIPChAT,它已经正式成立四个月dnf逐日套_中山大学招生网了,六个月后正式启动,并呈指数式增长。2016,SLACK决定将软件产品从市场细分转化为企业的办公协作平台。当基本业务稳步增长时,变革不是一个简单的决定。然而,创造成长奇迹的团队早就意识到,如果产品的功能过于单一,用户的成长在某些时候也会遇到瓶颈。为了更具伸缩性,SLACK开始引入新的应用程序和能够自动完成任务的开源聊天机器人。目前,有1500多个聊天机器人和应用程序在松弛应用程序目录中。SLACK现在就像一个有很多工具的桌面,例如TRLLO用于调度,Dropbox用于文件传输等。因此,当用户工作时,他只需要在松弛平台上操作,并且不需要在应用程序之间来回切换。这就是SLACK的新口号:工作发生的地方。下一个松弛周星驰鹿鼎记1_什么是人身保险网?对于办公室协作应用,无论是在美国还是中国,2013是行业的第一年。今年,TeaPoCand和WorkWies上线了,SLAKE处于预发布测试阶段。然而,与IM(即时消息,即时消息)功能相同的Office协作应用程序,三者的开发路径是完全不同的。懈怠从企业IM开始,逐步发展成为今天的多功能平台。在可预见的将来,SLACK将演变为PaaS(平台即服务),它通过引入不同的应用程序为企业提供模块化的功能解决方案。TeaPoCon是一个复杂的团队,负责产品设计、研发、市场营销等工作,为他们提供任务规划、文档管理和模板生产功能,以提高他们的工作效率。For example, product development teams need to record and discuss the whole process of product development, while Teambition can provide project templates for task scheduling and management of every link from product planning, upcoming release, testing, preparation for release to successful release. Worktile can also provide similar project templates, but it pays more attention to task management functions, so that users can intuitively view the progress of each project and the completion of each employee's task. In addition to task management and communication tools, Worktile also includes access to third-party tools to support more than 100 enterprise-level services, including Wechat, Impression Notebook, etc. In Worktile's product logic, improving efficiency, seamless communication, file sharing and online recording are the most important keywords. From the point of view, Teambition and Worktile are both targeted at specific project teams with narrow scope. Slack is aimed at job exchanges with strong demand in the workplace, which is much larger. 正如WorkWipe创始人王滔所介绍的,SLAK是IM作为企业服务的入口和基础,信息交换是其底层功能,因此很难解决信息噪声问题。Worktile and Teambition are more vertical, with tasks as the entry point, focusing on improving work efficiency. 然而,面对企业IM的大蛋糕,没有协同产品可以放弃。teambition推出“谈”和“乱云”Worktile发达,这两者都是类似的冗余设计。然而,他们很快就沉默在漫长的历史上并没有大规模发展像松弛。这是因为中国人比美国人更“公私”和重视程度区分工作信息和生活信息。换句话说,中国用户对工作交流的需要弱的理解和很难培养。当谈到工作交流,美国人认为萧条的第一,而中国用户优先选择微信。毕竟,对于大多数中国用户来说,Wechat足以满足基本的工作需要,如小组讨论和文件传输。此外,不同于美国企海上硕和城_楼梯净高网业常见的扁平化管理,中国的大多数企业仍然遵循严格的上下级管理。在美国,松弛在很大程度上依赖于口碑,从一个单一的员工来推动整个团队的使用,而在中国,这个过程是很难发生的规模。因此,它是企业发展的办公通信如果他们想成为一个协同办公应用为核心的功能非常困难。目前,国内SaaS产品直接以企业IM为切入点,主要是企业微信和大背景的指甲。腾讯首次推出了提姆在QQ上,但对于中国用户已经在使用QQ作为主流的IM工具,由提姆提供的聊天和文件传输的核心功能是不是有足够的吸引力,他们不愿意安装一个简单的版本的应用程序。因此,提姆的发展不是很好。Weixi绿色蝈蝈教案_李渊的皇后网n接手后在社交IM QQ的作用,腾讯开始开发企业微信。这个时候,企业微信可以通过丰富的第三方应用服务提供商的介入,实现各种功能,如冲压在在任何时间、任何地点、培训和学习,快速任务分配,缩短项目审批时间,日常文档管理灵活,方便资金结算,等等,从而可以更好的我等企业办公应用需求。API接口,微信插件,注册定制能力和硬件访问能力是企业微信的优势。根据最新数据,有150万家注册企业和3000万的活跃用户。其中,在中国500强企业80%已开通企业微信,其中17%是活跃的。虽然企业微信还有很长的路要走,可以看到比提姆更长的发展空间。As for nails, they are a completely unexpected product. 最初,Ali想跟腾讯竞争,所以他开发了一个社会的产品被称为“接触”。但是这个产品不能突破,和通勤队只需改变方向,从日常的社会场景,办公室的场景,在2015推出的指甲。最初,指甲是围绕“丁新闻”的核心社会功能,从此,办公协作服务不断发展。在4版本中,指甲已经推出了一些办公智能硬件,转变为企业智能移动办公解决方案提供商。在最近的会议上,钉宣布全环节的智能化解决方案基于办公场景”的人,金融、商品、物”,和在商业基础设施更加坚定的作用。可以看出,虽然企业聊天和钉子都是从企业IM中切入的,但通过提供打卡、报销等具有中国特色的服务,给客户提供了很大的帮助,这与在工作场所借助社会工具打下坚实基础的方式大不相同。Of course, there is another color egg, because of Luo Yonghao's sudden popularity of "bullet short message", its co-founder Hao Xiaojie said in an interview with the media that when Hammer Technologies was a product manager, there were all kinds of pain points in his work, and between nails and Wechat, the two tools were not perfect in working com传播。The original intention of making bullet messages is to create a product like Slack that focuses on localized office communication. Can Bullet SMS be Slack? This question is rather awkward.

用手机访问
下载APP
appicon 下载
扫一扫,手机浏览
code
休闲娱乐
综合热点资讯
单机游戏下载
http://4xx9.com/out.php?id=8http://4xx9.com/out.php?id=7http://4xx9.com/out.php?id=6http://4xx9.com/out.php?id=4http://4xx9.com/articlelist-398.htmlhttp://4xx9.com/articlelist-402.htmlhttp://4xx9.com/articlelist-397.htmlhttp://4xx9.com/articlelist-390.htmlhttp://4xx9.com/articlelist-385.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-382.htmlhttp://4xx9.com/articlelist-381.htmlhttp://4xx9.com/articlelist-379.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-360.htmlhttp://4xx9.com/articlelist-359.htmlhttp://4xx9.com/articlelist-386.htmlhttp://4xx9.com/articlelist-369.htmlhttp://4xx9.com/articlelist-363.htmlhttp://4xx9.com/articlelist-357.htmlhttp://4xx9.com/articlelist-350.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-370.htmlhttp://4xx9.com/articlelist-372.htmlhttp://4xx9.com/articlelist-347.htmlhttp://4xx9.com/articlelist-413.htmlhttp://4xx9.com/articlelist-444.htmlhttp://4xx9.com/articlelist-353.htmlhttp://4xx9.com/articlelist-417.htmlhttp://4xx9.com/articlelist-334.htmlhttp://4xx9.com/articlelist-439.htmlhttp://4xx9.com/articlelist-438.htmlhttp://4xx9.com/articlelist-436.htmlhttp://4xx9.com/articlelist-434.htmlhttp://4xx9.com/articlelist-428.htmlhttp://4xx9.com/articlelist-426.htmlhttp://4xx9.com/articlelist-330.htmlhttp://4xx9.com/articlelist-407.htmlhttp://4xx9.com/articlelist-406.htmlhttp://4xx9.com/baoma.htmlhttp://4xx9.com/out.php?id=8http://4xx9.com/articlelist-390.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-386.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-353.htmlhttp://4xx9.com/articlelist-439.htmlhttp://4xx9.com/articlelist-436.htmlhttp://4xx9.com/articlelist-406.htmlhttps://www.chinactwh.comhttps://www.chinactwh.com/72_72803/https://www.chinactwh.com/xiuzhenxiaoshuo/https://www.chinactwh.com/dushixiaoshuo/https://www.chinactwh.com/72_72748/https://www.chinactwh.com/72_72747/https://www.chinactwh.com/72_72740/https://bbs.mlxcchina.com/forum-98-1.htmlhttps://bbs.mlxcchina.com/forum-103-1.htmlhttps://bbs.mlxcchina.com/forum-104-1.htmlhttps://bbs.mlxcchina.com/forum-105-1.htmlhttps://bbs.mlxcchina.com/forum-113-1.htmlhttp://www.ak186.com/cp/clist-8.htmlhttp://www.ak186.com/cp/clist-13.htmlhttp://www.ak186.com/cp/clist-28.htmlhttp://www.todaytoy.com/xiejp/http://www.wuweiwang.cn/?p=116258http://www.wuweiwang.cn/?p=116204http://www.wuweiwang.cn/?p=116175http://www.ak186.com/cp/p1125787.htmlhttp://www.ak186.com/cp/p1071156.htmlhttp://www.ak186.com/cp/p1070124.htmlhttp://www.weishangshijie.com/yangsheng/393306.htmlhttp://www.ak186.com/cp/p1128974.htmlhttp://www.ak186.com/cp/p1136238.htmlhttp://www.ak186.com/cp/p1136237.htmlhttp://www.ak186.com/cp/p1136230.htmlhttp://www.ak186.com/cp/p1136092.html http://www.ak186.com/cp/p1136258.htmlhttp://www.ak186.com/cp/p1136244.htmlhttp://blog.sina.com.cn/u/1923928690https://www.jianshu.com/u/596551d66ec9http://www.weishangshijie.com/yangsheng/393845.htmlhttp://hrblange.com/system/show.php?XjIC/wHbT0m.htmlhttp://www.lins-books.com.tw/model/show.php?9OPh/mywCba.htmlhttp://wisdomsdkj.com/member/show.php?h05x/wtUuLZ.htmlhttp://woerwag.com/wp-content/show.php?7g20/Sa4ahe.htmlhttp://www.yjmarine.com/chinese/show.asp?ZsBM/JZFJFD.htmlhttp://xiangshunbags.com/lunch_bag/show.php?Kqte/vvHWYq.htmlhttp://chinacompanynet.cn/news/show.asp?sVUl/hEm2XG.htmlhttps://www.chinactwh.comhttps://bbs.mlxcchina.com/forum-105-1.htmlhttp://www.ak186.com/cp/clist-8.htmlhttp://www.ak186.com/cp/clist-13.htmlhttp://www.ak186.com/cp/p1071156.htmlhttp://www.ak186.com/cp/p1136237.htmlhttp://www.ak186.com/cp/p1136230.htmlhttp://www.ak186.com/cp/p1136092.htmlhttp://www.ak186.com/cp/p1136244.htmlhttp://www.weishangshijie.com/yangsheng/393845.html
精彩专栏
游民星空联运游戏
http://4xx9.com/out.php?id=8http://4xx9.com/out.php?id=7http://4xx9.com/out.php?id=6http://4xx9.com/out.php?id=4http://4xx9.com/articlelist-398.htmlhttp://4xx9.com/articlelist-402.htmlhttp://4xx9.com/articlelist-397.htmlhttp://4xx9.com/articlelist-390.htmlhttp://4xx9.com/articlelist-385.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-382.htmlhttp://4xx9.com/articlelist-381.htmlhttp://4xx9.com/articlelist-379.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-360.htmlhttp://4xx9.com/articlelist-359.htmlhttp://4xx9.com/articlelist-386.htmlhttp://4xx9.com/articlelist-369.htmlhttp://4xx9.com/articlelist-363.htmlhttp://4xx9.com/articlelist-357.htmlhttp://4xx9.com/articlelist-350.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-370.htmlhttp://4xx9.com/articlelist-372.htmlhttp://4xx9.com/articlelist-347.htmlhttp://4xx9.com/articlelist-413.htmlhttp://4xx9.com/articlelist-444.htmlhttp://4xx9.com/articlelist-353.htmlhttp://4xx9.com/articlelist-417.htmlhttp://4xx9.com/articlelist-334.htmlhttp://4xx9.com/articlelist-439.htmlhttp://4xx9.com/articlelist-438.htmlhttp://4xx9.com/articlelist-436.htmlhttp://4xx9.com/articlelist-434.htmlhttp://4xx9.com/articlelist-428.htmlhttp://4xx9.com/articlelist-426.htmlhttp://4xx9.com/articlelist-330.htmlhttp://4xx9.com/articlelist-407.htmlhttp://4xx9.com/articlelist-406.htmlhttp://4xx9.com/baoma.htmlhttp://4xx9.com/out.php?id=8http://4xx9.com/articlelist-390.htmlhttp://4xx9.com/articlelist-384.htmlhttp://4xx9.com/articlelist-376.htmlhttp://4xx9.com/articlelist-386.htmlhttp://4xx9.com/articlelist-394.htmlhttp://4xx9.com/articlelist-353.htmlhttp://4xx9.com/articlelist-439.htmlhttp://4xx9.com/articlelist-436.htmlhttp://4xx9.com/articlelist-406.htmlhttps://www.chinactwh.comhttps://www.chinactwh.com/72_72803/https://www.chinactwh.com/xiuzhenxiaoshuo/https://www.chinactwh.com/dushixiaoshuo/https://www.chinactwh.com/72_72748/https://www.chinactwh.com/72_72747/https://www.chinactwh.com/72_72740/https://bbs.mlxcchina.com/forum-98-1.htmlhttps://bbs.mlxcchina.com/forum-103-1.htmlhttps://bbs.mlxcchina.com/forum-104-1.htmlhttps://bbs.mlxcchina.com/forum-105-1.htmlhttps://bbs.mlxcchina.com/forum-113-1.htmlhttp://www.ak186.com/cp/clist-8.htmlhttp://www.ak186.com/cp/clist-13.htmlhttp://www.ak186.com/cp/clist-28.htmlhttp://www.todaytoy.com/xiejp/http://www.wuweiwang.cn/?p=116258http://www.wuweiwang.cn/?p=116204http://www.wuweiwang.cn/?p=116175http://www.ak186.com/cp/p1125787.htmlhttp://www.ak186.com/cp/p1071156.htmlhttp://www.ak186.com/cp/p1070124.htmlhttp://www.weishangshijie.com/yangsheng/393306.htmlhttp://www.ak186.com/cp/p1128974.htmlhttp://www.ak186.com/cp/p1136238.htmlhttp://www.ak186.com/cp/p1136237.htmlhttp://www.ak186.com/cp/p1136230.htmlhttp://www.ak186.com/cp/p1136092.html http://www.ak186.com/cp/p1136258.htmlhttp://www.ak186.com/cp/p1136244.htmlhttp://blog.sina.com.cn/u/1923928690https://www.jianshu.com/u/596551d66ec9http://www.weishangshijie.com/yangsheng/393845.htmlhttp://hrblange.com/system/show.php?XjIC/wHbT0m.htmlhttp://www.lins-books.com.tw/model/show.php?9OPh/mywCba.htmlhttp://wisdomsdkj.com/member/show.php?h05x/wtUuLZ.htmlhttp://woerwag.com/wp-content/show.php?7g20/Sa4ahe.htmlhttp://www.yjmarine.com/chinese/show.asp?ZsBM/JZFJFD.htmlhttp://xiangshunbags.com/lunch_bag/show.php?Kqte/vvHWYq.htmlhttp://chinacompanynet.cn/news/show.asp?sVUl/hEm2XG.htmlhttps://www.chinactwh.comhttps://bbs.mlxcchina.com/forum-105-1.htmlhttp://www.ak186.com/cp/clist-8.htmlhttp://www.ak186.com/cp/clist-13.htmlhttp://www.ak186.com/cp/p1071156.htmlhttp://www.ak186.com/cp/p1136237.htmlhttp://www.ak186.com/cp/p1136230.htmlhttp://www.ak186.com/cp/p1136092.htmlhttp://www.ak186.com/cp/p1136244.htmlhttp://www.weishangshijie.com/yangsheng/393845.html