由财视中国联合AIMA、CAIA Association、CFA、衡力斯、APEX、芝加哥商品交易所等多家协会、机构举办的“第四届对冲基金中国年会”在北京康莱德酒店举行。阿法金融CEO创始合伙人任凯出席会议并做了“大数据机器学 ...
由财视中国联合AIMA、CAIA Association、CFA、衡力斯、APEX、芝加哥商品交易所等多家协会、机构举办的“第四届对冲基金中国年会”在北京康莱德酒店举行。阿法金融CEO创始合伙人任凯出席会议并做了“大数据机器学习和人工智能”演讲。他表示,我们要做的事情是如何训练机器去完成基于主题的量化投资。机器可以快速的处理大量的数据,并且不以你自己的持仓为前提而做出一个非常理性的判断,而人往往会漏掉一些事情,往往会计算的不清楚,甚至我们的主观感觉会受到持仓而影响,所以利用机器来帮助我们做量化分析是最有效的一个方法。
以下为发言实录:
主持人:再次感谢各位嘉宾的精彩分享,接下来我们要有请阿法金融CEO创始合伙人任凯先生为我们发表主题为:“大数据机器学习和人工智能的演讲”。
任凯:大家好,我是任凯。今天在这里我要跟大家分享一个既熟悉又陌生的话题,为什么说“既熟悉”?因为大数据、机器学习、人工智能,这些关键词每天充斥着我们的报道和朋友圈,我相信对于每个人来说都非常熟悉。为什么又说“很陌生”,就像李娜说的很少有一些文章真正来告诉我们这些技术到底是怎么落地的,而有很多的技术在我们看来它还在云端。所以今天我想利用这个机会,就在一个非常非常细分和专一的领域,也就是量化投资和研究这个领域,和大家分享一下阿法金融是如何利用现代的金融科技技术,来帮助我们更好的完成我们的投资分析和决策。
很快的先做一个自我介绍。我叫任凯,CEO、创始合伙人、阿法金融。从2006-2017年12年我都在纽约的高盛银行的证券交易部门进行合作,我主要负责的是Fintech技术和投资管理方向的研究。这张照片是高盛的交易厅四楼的一张照片,这张照片告诉什么?它告诉我们美国的工作环境比中国要差好多,你看他们坐的多挤。我当时坐在右上角露半张脸的位置。刚才是开一个玩笑,这张图又告诉我们?他告诉我们最近有一篇朋友圈刷屏的文章也许说的不是那么明白,他说高盛把600个交易员变成了两个,但是背后的故事是什么?600个交易员确实变成了两个,那是因为在流动性非常好的金融产品上,我们现在都已经在低延迟交易,都在用高频交易,但是我们需要另外600个量化分析师,工程师把这个电子交易的系统全部做出来。所以那篇文章并没有说Fintech的技术取代了我们,而是我们要更好的适应Fintech时代。
大数据是不是仅仅就是数据很多呢?显然不是的,大数据和传统数据相比除了数据多之外其实还有很多不同的特性。比如说它的维度非常多,它的形式非常多,它的更新非常快。而基于这些数据和传统的量化投资相比,我们应该要做哪些变化?我把它分成两类。
我认为数据分车结构化和非结构化,而在目前市场上或者过去的5-10年相当多的量化投资机构基本在做第一种量化投资,也就是说基于结构化数据的量化投资。我们在看市场上有多少中因子,市场上有没有套利的机会,或者通过过去的模型找到机会预测未来发生什么变化。而我认为在最近的2-3年,我们其实可以做另外一种量化投资,是基于主题的量化投资,也就是说在这个市场上到底有什么热点,在这个市场上有没有一种主题重复发生,并且在过去的历史上证明这个重复发生对市场有影响。而我恰恰认为基于主题的量化投资是更符合我们人以往的量化投资模式。因为当一条新闻出来之后,人的主观意识是这件事情以前有没有发生过,类似的事情有没有发生过,如果统计以前类似发生过的事情对市场的统计有没有特定的影响,而这个影响是不是特别高,所以判断有没有投资的机会。所以我认为我们要做的事情是如何训练机器去完成基于主题的量化投资。
打个比方说如果我想知道流行病毒爆发对市场有什么影响,人可以统计到底在过去5-10年发生过多少次流行病爆发,对市场概率上来说,幅度上来说到底有什么影响。这是一种新闻,甚至可以研究一种现象。打个比方如果黄金连续三天上涨超过5%,在这样一种现象发生的时候,到底对市场产生了什么形影响。人可以做这样的事情,而人一般需要很长的时间才能研究这个事情,比如说可能需要几个小时甚至几天才能把一个非常复杂的基于主题的量化分析做完,但是阿法要做的事是在几秒钟之内完成这个事情,这样才能够利用Fintech的技术来帮助我们更好的做量化分析,来帮助我们把最有效的决策判断的时间留给我们的分析师,留给我们的基金经理,而把我们整理、收集、计算、量化的这个过程交给机器去做,因为在这个方向上,机器一定比人做得好。机器可以快速的处理大量的数据,并且不以你自己的持仓为前提而做出一个非常理性的判断,而人往往会漏掉一些事情,往往会计算的不清楚,甚至我们的主观感觉会受到持仓而影响,所以利用机器来帮助我们做量化分析是最有效的一个方法。
下面来看看阿法金融如何训练我们的机器来完成这样一个复杂的事情。首先我们有了数据之后可能需要用机器学习,而机器学习一般是四个维度,第一个降维,第二个分类,第三个聚类,第四个回归。这个听起来比较专业,我会用一个比较实际的例子来告诉大家这四个维度上都有哪些常识。比如降维,既然说到可以用很多的非结构化的数据来判断这个事情的舆情,我们势必可以拿到新闻、评论、观点等等所有这些文章。有了这这些文章是不是要放到模型当中训练,我相信不是的,因为你把相互关系的因子放到模型中非常容易拟合,所以我们要做的是降维,也就是说这么多事情也许表达的是同一种观点,我们也许把几种因子的组合最后变成一到两种因子,并且去准确判断一件事情的利或者弊。
分类做什么?我们可以把很多不同的新闻按照它到底讲的是什么事情区分开来,可以用机器的方法帮助我们把不同种类的东西放在它们各自的框框里去,帮助我们来看每一个主题下和市场到底有什么关系。
聚类是什么?聚类我们在尝试用它来进行市场的择实,这个还是一个非常有创意的观点。因为在座的各位都是投资界的专家,所以今天我们来做择实的时候很多程度上都是用市场的指标,比如用量能、K线或者其他的技术指标来看这些指标有没有发生反转,来看是不是一个新的市场机会到来的。而我们想用机器学习来做另外一个不同的尝试,比如我能用一个高维度的数据,60个、80个甚至更多的因子表征一些特性,通过这些特性把所有交易日区分到不同类别里面去。比如在市场发生下跌或者是持平的时候又有一些交易日它的特性非常明显,如果我们能够把它精确聚类之后是不是可以通过类别进行择实,我相信市场上可以研究。
最后就是相关性的拟合,比如我们可以用不同的拟合方法来拟合两种不同标的之间的相关性,并且可以拟合这种相关性是怎样变化的,因为有很多时候如果我们想要投资两种不同的标的,它们有非常大的相关性的时候,其实我们是想要看到它的相关性有没有发生改变,而不止是说当前的情况下相关性是怎么样的,是要看它是不是一个很稳健的相关性值得我们投资。所有这一切都是我们利用机器学习的技术从大数据的角度上挖掘出一些我们能够投资的方向。
有了机器学习之后,人工智能可以做什么?人工智能又是在这个上面更进一步,因为机器学习很多时候需要我们指导它。比如说今天这个市场上到底有哪些特性,人可以给它做一个相对好的规范。或者把交易市场上分成不同类型的五类,进行分配。但是最近两年的人工智能技术让我们可以更好的训练机器在没有人指导的情况下可以自主进行一些判断,比如它可以模拟我们的逻辑思维,可以模拟我们怎样去阅读一条新闻理解它的语义,并且可以帮助我们构建一些知识图谱。
下面这个过程就是我们训练阿法金融如何做到我之前那两个例子,如何模拟人的思维在几秒钟里面就可以判断出一条新闻的影响。首先我们利用人工智能的技术阅读一篇文章,这个技术相对来说已经很成熟了,当这个机器阅读这篇文章之后首先它理解这篇文章到底讲的是新闻还是观点还是引述,这个非常重要。如果今天到百度或者谷歌搜索台风,比如说明天台风要来了,你去搜索台风,我相信365天每天都有非常多关于台风的文章,但是并不代表这些是台风真正发生时候的那篇新闻。所以第一个难点是对于机器来说如何判断这个文章说的到底是新闻还是只是观点。
第二点就是如何判断你有集中报道的时候到底讲的是同一个事情还是不同的事情,打个比方说我们刚刚开完了十九大,我相信在这段时间当中一定有非常多十九大的集中报道,请问机器如何知道在这些文章当中它到底讲的是同一个事情还是每天讲的是不同的话题。等到我们把这些真正的原生态原发的新闻全部找出来之后,第三个难点就是相似事件的联想。这也就是我之前说到的其实人去投资分析的时候就是遵循了这样一个投资分析的逻辑,因为你不会根据一个事情去判断明天,你会根据一类同样的事情判断明天,我们利用这个方法就是训练阿法金融,阿法分析师可以和人一样的去思维。
等我们把这些话题全部据类之后我们做的就是关联标的的分析,也就是台风过境这个事情对市场产生了什么样的量化影响。流行病毒爆发这个事情对市场产生什么样的影响。我们几乎要回答的是这样一个过程。市场上的任何一条消息对什么标的会有影响,会有多大的影响,在什么时间会有影响,持续周期会有多长。因为我认为所有机构投资者最关心的不是明天股票是涨还是跌,而是知道这条消息对我的投资组合,我手上的持仓有什么影响,这是我们经常要做的一个分析判断。
所以阿法金融的目的是想利用金融科技技术来帮助大家更好的完成量化投资和分析,我们希望把只有少数机构大的机构掌握的量化投资分析的能力,把它赋能给所有的小机构,让大家能够更快的根据历史上的事情做出一个决策判断。
下面我技术人员帮我放一个小小的视频,然后大家可以更好的了解我刚才说的整个过程。
任凯:非常感谢,这就是刚才我讲的整个这个过程,我们用一幅图来表示,也就是如何利用金融科技技术,在我们的量化分析以及我们的买方业务和卖方业务,分别是投资业务或者投顾业务,在这三个方面帮助我们从以人为主变成人机结合的战略升级,这是非常关键的一个点。我们并不认为机器现在可以完全取代人来做决策,但是机器可以帮助人把我们几个小时才能分析的结果在几秒钟分析出来,所以以后我们需要做的事情就是利用金融科技来做到80-90%最枯燥最好时的量化分析的这个工作,把我们最宝贵的投资决策的时候留给我们自己。
所以我们希望通过金融科技的技术,人工智能、大数据或者是云计算,ABC利用所有这些科技把我们量化分析这个能力给到大家,让所有金融机构都可以更快、更好、更高效的完成这个投资分析。