nn编者按:在原文作者CalebGarling对话吴恩达时,他刚结束在旧金山的深度学习大会,这名斯坦福深度学习教授,前GoogleBrain负责人,Coursera的创始人和现任百度首席科学家在大会上受到了一大群仰慕他的计算机科学家的访问。nn吴恩达和我谈论了他带领“中国的Google”(百度)在深度学习中面临的挑战,他强调,百度只对可以影响1亿用户的技术有兴趣。

其本人十分友好温和,是那种说起话来你不好意思打断他的人。nn以下内容节选自访问:nn中文和英文,无论从哪个方面来说都是两种完全不同的语言,所以对于理解这两种语言的机器框架来说,究竟会有多不同呢?nn嗯,现有科技理论还没有成熟到让我可以言简意赅地给出答案的地步。对英语来说我们已经有很好的框架了,现在我们想对中文进行尝试。n英语有26个字母,然而中文大约有5000个字符。

如果你看一篇中等长度英文的语料库,出现的总是那么26个字母,而中文的语料库中会有一些你只会见到一次的生僻字。所以你要如何学会认识这些中文字符?nn相较而言,罗曼斯语言更加简单。从法语转到英语比从中文转到英语要容易得多。nn所以如果你有一张英文标签的图片,你如何把这些标签转换成中文?nn我认为我很多值得尝试的方法,并且这些方法都还没有探索过。

我们一般用的是多任务学习的方法。假设说你有一个识别英语标签图像的网络,现在你要训练一个网络可以识别中文标签,如果你训练一个网络同时完成这两件事,很有可能这个网络会比单独两个网络分别识别英语和中文要好得多。nn这么做是有优势的,但是优势并不明显。原因是这样,机器可能会学习识别图像中的边,然后又学会了辨别图像中的角。

对于两种语言来说,这种知识都是通用的。一旦你学会了识别英语中的物体,这事实上对于你学习中文中的物体也有帮助,因为你可以辨别这些边和物体。nn那么,那些只存在于一种语言之中的词又该怎么办呢?nn在英语里,姐妹只有一个单词“sister”,但是在中文中,“姐”和“妹”是两个不同意思的词。事实上,当你想要翻译“sister”这个词的时候,就会遇到问题,因为你不知道应该把它翻译成姐姐还是妹妹。

不过我认为如果机器知道你的sister和屋子里其他的物体是有区别的话,那再区别是姐姐或者是妹妹并不困难。如果你不知道“sister”的概念,就要从零学习“姐妹”的概念了。nn随着不断地训练,投入会越来越昂贵,当然,除非你的神经网络规模比较小了。nn等一下,什么样的神经网络才算是小型的?nn【哈哈】这不一定,会随着时间改变。

我们一般是依照神经网络之间的连接数划分。Baidu训练的神经网络的连接数量一般可以达到几百亿。nn那我们来聊聊语言识别,百度会不会从一些特殊的音节或是字母组合入手,比如像“th”这样的组合?nn过去的语音识别是这么做的。过去的语音识别都有一个标准管道,你输入音频,预计这些音节到底是什么。

然后你再用另一套系统,把这些音节转化成文字。不过近来人们一直在争论,到底音节是语言的一个基本组成部分,还是语言学家臆想出来的?我花了很多年试图向人们解释,音节其实是人为划分的,它不是语言的一个基本事实,只是人类发明出来,对语言的一种描述方式。许多语言学家对此表示强烈的不满,甚至公开地向我表示反对。nn我们在百度语音系统中做事并没有用到音节的概念,这个过程更像是小孩学习语言的过程:我们给电脑听一段音频,告诉它文字的内容,然后让它自己建立对应,而不是人工的构建所谓“音节”的概念。