监督学习算法3.解决问题4.小结

增加数据1.简述2.增加数据案例一3.增加数据案例二4.添加数据的技巧5.空白创建数据6.小结

机器学习的整体步骤将模型部署到生产环境公平偏见与道德1.偏见2.不道德消极3.建议小结

课后问题

机器学习发展的迭代循环确定系统架构、选择模型和数据、设定超参数然后实现和训练模型。

初次训练通常效果不理想因此需要进行诊断如偏差和方差分析并进行误差分析。

根据诊断结果调整模型结构、超参数或数据重复这一循环直到达到预期性能。

开发机器学习案例

左边的例子展示了一个典型的垃圾邮件其中包含像“劳力士手表”这样的内容。

垃圾邮件发送者有时会故意拼错单词来迷惑识别器。

右边是吴恩达发给他弟弟的正常邮件关于一起过圣诞节的事情。

那么如何构建一个分类器来识别垃圾邮件和非垃圾邮件呢

2.创建监督学习算法

输入特征x是电子邮件的特征输出标签y是1或0表示它是垃圾邮件或非垃圾邮件。

这是一个文本分类的例子通过分析电子邮件文本并将其归类为垃圾邮件或非垃圾邮件。

构建特征的一种方法是选择字典中最常用的一万个单词并用这些单词来定义特征x_1到x_10,000。

例如对一封电子邮件如果某个单词出现则相应特征为1否则为0。

另一种方法是计算每个单词在电子邮件中出现的次数。

有了这些特征后可以使用分类算法如逻辑回归或神经网络根据这些特征x来预测标签y。

3.解决问题

训练完初始模型后如果效果不佳你可能会有多种改进算法的想法。

例如可以尝试收集更多数据如通过蜜罐项目获取垃圾邮件数据或者开发更复杂的特征如基于电子邮件路由信息或处理邮件正文中的拼写错误。

为了选择最有前景的改进方向可以根据算法的表现来决定。

如果算法有高偏差收集更多数据可能效果不大如果方差高增加数据会有帮助。

选择正确的方向能显著加速项目进展。

4.小结

在机器学习和开发的迭代循环中你可能会有许多修改模型或数据的想法。

不同的诊断方法可以指导你选择最有希望的架构。

在前几个视频中我们讨论了偏差和方差。

在下个视频中我将介绍误差分析过程这是另一个关键方法用于判断哪些架构选择可能有效。

我们将以构建垃圾邮件分类器为例探讨误差分析的应用。

误差分析

在选择如何改进学习算法性能时偏差和方差是最重要的概念而误差分析则是其次。

具体来说假设你有500个交叉验证样本算法错误分类了其中的100个。

误差分析指的是手动检查这100个错误样本找出常见的错误类型。

例如如果许多错误样本是医药垃圾邮件你可以统计这些类型的错误数量并决定是否针对这些错误进行优化。

通过误差分析你可以发现某些类型的错误更普遍从而决定优先解决这些问题。

例如如果故意拼写错误的影响较小那么可能不需要优先解决。

这个过程可以帮助你高效地选择改进方向并避免在影响较小的问题上浪费时间。

最后误差分析可以为你提供灵感例如收集更多特定类型的数据或设计新的特征从而改进算法性能。

回到这个列表偏差方差分析可以告诉你收集更多数据是否有帮助。

根据示例算法的误差分析更复杂的邮件特征可能有些帮助但不大而更复杂的特征用于检测垃圾邮件或钓鱼邮件则帮助很大。

检测拼写错误的效果相对较小。

3.小结

偏差方差诊断和误差分析对筛选和决定模型改进方向非常有帮助。

但误差分析对人类擅长的问题更容易例如识别垃圾邮件。

而对于人类也不擅长的任务如预测广告点击率误差分析较难进行。

但在适用的情况下误差分析能显著帮助集中精力于更有前景的改进节省大量时间。

在下个视频中将深入探讨如何高效地增加数据。

增加数据

这里分享一些增加、收集甚至创建更多数据的技巧。

每个机器学习应用可能需要不同的方法因为不同问题有不同的数据需求。

通常增加所有类型的数据既耗时又昂贵。

相反更有效的方法是根据误差分析的结果重点增加那些算法表现不佳的数据类型。

例如如果误差分析显示医药垃圾邮件是大问题则应集中精力获取更多这类数据。

另一种方法是数据增强特别适用于图像和音频数据。

通过对现有数据进行旋转、缩放、对比度调整等变换生成新的训练样本。

这可以显著增加训练集的大小提高算法的性能。

总结来说重点增加特定类型的数据或使用数据增强技术可以更有效地提升算法性能。

2.增加数据案例一

一个更高级的数据增强示例是对字母A应用网格并进行随机变形。

通过扭曲网格可以生成许多变形后的字母A从而创建更丰富的字母A样本库。

这种扭曲过程将一个图像样本转化为多个训练样本帮助学习算法更加稳健地学习。

3.增加数据案例二

数据增强同样适用于语音识别。

例如在语音搜索应用中可以将原始音频剪辑如“今天的天气怎么样”与嘈杂的背景音如人群噪音或汽车噪音混合生成包含背景噪音的新音频剪辑。

通过这种方式可以将一个原始音频变成多个训练样本如带有背景噪音或差的手机连接音频。

这种技术对增加训练数据量、提高语音识别系统的准确性非常关键。

进行数据增强时所做的变换或扭曲应与测试集中的噪声或失真类型相似。

例如对字母A进行扭曲或在音频中加入背景噪音或差的手机连接这些都应与测试集中的情况相符。

这些方法会有助于数据增强。

而添加纯粹随机且无意义的噪声则通常没什么帮助因为这类噪声在测试集中很少见。

因此数据增强应模拟测试集中可能出现的情况以便算法在这些条件下表现良好。

5.空白创建数据

数据增强通过修改现有的训练样本来创建新的样本而数据合成则是从零开始生成全新的样本。

例如在图片光学字符识别OCR任务中可以通过计算机文本编辑器使用不同字体、颜色和对比度生成合成数据。

这些合成数据看起来与真实数据非常相似可以用于训练OCR算法从而显著提升算法性能。

虽然编写生成真实感合成数据的代码需要花费大量时间但它可以生成大量训练数据对算法性能有巨大提升。

数据合成主要用于计算机视觉任务较少用于其他领域。

6.小结

本节介绍了多种数据工程技术用于改进机器学习系统中的数据处理。

传统的模型中心方法主要关注改进算法或模型而保持数据集不变。

如今由于现有算法如线性回归、神经网络、决策树等已经非常强大采用数据中心方法可能更有效即关注改进和增强数据。

数据中心方法包括根据误差分析结果收集更多特定数据、使用数据增强生成更多图像或音频、通过数据合成创建新的训练样本。

这些方法可以提高算法性能。

此外对于数据稀缺的应用可以使用迁移学习从其他相关任务中获取数据来提升算法性能。

迁移学习在某些情况下非常强大下个视频将详细介绍其工作原理。

迁移学习

迁移学习是一种在数据不足的情况下通过利用其他任务的数据来提高当前任务性能的技术。

例如假设你想要识别从0到9的手写数字但没有足够多的这些手写数字的带标签数据导致通过这个小数据集训练的神经网络性能不够好。

这时可以使用迁移学习。

比如我们找到一个使用一百万张图片和一千个分类的大数据集预训练好的神经网络得到其各层参数。

然后我们将这个预训练模型的参数应用到原有的小数据集的神经网络中将其输出层改为较小的输出层。

最后通过优化算法对新任务进行训练或微调以提高模型的性能。

小数据集的神经网络有两种训练方式只训练输出层参数或训练所有参数。

迁移学习使得新模型从更好的初始参数开始能够在小数据集上取得更好的效果。

如果你的训练集很小选项1可能效果更好如果训练集稍大一些选项2可能更好。

首先在大数据集上训练然后在小数据集上微调参数被称为监督预训练和微调。

迁移学习的优势在于它能够利用其他研究者预训练好的神经网络通过替换输出层并进行微调快速实现高效的模型。

2.为什么迁移学习有作用

迁移学习有效的原因在于通过训练神经网络识别多种不同的图像如猫、狗、汽车和人神经网络学会了检测通用的图像特征如边缘、角落和基本形状。

这些特征对其他计算机视觉任务如识别手写数字也非常有用因此可以将这些学习到的参数应用到新任务中提升其识别性能。

2注意事项

预训练的限制在于输入类型必须一致。

对于计算机视觉任务预训练和微调都需要在图像数据上进行。

对于语音识别系统需要在音频数据上预训练神经网络再在自己的音频数据集上微调。

不同类型的应用需要在相应类型的数据上预训练例如文本数据的应用需要在文本数据上预训练并微调。

3.小结

迁移学习有两个步骤第一步是下载在大数据集上预训练的神经网络输入类型需与应用一致第二步是在自己的数据上进一步训练或微调。

使用预训练的神经网络可以在小数据集上取得不错的效果。

确定项目范围决定项目内容和目标。

例如进行语音识别以实现语音搜索。

数据收集获取训练模型所需的数据如音频和转录标签。

训练模型使用收集的数据训练模型并进行偏差方差或误差分析以改进模型。

循环改进根据误差分析回去收集更多数据并继续改进模型直到模型表现良好。

部署模型在生产环境中部署模型让用户使用。

持续监控和维护监控模型性能维护和改进模型以应对性能下降。

将模型部署到生产环境

当你训练出高性能的机器学习模型如语音识别通常会将其部署到一个推理服务器上通过API进行预测。

当用户通过移动应用说话时应用将音频传递给推理服务器服务器返回语音转录结果。

实现这一过程可能需要编写相关代码具体的软件工程量取决于应用需求。

记录输入数据和预测结果对系统监控非常有用可通过监控发现数据变化并重新训练和更新模型。

部署可能需要一些软件工程对于小规模应用或在少数服务器上运行需求较少。

MLOps机器学习运营是一个新兴领域涉及系统地构建、部署和维护机器学习系统确保模型可靠、扩展性好、日志记录和监控完善并能够及时更新模型。

如果要为数百万人部署系统需要高度优化的实现以控制计算成本。

训练高性能模型是关键但部署时需要考虑和解决额外步骤。

公平偏见与道德

机器学习算法影响着数十亿人构建这些系统时需要考虑公平和伦理问题。

历史上出现了一些带有严重偏见的系统如歧视女性的招聘工具和对深色皮肤个人不公平的人脸识别系统。

这些系统不应该被推出。

我们应避免构建和部署存在偏见的问题系统并确保我们的算法不会强化负面刻板印象。

这些措施有助于创建一个更公正和道德的机器学习环境。

2.不道德消极

机器学习算法存在一些负面使用案例如深度伪造视频、传播有害言论和生成虚假内容等这些都具有不道德性。

我们不应构建对社会有负面影响的系统。

伦理问题非常复杂没有简单的解决方案。

我建议大家在工作中遵循一些一般性的指导和建议以确保工作更少偏见、更公平和更有伦理。

3.建议

以下是一些建议帮助你在部署可能造成危害的系统之前使你的工作更公平、减少偏见和更具伦理

组建多元化团队组建一个多元化团队特别是强调对弱势群体可能造成的潜在危害进行头脑风暴。

多元化不仅包括性别还包括种族、文化等多方面。

这有助于团队更好地识别潜在问题并在系统上线前解决。

文献搜索查找行业或特定应用领域的标准和指南。

例如在金融行业已经开始建立有关系统公平性和无偏见性的标准。

这些标准可以指导你的工作。

系统审计在部署前审计系统以识别可能的危害。

培训模型后但在投入生产前检查系统是否对某些群体如特定性别或种族存在偏见并确保在部署前解决这些问题。

制定缓解计划如果适用制定一个缓解计划。

一个简单的缓解计划是回滚到先前较为公平的系统。

即使在部署后也要持续监控可能的危害以便在出现问题时能够快速执行缓解计划。

例如所有自动驾驶汽车团队在上路前都制定了应对事故的缓解计划这样如果发生事故可以立即执行计划而不是在事后手忙脚乱地处理。

机器学习中的伦理、公平和偏见问题需要认真对待因为这些系统会影响很多人。

不同项目的伦理影响可能不同但所有从事机器学习工作的人都应努力发现和解决问题避免之前的错误。

最后鼓励观看关于处理偏斜数据集的可选视频。

课后问题

(J_{test})收集额外的训练数据以帮助算法做得更好计算训练误差

(J_{train})手动检查模型错误分类的一部分训练示例以识别共同的特征和趋势

答案手动检查模型错误分类的一部分训练示例以识别共同的特征和趋势

答案解释通过识别相似类型的错误你可以收集更多类似于这些错误分类示例的数据从而改进模型在这些类型示例上的表现。

问题我们有时会取一个现有的训练示例并对其进行修改例如通过略微旋转图像以创建一个具有相同标签的新示例。

这个过程叫什么

答案数据增强

问题进行迁移学习的两种可能方法是什么提示四个选项中有两个是正确的。

你可以选择训练模型的所有参数包括输出层以及早期层。

你可以选择只训练输出层的参数并保持模型的其他参数固定。

给定数据集先进行预训练然后在相同数据集上进一步微调神经网络。

下载一个预训练模型并在不修改或重新训练的情况下使用它进行预测。

答案解释正确。

训练模型的所有层可能有助于你在自己的训练集上训练模型的所有层。

这可能需要更多时间与你仅训练输出层的参数相比。

正确。

模型的早期层可能可以直接使用因为它们正在识别与你的任务相关的低级特征。