本文向您展示了Jupyter Notebook如何适应数据科学的发展方向。内容简洁易懂,一定会让你眼前一亮。希望通过这篇文章的详细介绍,你能有所收获。
0
下面将讨论数据科学的前景和促进我们工具发展的力量。
我将回顾一下我在数据科学中经常使用的工具——Jupyter Notebook。
我想看看数据科学的实践在过去几年里发生了怎样的变化。然后,我将强调改变我今天使用笔记本方式的三种主要力量。
0
2
现在数据科学
数据领域正在迅速变化。现在我们已经进入了这样一个时代。“21世纪最性感的工作”和“数据是新油”已经过时,取而代之的是更现实的业务问题和基于技术的挑战。我认为这种变化是双重的。现在我们需要支持(1)生产分析和实验的需求,(2)云技术的快速采用。
第一,生产的需要。在软件工程的生命周期中,数据产品的创建或实验性工件的部署逐年增加。随着机器学习工程师和数据科学软件开发人员的崛起,越来越多的工程工作被采用,这就是证据。此外,分析不再局限于出版物或图表,因为对复制实验和部署工件的需求越来越大。
接下来,数据的指数级增长需要采用云技术。我们不能只用自己的笔记本电脑来加载熊猫的1TB数据集!Docker和Kubernetes等工具的流行使我们能够以前所未有的水平扩展数据处理工作负载。采用云意味着我们在管理工作负载时应该考虑可扩展性、资源调配和基础架构。不过,之前的Jupyter Notebook生态系统,虽然是数据科学家工具箱的重要组成部分,但并不意味着会有相应的变化。
正如我所说,我们对Jupyter Notebook的了解并不意味着这些变化。他们是为了勘探,不是为了生产。它们应该在一台机器上运行,而不是在集群中运行。然而,在过去的五年里,Jupyter Notebook的生态系统增长到了:我们现在有了JupyterLab、一些插件、其他语言的新内核以及第三方工具供我们使用。当然,我们还是可以通过在终端输入jupyter Notebook来运行笔记本,但现在远不止于此!
这就引出一个问题,是什么力量导致了这些变化?我们如何利用这个更大的笔记本生态系统来应对当今数据科学的变化?
03三个方向的变化
Jupyter Notebook的生态系统正在成长,我认为这是由三股力量推动的。
在云上做:大数据的实验,需要大量的计算和存储,但是普通的消费类机器并不能一直做到这一点。
支持开发者工作流:越来越多的数据科学团队开始采用软件工程3354版本控制、gitfow、pull request等最佳实践。
从分析到生产:的快速过渡是在控制回路中进行的。
境下测试假设是不够的。为分析而编写的软件应该可以很容易地为生产重用。
朝着云优先的环境发展意味着我们可以在比我们更强大的机器上执行基于notebook的任务。例如,托管的notebook实例使我们能够从远程服务器运行Jupyter notebook,而无需操作和设置。另一方面,朝着更加生产工作流程的方向发展,为我们提供了一组工具,将基于记事本的任务赋予软件工程实践。在这篇文章的下一部分,我们将看到更多这样的工具。
最后,请注意,工具的发展并不依赖于单个实体或组织。正如我们将在后面看到的,填补这些空白可能来自于那些提供第三方插件的个人或者那些提供管理服务的组织。
我们研究了数据科学领域增长的两个驱动因素:(1)云计算的采用,以及(2)生产需求的增长。我们发现Jupyter notebook只占了这个生态系统的一小部分,也就是它通常用于探索(而不是生产),并且只运行在我们的本地机器上(不是在云中)。
然后,使用相同的框架,我们确定了三种变化的力量,使Jupyter笔记本生态系统得以发展:在云上增加实验,支持开发人员工作流,以及更快地从分析转向生产。这些力量可能带来了新工具、插件和类似记事本的产品的开发,以满足这些差距。
上述内容就是Jupyter Notebook如何适应数据科学的发展方向,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注行业资讯频道。
内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/134045.html