3月底，OpenAI迎来了“iPhone时刻”，它可以调用插件“帮助ChatGPT访问最新信息、运行计算或使用第三方服务。”以后用户出门可以问ChatGPT选择哪家店，ChatGPT会调用“美国大众点评”给用户建议。就像一个超级流量入口。
除了引入WolframAlpha、OpenTable等第三方工具插件，OpenAI还发布了自己的插件——浏览插件和代码解释器。其中，代码解释器可用于生成代码、运行代码、上传下载从csv数据到图像等一系列格式的文件，并在ChatGPT接口中评估输出结果。
目前，代码解释器可以运行Python，但它只能访问少量的库，并执行少数特定的任务。安德鲁·梅恩(Andrew Mayne)，华尔街日报的畅销小说家，OpenAI领域的科学传播者，最近一直在测试代码解释器。他发现ChatGPT即使只能使用基本库，也能执行很多任务，非常有趣。
除了生成代码，代码解释器还可以分析输出结果，并将结果代入另一个函数。这意味着不同的代码部分可以串联起来，一部分的输出结果可以输入到另一部分，实现功能的连续性。
以文章开头的吃豆人动画的实现为例。首先让代码解释器使用算法生成一个迷宫，然后将其转换成一系列的方块来直观地表示迷宫的墙壁和通道，然后使用算法找到迷宫的出口，然后让这个过程直观地模拟吃豆人的游戏。最后，用得到的结果生成一个gif动画。
代码解释器的加入带来的区别是，用ChatGPT创建代码时，输出结果需要在另一个环境中测试。现在，你可以直接在ChatGPT中做很多开发工作，而不用离开ChatGPT会话界面。再加上ChatGPT的数据分析能力(比如电子表格)以及绘图等后续功能，可以说你拥有了一个非常强大的编程和研究工具。
下面是Andrew在测试ChatGPT的代码解释器插件时随机运行的一些有趣的实验案例。
产生声音
我发现ChatGPT可以理解很多数学数据，代码解释器可以生成可下载的文件。我让ChatGPT生成一个谢泼德音。所谓“谢泼德音”是指一种音阶处理方法:一段旋律反复重复，虽然其音高在循环中不变，但会造成音阶上升的错觉。ChatGPT用图表显示音调，然后用代码解释器以wav格式输出这个音调:
谢泼德音
音频1音频:00:0000:10
然后，我进一步测试了ChatGPT的语音能力，让ChatGPT生成一段康威人生游戏的对话，然后转换成一段音乐。
对了，康威生活游戏(康威 # 39；S Game of Life)，也叫康威生命棋，是英国数学家约翰·何顿·康威在1970年发明的一种细胞自动机。这是一个零玩家游戏，也就是说它的发展完全由其初始状态决定，不需要进一步的信息。
ChatGPT的第一个音乐片段听起来有点太随意了，所以我要求ChatGPT让它更好听一些。ChatGPT用五种音调处理结果，得到如下音乐:
音乐形式的生活游戏
音频2音频:00:0000:14
想象一下，这样的话，我们甚至可以让ChatGPT做一整张数学音乐专辑:斐波那契数列，曼德尔伯格布劳思集，元胞自动机等等！
接下来我让ChatGPT为刚才的生命之歌游戏生成专辑封面。由于ChatGPT没有连接Dall-E(open ai发布的文本生成图片工具)，也没有画图能力，所以我让它根据一个生活游戏的模拟结果生成专辑封面。
人生游戏歌专辑封面
《生命之歌游戏》专辑封面
生成二维码
看上面生活游戏的专辑封面图片，突然想到ChatGPT或许可以生成一张有效的二维码图片。于是，我先提出了一个简单的指令，ChatGPT很快给出了结果:
二维码
看着生活游戏相册的图片和旁边的二维码，很纳闷…ChatGPT能否创建一个以二维码为结尾的生活游戏模拟流程？(我告诉它从二维码往后推作弊…)是的，它可以:
生活游戏二维码
生成图片
在关于ChatGPT插件的博文中，我展示了一些用Python库进行图像处理的很酷的方法。这也让我很好奇ChatGPT能用基本库做什么。
使用OpenCV(开源计算机视觉类库)和一个简单的人脸识别算法(Haar级联分类器)，代码解释器可以创建一个函数，在下图中找到我的脸:
使用OpenCV 查找面孔
由于ChatGPT可以打开和读取文件，这也意味着理论上ChatGPT可以利用这些数据生成新的东西。所以让ChatGPT将一张图片转换成ASCII图像:
上传一张图片，转换成ASCII格式
生成动画
既然代码解释器可以生成数据并输出成不同的格式，包括gif动画，那我们就来测试一下ChatGPT能做多远。
首先，我让ChatGPT做一个弹跳箱:
跳跃框
另一场暴风雪:
暴雪
接下来，生成一个生活游戏:
生命的游戏
然后，我尝试让ChatGPT使用向量立方体生成生活游戏，最接近的结果如下:
旋转立方体
光学字符识别(OCR)
原来ChatGPT中代码解释器的基础库包含了光学字符识别(OCR)。我决定用某网站的截图来测试一下。果然这个方法有用。可以将OCR与一个非常强大的语言模型结合起来，这可能会赋予ChatGPT一些恢复旧文档的能力。
计划邀请
虽然代码解释器不能访问ics库，但是它可以以纯文本的形式生成日程邀请，然后让ChatGPT将其保存为。ics文件。
绘画
虽然已经有一些用GPT-4生成SVG(可缩放矢量图)的有趣案例，但是我很好奇ChatGPT和code interpreter能对简单的块图像做什么。
我让ChatGPT画一只猫，它确实产生了一张看起来像猫的图片。为了确保ChatGPT没有因为类似的训练而这样做，我进一步让ChatGPT画了一只戴着蓝色礼帽拿着烟斗的猫。虽然输出结果不完全是我想象中的高帽子，但是真的是帽子，而且是蓝色的。
看起来像一只猫
看起来像一只带着帽子和烟斗的猫
一只带着帽子和烟斗的猫
创建机器学习模型(某种意义上)
虽然ChatGPT目前还不能加载任何机器学习库到代码解释器中，但是我们可以使用n-gram生成一些基本的统计文本。在这个例子中，我给ChatGPT提供了一本书，并要求它创建一个预测算法来预测文本序列中的下一个单词。很快，ChatGPT给出的结果无一例外地再次证明了GPT-4的能力。
下一个单词预测
模拟
在这里，我们先重现一下最开始的吃豆人模拟器，利用代码解释器生成算法和gif制作迷宫的能力，然后生成一个点，找到迷宫的出口…然后让整个过程看起来像吃豆人的游戏:
吃豆人模拟器
使用Matplotlib库，我们可以让ChatGPT模拟内行星(离太阳最近的四颗行星)的轨道，并保存为gif动画。
行星轨道
然后我想知道ChatGPT能不能模拟一个跳棋的游戏。我设法移动了棋子，但出于礼貌，我没有拿走任何其他玩家的棋子:
跳棋
那么ChatGPT可以模拟象棋吗？首先我必须要求ChatGPT创建自己的棋库(一个规则简化，不太标准的棋库…)并用unicode表示棋子。之后，ChatGPT可以模拟一个游戏的开始，并保存为gif动画:
象棋
这是我和ChatGPT关于生成象棋模拟的过程的对话。如你所见，我这里只给出一些指令，剩下的工作由ChatGPT和代码解释器来完成。
以上只是我对ChatGPT和代码解释器插件的一些探索。随着越来越多的人加入进来，我相信我们很快就会看到一些真正令人惊叹的应用。
