TFLite LiteRT TensorFlow 跑分

Beschreibung

你的 .tflite 模型在这台 iPhone 上到底跑多快？ 选 CPU、GPU 还是神经网络引擎，拿到真实的延迟和 QPS。 无需 Mac，无需 Xcode 工程，无需 Bazel 编译，不上云，无需账号。 从「文件」App 里打开一个 .tflite 文件，选好加速器，点运行。大约一分钟，你就能在真正关心的那台设备上拿到一次真实测量——不用配 Bazel 工作区，也不用从源码编译官方 benchmark 工具。 选择加速器 - 神经网络引擎 —— 挂载 Core ML delegate，受支持的算子交给 Apple 神经网络引擎执行 - GPU —— 挂载 GPU delegate，底层走 Metal - CPU —— 纯解释器执行，线程数由你选：1、2、4、6 或 8 一次运行只测一种配置。跑完一次，换一个 delegate 或线程数，重新加载，数字自己对比。 你会得到什么 - 延迟：平均值、最小值、最大值，单位毫秒 - 每秒查询数（QPS） - 完成的查询总数与整轮耗时 - 每轮的查询次数由你设定，50 到 5000 次调用 平均、最小、最大只对模型推理调用本身计时——不含前处理，也不含后处理。耗时则覆盖整个循环。运行期间屏幕保持常亮。 你能看到模型的哪些信息 - 每一个输入和输出张量：序号、名称、形状、数据类型（uInt8、int32、float16、float32 等） - 模型文件大小与所属框架 - App 实时内存占用，对照 App 可用内存，运行过程中持续刷新 - 「设备」标签页：设备型号标识、系统版本、磁盘空间，以及这个版本实际链接的 TensorFlow Lite 运行时版本 App 内置一个 MobileNet 模型并在启动时加载，所以还没导入自己的模型，你就已经看到一次真实测量了。 适合这些情况 - 手上有一台真机，想知道模型在它上面到底多快，而不是看模拟器或者云端的数字 - 想弄清同一个模型在神经网络引擎、GPU 和 CPU 上差多少 - 换了设备、换了量化方案或者换了模型版本，想快速复测一遍 - 不想为了跑一次基准测试而配 Bazel、装 Xcode、插数据线 支持 iOS 16.0 及以上，iPhone 和 iPad 通用。 相信这些数字之前，请先读这段 推理跑在全零的哑输入上。App 会把每个输入张量填满 0 再调用模型，所以你测到的是这张计算图在你所选加速器上的计算开销——延迟和吞吐，仅此而已。这不是精度测试。它不会告诉你模型答得对不对，也不会显示输出张量的数值。请问它「多快」，别问它「多准」。 不做什么，也直接讲清楚：不能在一次运行里并排对比多个加速器，没有逐层、逐算子的 profiling，不能导出结果，不支持图片或真实数据作为输入。只打开 .tflite 文件。 隐私 你的模型不会离开设备。加载、查看、推理、计时全部在你的 iPhone 或 iPad 本地完成。无账号，无需登录——你的模型和你的测量结果不会被上传。 TensorFlow Lite 现已更名为 LiteRT；格式和 .tflite 扩展名都没有变。 TensorFlow、TensorFlow 徽标及相关标识均为 Google Inc. 的商标。 本 App 与 Google 无关联，也未获得 Google 的认可。

现已支持德语、日语、韩语和简体中文界面。 LiteRT v2 加入，成为 TensorFlow Lite 之外的第二个推理运行时。在“模型说明”标签页的“运行时”中选择引擎，同一个 .tflite 文件即可分别在两个引擎上进行基准测试，方便横向对比。LiteRT 目前支持 CPU 和 GPU，选中后“加速器”中仅列出这两项；神经网络引擎路径暂时仍只有 TFLite 提供。 三个标签页均已重新设计：延迟与吞吐量数据现处于最醒目的位置，张量详情的排版更易阅读，内存与储存空间占用以实时条形图呈现。 你的模型和测试结果依然不会离开本机。

Informationen

Anbieter

Anh Nguyen

Kategorie

Developer Tools

Version

2.0

Erfordert

iOS 16.0+

Größe

26.8 MB

Altersfreigabe

4+