TFLite LiteRT TensorFlow 벤치마크

Description

이 iPhone에서 내 .tflite 모델은 실제로 얼마나 빠를까요? CPU, GPU, 뉴럴 엔진 중에서 고르고 실제 지연시간과 QPS를 확인하세요. Mac도, Xcode 프로젝트도, Bazel 빌드도, 클라우드도, 계정도 필요 없습니다. 파일 앱에서 .tflite 파일을 열고, 가속기를 고르고, 실행하면 끝입니다. 신경 쓰고 있는 바로 그 기기에서의 실제 측정값을 1분 남짓이면 얻습니다. Bazel 워크스페이스도, 소스에서 직접 빌드한 벤치마크 도구도 필요하지 않습니다. 가속기 선택 - 뉴럴 엔진 - Core ML 델리게이트를 붙여, 지원되는 연산자를 Apple 뉴럴 엔진에서 실행합니다 - GPU - Metal 기반 GPU 델리게이트를 붙입니다 - CPU - 델리게이트 없는 인터프리터. 스레드 수를 1, 2, 4, 6, 8 중에서 직접 정합니다 한 번의 실행에 하나의 구성입니다. 실행한 뒤 델리게이트나 스레드 수를 바꿔 다시 불러오고, 숫자는 직접 비교하세요. 측정 결과 - 지연시간: 평균, 최소, 최대 (밀리초) - 초당 쿼리 수 (QPS) - 완료된 총 쿼리 수와 전체 실행 시간 - 실행마다 직접 정하는 쿼리 수: 50회에서 5,000회까지 평균, 최소, 최대는 모델 추론 호출만 잽니다. 전처리도 후처리도 포함하지 않습니다. 전체 실행 시간은 루프 전체를 포함합니다. 실행 중에는 화면이 꺼지지 않습니다. 모델에 대해 보이는 것 - 모든 입력, 출력 텐서: 인덱스, 이름, 형태(shape), 데이터 타입 (uInt8, int32, float16, float32 등) - 모델 파일 크기와 프레임워크 - 앱에 허용된 메모리 대비 현재 사용량. 모델이 도는 동안에도 갱신됩니다 - 기기 탭: 모델 식별자, 시스템 버전, 저장 공간, 그리고 이 빌드가 링크한 TensorFlow Lite 런타임 버전 MobileNet 모델이 앱에 함께 들어 있어 실행하면 바로 불러옵니다. 내 모델을 가져오기 전에 실제 측정값을 먼저 볼 수 있습니다. 숫자를 믿기 전에 읽어주세요 추론은 0으로 채운 더미 입력으로 실행됩니다. 앱은 모든 입력 텐서를 0으로 채운 뒤 모델을 호출합니다. 따라서 여기서 측정되는 것은 선택한 가속기에서 그래프가 치르는 연산 비용, 즉 지연시간과 처리량뿐입니다. 정확도 테스트가 아닙니다. 모델이 올바른 답을 내는지는 알려주지 않으며, 출력 텐서 값도 보여주지 않습니다. "얼마나 빠른가"를 묻는 도구이지 "얼마나 정확한가"를 묻는 도구가 아닙니다. 하지 않는 일도 미리 밝힙니다. 한 번의 실행에서 여러 가속기를 나란히 비교하지 않고, 레이어나 연산자 단위 프로파일링도, 결과 내보내기도, 이미지나 실제 데이터 입력도 없습니다. .tflite 파일만 엽니다. 개인정보 모델은 기기를 벗어나지 않습니다. 불러오기, 검사, 추론, 시간 측정 모두 iPhone 또는 iPad에서 로컬로 처리됩니다. 계정도 로그인도 없으며, 사용자의 모델과 측정 결과는 업로드되지 않습니다. TensorFlow Lite는 이제 LiteRT라고 불립니다. 포맷과 .tflite 확장자는 그대로입니다. TensorFlow, TensorFlow 로고 및 관련 표장은 Google Inc.의 상표입니다. Google과 제휴하거나 Google의 보증을 받지 않았습니다.

독일어, 일본어, 한국어, 중국어(간체)를 새로 지원합니다. LiteRT v2가 TensorFlow Lite에 이은 두 번째 추론 런타임으로 추가되었습니다. '모델 설명' 탭의 '런타임' 항목에서 엔진을 선택해, 같은 .tflite 파일을 두 런타임에서 각각 벤치마크할 수 있습니다. LiteRT는 CPU와 GPU에서 실행되며, Neural Engine 경로는 현재 TFLite에서만 지원됩니다. '모델 설명', '성능 테스트', '기기 정보' 세 개 탭의 화면을 모두 새로 구성했습니다. 지연 시간과 처리량 수치를 가장 먼저 보여주고, 텐서 정보는 더 읽기 쉽게 정리했으며, 메모리와 저장 공간은 실시간 막대로 표시합니다. 모델과 측정 결과는 여전히 기기 밖으로 전송되지 않습니다.

Information

Seller

Anh Nguyen

Category

Developer Tools

Version

2.0

Requires

iOS 16.0+

Size

26.8 MB

Age Rating

4+