我们见证了算力从云端向边缘侧的不断迁移。对于开发者而言，Neng够在移动设备上直接运行大语言模型，无疑是一件令人兴奋的事情。这不仅意味着geng低的延迟，geng代表着隐私保护Neng力的质的飞跃。然而理想hen丰满，现实却往往有些骨感。将一个动辄数GB参数的庞然大物塞进手机的内存里并让它流畅地“思考”，绝非易事。

在上一篇内容里我们费了九牛二虎之力终于把llama.cpp在Android环境下的编译搞定，同时也把那些至关重要的.so库文件给加载进去了。但这仅仅是万里长征走完了第一步，今天这篇，咱们就要geng进一步，在Yi有的地基上，把那个沉甸甸的大模型真正跑起来。我们的目标hen明确：在Android手机上加载量化后的模型，并实现基本的对话功Neng。

说实话，开发这东西，Zui怕的就是版本迭代。原本以为照着网上的教程抄一抄就Neng完事，结果现实狠狠地给了我一巴掌。我下载的是今年3月份的llama.cpp，版本号是b8648，算是比较新的了。刚开始，我试图让AI直接生成相关的测试代码，结果呢？崩溃，崩溃，还是崩溃！

那种感觉真的挺挫败的，AI来回折腾了半天生成的代码跑起来总是各种Segmentation Fault。后来我琢磨明白了AI训练的数据大多是旧版本的API，面对新版本的改动，它也是“两眼一抹黑”。没办法，我只Neng祭出大杀器——把PC端llama-cli.exe的源码直接丢给AI，然后明确要求它：“参考官方cli.cpp，给我移植一个完整的JNI版本。”这一招果然奏效，基于Zui新源码生成的代码，终于稳住了。

这里还有一个细节需要注意，我使用的是之前文章里转换出来的gemma-2-9b-it-q4_K_M.gguf模型文件。因为我的测试机是个人用的，没有Root权限，所以在处理模型文件加载路径时遇到了不少权限上的麻烦。Zui后灵机一动，采用了通过系统文件选择器让用户手动授权的方式，才绕过了这个坑。下图就是我在手机断网环境下成功跑通后的截图，那一刻的成就感，简直了！

在正式写逻辑之前，我们得先把“地基”打好。Android项目通过CMake来管理C++的原生代码，而Gradle则负责整体的构建流程。我们需要确保预编译好的libllama.so和libggml.soNeng被正确识别和链接。

kankanbuild.gradle.kts。这里的关键点在于externalNativeBuild的配置，它指定了CMakeLists.txt的路径，同时我们通过ndk { abiFilters.add }强制只打包64位架构的库，毕竟现在大多数手机dou是64位的，没必要为了兼容旧机型增加包体积。

plugins {
    alias
    alias
}
android {
    namespace = "com.example.llamatest"
    compileSdk {
        version = 35
    }
    defaultConfig {
        applicationId = "com.example.llamatest"
        minSdk = 24
        targetSdk = 35
        versionCode = 1
        versionName = "1.0"
        testInstrumentationRunner = "androidx.test.runner.AndroidJUnitRunner"
        // ========== 新增：CMake 配置 ==========
        externalNativeBuild {
            cmake {
                cppFlags += "-std=c++17"
            }
        }
        // ========== 新增：只打包 arm64-v8a ==========
        ndk {
            abiFilters.add
        }
    }
    buildTypes {
        release {
            isMinifyEnabled = false
            proguardFiles(
                getDefaultProguardFile,
                "proguard-rules.pro"
            )
        }
    }
    // ========== 新增：指定 CMakeLists.txt 路径 ==========
    externalNativeBuild {
        cmake {
            path = file
            version = "3.22.1"
        }
    }
    compileOptions {
        sourceCompatibility = JavaVersion.VERSION_11
        targetCompatibility = JavaVersion.VERSION_11
    }
    buildFeatures {
        compose = true
    }
}
dependencies {
    implementation
    implementation
    implementation
    implementation
    implementation
    implementation
    implementation)
    implementation
    implementation
    implementation
    implementation
    testImplementation
    androidTestImplementation
    androidTestImplementation
    androidTestImplementation)
    androidTestImplementation
    debugImplementation
    debugImplementation
}

接下来是重头戏CMakeLists.txt。这里我们需要引入预编译的so库，并定义我们的JNI包装库llama_jni。注意kan代码中的注释，IMPORTED_LOCATION必须指向正确的so文件路径，而且头文件的引用路径target_include_directories也要配置对，否则编译器会找不到llama.h。

cmake_minimum_required
project
# 导入预编译的 libllama.so & libggml.so
add_library
set_target_properties(llama PROPERTIES
        IMPORTED_LOCATION ${CMAKE_SOURCE_DIR}/../jniLibs/${ANDROID_ABI}/libllama.so)
add_library
set_target_properties(ggml PROPERTIES
        IMPORTED_LOCATION ${CMAKE_SOURCE_DIR}/../jniLibs/${ANDROID_ABI}/libggml.so)
# 头文件路径
target_include_directories
target_include_directories
# 🔥 🔥 🔥 这里必须用 llama_wrapper.cpp
add_library(llama_jni SHARED
        llama_wrapper.cpp)
# 头文件
target_include_directories(llama_jni PRIVATE
        ${CMAKE_SOURCE_DIR}/llama)
# 链接库
target_link_libraries(llama_jni
        llama
        ggml
        android
        log)

界面嘛，咱们就不搞那些花里胡哨的了实用为主。我们需要一个文本框来显示AI的回复，一个输入框来敲我们的指令，再加上两个按钮：一个用来选模型文件，一个用来发送消息。这里有个小细节，为了代码风格统一，我把控件的IDdou改成了下划线风格，比如tv_result和et_input。

布局文件activity_main.xml非常直观，采用垂直布局，确保在不同屏幕尺寸下douNeng正常显示。

有了界面接下来就是MainActivity.kt的编写了。这里有几个关键点需要大家注意。我们在init块中加载了llama_jni库，这是连接Java/Kotlin世界和C++世界的桥梁。

为了防止用户在模型还没加载完就点击发送，导致程序崩溃，我加了一个isModelLoaded标志位。只有当模型真正加载成功后发送按钮才会生效。这种防御性编程在端侧开发中非常重要，毕竟手机环境千差万别。

文件选择的逻辑稍微有点绕。因为Android的文件访问机制限制，我们不Neng直接拿到文件路径，需要通过contentResolver打开输入流，然后把它复制到App的私有目录下Zui后把私有目录的绝对路径传给JNI层去加载。虽然多了一步复制操作，但胜在稳定，不会出现权限被拒的问题。

package com.example.llamatest
import android.app.Activity
import android.content.Intent
import android.net.Uri
import android.os.Bundle
import android.os.Handler
import android.os.Looper
import android.util.Log
import android.widget.EditText
import android.widget.TextView
import java.io.File
import java.io.FileOutputStream
class MainActivity : Activity {
    private lateinit var tvResult: TextView
    private lateinit var etInput: EditText
    private lateinit var btnSelectModel: android.widget.Button
    private lateinit var btnSend: android.widget.Button
    private val REQUEST_FILE = 1001
    private val uiHandler = Handler)
    // 🔴 新增：模型加载状态标志
    private var isModelLoaded = false
    external fun loadModel: Boolean
    external fun generate: String
    external fun releaseModel
    companion object {
        private const val TAG = "LLAMA_DEBUG_FINAL"
        init {
            try {
                Log.d
                System.loadLibrary
                Log.d
            } catch  {
                Log.e
            }
        }
    }
    override fun onCreate {
        super.onCreate
        setContentView
        Log.d
        tvResult = findViewById
        etInput = findViewById
        btnSelectModel = findViewById
        btnSend = findViewById
        updateUIText
        Log.d
        btnSelectModel.setOnClickListener {
            Log.d
            updateUIText
            val intent = Intent.apply {
                addCategory
                type = "*/*"
            }
            startActivityForResult
        }
        btnSend.setOnClickListener {
            // 🔴 核心修复：先校验模型状态，再执行生成
            if  {
                updateUIText
                return@setOnClickListener
            }
            val prompt = etInput.text.toString.trim
            if ) {
                updateUIText
                return@setOnClickListener
            }
            Log.d
            updateUIText
            Thread {
                try {
                    Log.d")
                    val reply = generate
                    Log.d
                    uiHandler.post {
                        updateUIText
                        etInput.setText
                    }
                } catch  {
                    Log.e
                    uiHandler.post {
                        updateUIText
                    }
                }
            }.start
        }
    }
    override fun onDestroy {
        super.onDestroy
        try {
            Log.d
            releaseModel
            isModelLoaded = false
        } catch  {
            Log.e
        }
    }
    override fun onActivityResult {
        super.onActivityResult
        Log.d
        if  {
            val uri = data?.data ?: return
            Log.d
            uiHandler.post {
                updateUIText
                Log.d
            }
            Thread {
                val file = File
                Log.d
                try {
                    Log.d
                    contentResolver.openInputStream?.use { input ->
                        FileOutputStream.use { output ->
                            input.copyTo
                        }
                    }
                    Log.d
                    uiHandler.post {
                        updateUIText
                        Log.d
                    }
                    Thread.sleep
                    Log.d")
                    val success = loadModel
                    Log.d
                    uiHandler.post {
                        if  {
                            isModelLoaded = true
                            updateUIText
                            Log.d
                        } else {
                            isModelLoaded = false
                            updateUIText
                            Log.d
                        }
                    }
                } catch  {
                    Log.e
                    uiHandler.post {
                        updateUIText
                    }
                }
            }.start
        }
    }
    private fun updateUIText {
        runOnUiThread {
            tvResult.text = s
            tvResult.postInvalidate
            Log.d
        }
    }
}

Zui后我们来到了Zui核心的部分——llama_wrapper.cpp。这部分代码是端侧部署的灵魂所在。虽然基本的编程代码输出Ke以让AI处理，但核心流程还是需要自己阅读代码深入了解，否则出了问题根本无从下手。

这里我们主要实现了三个JNI接口：loadModelgenerate和releaseModel。在loadModel中，我们使用了llama_model_load_from_file来加载GGUF模型，并初始化了上下文llama_init_from_model。这里有个坑，就是n_gpu_layers的设置，目前我设为0，表示全靠CPU跑，因为手机GPU的兼容性调起来太麻烦了。

在generate函数中，我们模拟了Gemma模型的Prompt格式。推理循环中，我们手动进行Token采样，这里为了简单，直接取了LogitZui大的那个Token，虽然效果可Neng不如Top-P或Top-K采样那么丰富，但胜在代码简单直接。特别要注意的是llama_batch的使用，在新版API中，llama_batch_get_one帮我们省去了hen多手动管理Batch的麻烦，而且切记不要手动free batch，否则会Crash。

#include 
#include 
#include 
#include 
#ifdef __cplusplus
extern "C" {
#endif
#include "llama.h"
#ifdef __cplusplus
}
#endif
#define LOGD __android_log_print
// 全局变量
static llama_model*  g_model = nullptr;
static llama_context* g_ctx  = nullptr;
static const llama_vocab* g_vocab = nullptr;
//=============================================
// 加载模型
//=============================================
extern "C" JNIEXPORT jboolean JNICALL
Java_com_example_llamatest_MainActivity_loadModel(
        JNIEnv* env, jobject /* thiz */, jstring modelPath) {
    if   { llama_free; g_ctx = nullptr; }
    if  { llama_model_free; g_model = nullptr; }
    g_vocab = nullptr;
    const char* path = env->GetStringUTFChars;
    llama_model_params mparams = llama_model_default_params;
    mparams.n_gpu_layers = 0; // 0表示使用CPU，若需GPU加速需配置
    g_model = llama_model_load_from_file;
    env->ReleaseStringUTFChars;
    if  return JNI_FALSE;
    g_vocab = llama_model_get_vocab;
    llama_context_params cparams = llama_context_default_params;
    cparams.n_ctx     = 512; // 上下文窗口大小
    cparams.n_threads = 4;   // 线程数
    g_ctx = llama_init_from_model;
    return g_ctx ? JNI_TRUE : JNI_FALSE;
}
//=============================================
// 采样 token
//=============================================
static llama_token sample_token {
    float* logits = llama_get_logits_ith;
    int n_vocab = llama_vocab_n_tokens;
    int best = 0;
    float max_logit = -1e9;
    for  {
        if  {
            max_logit = logits;
            best = i;
        }
    }
    return best;
}
//=============================================
// 生成：绝对不 free batch！
//=============================================
extern "C" JNIEXPORT jstring JNICALL
Java_com_example_llamatest_MainActivity_generate(
        JNIEnv* env, jobject thiz, jstring prompt) {
    if  {
        return env->NewStringUTF;
    }
    const char* prompt_c = env->GetStringUTFChars;
    std::string input = "user
";
    input += prompt_c;
    input += "
model
";
    env->ReleaseStringUTFChars;
    std::vector tokens;
    int n_tokens = llama_tokenize(
            g_vocab, input.c_str, input.size,
            tokens.data, 4096, true, false
    );
    if  {
        return env->NewStringUTF;
    }
    // 推理提示词：不调用 llama_batch_free
    llama_batch batch = llama_batch_get_one, n_tokens);
    llama_decode;
    std::string result;
    const int MAX_GEN = 256;
    const llama_token eos = llama_vocab_eos;
    for  {
        llama_token token = sample_token;
        if  break;
        char buf = {0};
        llama_token_to_piece-1, 0, false);
        result += buf;
        // 推理下一个词：不调用 llama_batch_free
        llama_batch b = llama_batch_get_one;
        llama_decode;
    }
    return env->NewStringUTF);
}
//=============================================
// 释放模型
//=============================================
extern "C" JNIEXPORT void JNICALL
Java_com_example_llamatest_MainActivity_releaseModel(
        JNIEnv* env, jobject /* thiz */) {
    if   { llama_free; g_ctx = nullptr; }
    if  { llama_model_free; g_model = nullptr; }
    g_vocab = nullptr;
}

虽然模型跑起来了但说实话，体验还有待提升。目前的文本生成速度比较慢，生成一段简短的回复往往需要10秒以上，这在实时性要求高的场景下是无法接受的。而且，关于实时性的问题，目前单纯靠端侧推理hen难完美解决，RAG在手机端的实现也面临着内存和算力的双重挤压。

端侧AI对模型提出了geng高的要求，比如对模型生命周期的管理、发布、回滚、灰度、版本管理等，如何方便模型的升级geng新需要建立一套完善通用的机制和平台。就像京东云与AI视觉研发部早前规划的mVCG-Air平台一样，端侧部署不仅仅是把模型放进去，geng需要软硬一体化的深度优化。

未来的优化方向hen明确：一是针对不同端侧设备的性Neng优化，包括模型压缩、量化、剪枝蒸馏等；二是通过数据回流实现闭环优化；三是SDK层面的深度打磨。虽然现在我们只是移植了LLM文本生成，多模态的支持还需要进一步探索，但至少，我们Yi经迈出了Zui关键的一步。

把大模型装进手机，不仅是技术的挑战，geng是通往未来智Neng生活的必经之路。希望这篇实战记录Neng帮到那些正在摸索中的开发者们，少走弯路，多出成果。