Commit 8ca5a8008 for llama.cpp
commit 8ca5a8008b57aa39f2601546c0d07912045080a5
Author: Georgi Gerganov <ggerganov@gmail.com>
Date: Thu Nov 12 20:59:09 2026 +0200
llama : prune (#30565)
* llama : remove deprecated `llama_set_warmup`
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
* llama : remove remaining deprecated API
Drop the APIs marked DEPRECATED in llama.h, the deprecated
llama_context_params::defrag_thold field and the --defrag-thold option.
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
* fit-params : remove stale `llama-ext.h` include
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
* llama : document `llama_model_dflash_selector_top_k`
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
* llama : promote the NextN / speculative API from `llama-ext.h`
Move the NextN, layer input, embd row and state row APIs to `llama.h`
and rename `llama_set_embd_state_src` to `llama_set_ctx_state_src`, with
the internal `llama_context::set_state_src` following the same name.
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
* llama : polish the NextN API promotion
Move the NextN draft model queries next to the Adapters section, rename
the `src` parameters of `llama_set_ctx_state_src` and
`llama_context::set_ctx_state_src` to `ctx_src`, and drop the now-redundant
`llama-ext.h` includes from `common/speculative.cpp` and `tools/imatrix`.
Assisted-by: dsh:llama.cpp/ggml-org/DeepSeek-V4.1-Flash-1017-GGUF (Mac Studio, M5 Ultra, 256GB)
diff --git a/common/arg.cpp b/common/arg.cpp
index 2b968c735..6bf9355fb 100644
--- a/common/arg.cpp
+++ b/common/arg.cpp
@@ -2501,15 +2501,6 @@ common_params_context common_params_parser_init(common_params & params, llama_ex
params.ppl_output_type = value;
}
).set_examples({LLAMA_EXAMPLE_PERPLEXITY}));
- add_opt(common_arg(
- {"-dt", "--defrag-thold"}, "N",
- string_format("KV cache defragmentation threshold (DEPRECATED)"),
- [](common_params & params, const std::string & value) {
- GGML_UNUSED(params);
- GGML_UNUSED(value);
- LOG_WRN("DEPRECATED: --defrag-thold is deprecated and no longer necessary to specify\n");
- }
- ).set_env("LLAMA_ARG_DEFRAG_THOLD"));
if (ex == LLAMA_EXAMPLE_SERVER) {
// this is to make sure this option appears in the server-specific section of the help message
add_opt(common_arg(
diff --git a/common/common.h b/common/common.h
index dc34d31cc..6043ab342 100644
--- a/common/common.h
+++ b/common/common.h
@@ -1149,7 +1149,7 @@ struct common_batch {
// attach a state embedding (e.g. the target hidden state for MTP) to the entry at idx, can only be set once per entry
bool set_embd_state(int32_t idx, llama_embd state);
- // the state of entry idx is row `row` of the h_nextn device buffer of the state source context, see llama_set_embd_state_src()
+ // the state of entry idx is row `row` of the h_nextn device buffer of the state source context, see llama_set_ctx_state_src()
bool set_embd_state_row(int32_t idx, int32_t row);
// add an embedding-only entry (no token id)
diff --git a/common/speculative.cpp b/common/speculative.cpp
index 4006363dc..a7bd22112 100644
--- a/common/speculative.cpp
+++ b/common/speculative.cpp
@@ -10,8 +10,6 @@
#include "ngram-mod.h"
#include "sampling.h"
-#include "../src/llama-ext.h" // staging API: llama_set_embeddings_nextn / llama_get_embeddings_nextn_ith (used by MTP)
-
#include <algorithm>
#include <cassert>
#include <cmath>
@@ -1650,9 +1648,9 @@ struct common_speculative_impl_draft_mtp : public common_speculative_impl {
// shared memory and chained heads keep the host rows
if (!is_mem_shared && !chain_heads) {
- dev_rows = llama_set_embeddings_nextn_dev(ctx_tgt, true) && llama_set_embd_state_src(ctx_dft, ctx_tgt);
+ dev_rows = llama_set_embeddings_nextn_dev(ctx_tgt, true) && llama_set_ctx_state_src(ctx_dft, ctx_tgt);
if (!dev_rows) {
- llama_set_embd_state_src(ctx_dft, nullptr);
+ llama_set_ctx_state_src(ctx_dft, nullptr);
llama_set_embeddings_nextn_dev(ctx_tgt, false);
}
}
@@ -1662,7 +1660,7 @@ struct common_speculative_impl_draft_mtp : public common_speculative_impl {
~common_speculative_impl_draft_mtp() override {
auto * ctx_dft = this->params.ctx_dft;
if (dev_rows) {
- llama_set_embd_state_src(ctx_dft, nullptr);
+ llama_set_ctx_state_src(ctx_dft, nullptr);
llama_set_embeddings_nextn_dev(this->params.ctx_tgt, false);
}
for (llama_seq_id seq_id = 0; seq_id < (llama_seq_id) backend_chains.size(); ++seq_id) {
diff --git a/docs/build.md b/docs/build.md
index 4e3bfe651..e369aad01 100644
--- a/docs/build.md
+++ b/docs/build.md
@@ -608,7 +608,7 @@ You can test with:
If the following info is output on screen, you are using `llama.cpp` with the CANN backend:
```bash
llm_load_tensors: CANN model buffer size = 13313.00 MiB
-llama_new_context_with_model: CANN compute buffer size = 1260.81 MiB
+llama_init_from_model: CANN compute buffer size = 1260.81 MiB
```
For detailed info, such as model/device supports, CANN install, please refer to [llama.cpp for CANN](./backend/CANN.md).
diff --git a/examples/eval-callback/README.md b/examples/eval-callback/README.md
index 63a57ad6b..81705d3a2 100644
--- a/examples/eval-callback/README.md
+++ b/examples/eval-callback/README.md
@@ -20,12 +20,12 @@ Will print:
```shell
llm_load_tensors: offloaded 33/33 layers to GPU
...
-llama_new_context_with_model: n_ctx = 512
+llama_init_from_model: n_ctx = 512
...
-llama_new_context_with_model: CUDA0 compute buffer size = 105.00 MiB
-llama_new_context_with_model: CUDA_Host compute buffer size = 6.01 MiB
-llama_new_context_with_model: graph nodes = 1225
-llama_new_context_with_model: graph splits = 2
+llama_init_from_model: CUDA0 compute buffer size = 105.00 MiB
+llama_init_from_model: CUDA_Host compute buffer size = 6.01 MiB
+llama_init_from_model: graph nodes = 1225
+llama_init_from_model: graph splits = 2
ggml_debug: inp_embd = (f32) GET_ROWS(token_embd.weight{2560, 51200, 1, 1}, inp_tokens{1, 1, 1, 1}}) = {2560, 1, 1, 1}
[
[
diff --git a/examples/llama.android/lib/src/main/cpp/ai_chat.cpp b/examples/llama.android/lib/src/main/cpp/ai_chat.cpp
index ca6f7172d..331512035 100644
--- a/examples/llama.android/lib/src/main/cpp/ai_chat.cpp
+++ b/examples/llama.android/lib/src/main/cpp/ai_chat.cpp
@@ -99,7 +99,7 @@ static llama_context *init_context(llama_model *model, const int n_ctx = DEFAULT
ctx_params.n_threads_batch = n_threads;
auto *context = llama_init_from_model(g_model, ctx_params);
if (context == nullptr) {
- LOGe("%s: llama_new_context_with_model() returned null)", __func__);
+ LOGe("%s: llama_init_from_model() returned null)", __func__);
}
return context;
}
diff --git a/include/llama.h b/include/llama.h
index 428f51f8d..181d840a6 100644
--- a/include/llama.h
+++ b/include/llama.h
@@ -270,7 +270,7 @@ extern "C" {
llama_pos * pos;
int32_t * n_seq_id;
llama_seq_id ** seq_id;
- int8_t * logits; // TODO: rename this to "output"
+ int8_t * logits;
} llama_batch;
enum llama_model_kv_override_type {
@@ -389,7 +389,6 @@ extern "C" {
float yarn_beta_fast; // YaRN low correction dim
float yarn_beta_slow; // YaRN high correction dim
uint32_t yarn_orig_ctx; // YaRN original context size
- float defrag_thold; // [DEPRECATED] defragment the KV cache if holes/size > thold, <= 0 disabled (default)
ggml_backend_sched_eval_callback cb_eval;
void * cb_eval_user_data;
@@ -516,11 +515,6 @@ extern "C" {
void * set_tensor_data_ud, // userdata for function
struct llama_model_params params);
- DEPRECATED(LLAMA_API struct llama_model * llama_load_model_from_file(
- const char * path_model,
- struct llama_model_params params),
- "use llama_model_load_from_file instead");
-
// Load a model from a file
// If the file is split into multiple parts, the file name must follow this pattern: <name>-%05d-of-%05d.gguf
// If the split file name does not follow this pattern, use llama_model_load_from_splits
@@ -546,20 +540,12 @@ extern "C" {
const struct llama_model * model,
const char * path_model);
- DEPRECATED(LLAMA_API void llama_free_model(struct llama_model * model),
- "use llama_model_free instead");
-
LLAMA_API void llama_model_free(struct llama_model * model);
LLAMA_API struct llama_context * llama_init_from_model(
struct llama_model * model,
struct llama_context_params params);
- DEPRECATED(LLAMA_API struct llama_context * llama_new_context_with_model(
- struct llama_model * model,
- struct llama_context_params params),
- "use llama_init_from_model instead");
-
// Frees all allocated memory
LLAMA_API void llama_free(struct llama_context * ctx);
@@ -584,13 +570,6 @@ extern "C" {
LLAMA_API uint32_t llama_n_seq_max (const struct llama_context * ctx);
LLAMA_API uint32_t llama_n_rs_seq (const struct llama_context * ctx);
- DEPRECATED(LLAMA_API int32_t llama_n_ctx_train(const struct llama_model * model), "use llama_model_n_ctx_train instead");
- DEPRECATED(LLAMA_API int32_t llama_n_embd (const struct llama_model * model), "use llama_model_n_embd instead");
- DEPRECATED(LLAMA_API int32_t llama_n_layer (const struct llama_model * model), "use llama_model_n_layer instead");
- DEPRECATED(LLAMA_API int32_t llama_n_head (const struct llama_model * model), "use llama_model_n_head instead");
-
- DEPRECATED(LLAMA_API int32_t llama_n_vocab (const struct llama_vocab * vocab), "use llama_vocab_n_tokens instead");
-
LLAMA_API const struct llama_model * llama_get_model (const struct llama_context * ctx);
LLAMA_API llama_memory_t llama_get_memory (const struct llama_context * ctx);
LLAMA_API enum llama_pooling_type llama_pooling_type(const struct llama_context * ctx); // TODO: rename to llama_get_pooling_type
@@ -684,6 +663,19 @@ extern "C" {
const char * fname_out,
const llama_model_quantize_params * params);
+ //
+ // NextN / speculative draft model queries
+ //
+
+ // DFlash2 selector: number of candidate tokens the draft keeps per block position from its logits
+ // (the packed lattice also holds the top_k x top_k pairwise transition scores); 0 if the model has no selector head
+ LLAMA_API int32_t llama_model_dflash_selector_top_k(const struct llama_model * model);
+
+ // returns pointer to the target-model layer indices
+ LLAMA_API const int32_t * llama_model_target_layer_ids (const struct llama_model * model);
+ // returns the number of extracted layers from target model
+ LLAMA_API uint32_t llama_model_target_layer_ids_n(const struct llama_model * model);
+
//
// Adapters
//
@@ -830,8 +822,6 @@ extern "C" {
// (logits, embedding and memory)
// Only use when saving the state, not when restoring it, otherwise the size may be too small.
LLAMA_API size_t llama_state_get_size(struct llama_context * ctx);
- LLAMA_API DEPRECATED(size_t llama_get_state_size(struct llama_context * ctx),
- "use llama_state_get_size instead");
// Copies the state to the specified destination address.
// Destination needs to have allocated enough memory.
@@ -840,10 +830,6 @@ extern "C" {
struct llama_context * ctx,
uint8_t * dst,
size_t size);
- LLAMA_API DEPRECATED(size_t llama_copy_state_data(
- struct llama_context * ctx,
- uint8_t * dst),
- "use llama_state_get_data instead");
// Set the state reading from the specified address
// Returns the number of bytes read
@@ -851,10 +837,6 @@ extern "C" {
struct llama_context * ctx,
const uint8_t * src,
size_t size);
- LLAMA_API DEPRECATED(size_t llama_set_state_data(
- struct llama_context * ctx,
- const uint8_t * src),
- "use llama_state_set_data instead");
// Save/load session file
LLAMA_API bool llama_state_load_file(
@@ -863,25 +845,12 @@ extern "C" {
llama_token * tokens_out,
size_t n_token_capacity,
size_t * n_token_count_out);
- LLAMA_API DEPRECATED(bool llama_load_session_file(
- struct llama_context * ctx,
- const char * path_session,
- llama_token * tokens_out,
- size_t n_token_capacity,
- size_t * n_token_count_out),
- "use llama_state_load_file instead");
LLAMA_API bool llama_state_save_file(
struct llama_context * ctx,
const char * path_session,
const llama_token * tokens,
size_t n_token_count);
- LLAMA_API DEPRECATED(bool llama_save_session_file(
- struct llama_context * ctx,
- const char * path_session,
- const llama_token * tokens,
- size_t n_token_count),
- "use llama_state_save_file instead");
// Get the exact size needed to copy the state of a single sequence
LLAMA_API size_t llama_state_seq_get_size(
@@ -1065,6 +1034,15 @@ extern "C" {
int32_t idx,
struct llama_embd embd);
+ // Add an entry whose embedding is row `row` of the layer input device buffer of ctx_other.
+ // All entries of the batch must be of this kind. Positions are set with llama_batch_ext_set_pos(), n_pos_per_embd of them.
+ // Returns the batch index (>= 0), or the llama_batch_ext_add() error codes.
+ LLAMA_API int32_t llama_batch_ext_add_embd_row(struct llama_batch_ext * batch, llama_seq_id seq_id, int32_t row);
+
+ // The state of entry idx is row `row` of the h_nextn device buffer of the context set with llama_set_ctx_state_src().
+ // All entries of a batch have a state row, or none.
+ LLAMA_API bool llama_batch_ext_set_embd_state_row(struct llama_batch_ext * batch, int32_t idx, int32_t row);
+
// Set if output embeddings should be available for the token at index idx in the batch
// Note: for now, this is equivalent to setting the output logits
LLAMA_API bool llama_batch_ext_set_output_embd(
@@ -1118,14 +1096,6 @@ extern "C" {
// Returns whether the context is currently using causal attention
LLAMA_API bool llama_get_causal_attn(const struct llama_context * ctx);
- // Set whether the model is in warmup mode or not
- // If true, all model tensors are activated during llama_decode() to load and cache their weights.
- //
- // note: using this can cause extra graph reallocations because it changes the graph topology with MoE models,
- // so it is generally not recommended to use in practice. will be removed in the future
- DEPRECATED(LLAMA_API void llama_set_warmup(struct llama_context * ctx, bool warmup),
- "user code should do warmup runs manually [TAG_LLAMA_GRAPH_NO_WARMUP]");
-
// Set abort callback
LLAMA_API void llama_set_abort_callback(struct llama_context * ctx, ggml_abort_callback abort_callback, void * abort_callback_data);
@@ -1170,6 +1140,57 @@ extern "C" {
// otherwise: float[n_embd] (1-dimensional)
LLAMA_API float * llama_get_embeddings_seq(struct llama_context * ctx, llama_seq_id seq_id);
+ //
+ // NextN / speculative decoding API
+ //
+
+ // Set whether the context outputs nextn embeddings or not
+ // If masked == true, output the embeddings only for the tokens with batch.logits != 0
+ // If masked == false, output the embeddings for all tokens in the batch regardless of batch.logits
+ LLAMA_API void llama_set_embeddings_nextn(struct llama_context * ctx, bool value, bool masked);
+
+ // Select which appended NextN block the DECODER_MTP graph runs (offset past
+ // the trunk: il = n_layer() + offset). Used by the speculative NextN driver to
+ // chain multiple trained NextN heads. Default 0 (first head).
+ LLAMA_API void llama_set_nextn_layer_offset(struct llama_context * ctx, int32_t offset);
+
+ // Get all nextn embeddings, mirroring llama_get_embeddings()
+ LLAMA_API float * llama_get_embeddings_nextn(struct llama_context * ctx);
+
+ // Get the nextn embeddings for the ith token, mirroring llama_get_embeddings_ith()
+ LLAMA_API float * llama_get_embeddings_nextn_ith(struct llama_context * ctx, int32_t i);
+
+ // Set whether the context outputs the input embeddings of a specific layer
+ LLAMA_API void llama_set_embeddings_layer_inp(struct llama_context * ctx, uint32_t lid, bool value);
+
+ // Get the input embeddings of a specific layer, mirroring llama_get_embeddings()
+ LLAMA_API float * llama_get_embeddings_layer_inp(struct llama_context * ctx, uint32_t lid);
+
+ // Write the enabled layer inputs to a device buffer [n_layer_inp*n_embd, n_batch] instead of host memory.
+ // Row r holds the token at batch index r, layers in ascending layer id order.
+ LLAMA_API void llama_set_embeddings_layer_inp_dev(struct llama_context * ctx, bool value);
+
+ // Whether decode accepts entries added with llama_batch_ext_add_embd_row()
+ // (needs a DFlash/DSpark decoder context whose ctx_other has a layer input device buffer).
+ LLAMA_API bool llama_supports_embd_row(const struct llama_context * ctx);
+
+ // Write the unmasked h_nextn rows (see llama_set_embeddings_nextn) of each decode to a device buffer
+ // [n_embd_out, n_batch + n_seq_max] instead of host memory: row r < n_batch is the token at batch index r of the last decode,
+ // row n_batch + s is free for the caller, e.g. for seq s (see llama_set_embeddings_nextn_rows()).
+ // Returns false if the buffer cannot be used, the rows are then extracted to host memory.
+ LLAMA_API bool llama_set_embeddings_nextn_dev(struct llama_context * ctx, bool value);
+
+ // Copy rows of the h_nextn device buffer to or from host memory, ordered after the last decode and its readers
+ LLAMA_API bool llama_get_embeddings_nextn_rows(struct llama_context * ctx, int64_t row0, int64_t n_rows, float * out);
+ LLAMA_API bool llama_set_embeddings_nextn_rows(struct llama_context * ctx, int64_t row0, int64_t n_rows, const float * data);
+
+ // Read the state rows of batches (see llama_batch_ext_set_embd_state_row()) from the h_nextn device buffer of ctx_src.
+ // Returns whether decode accepts batches with state rows.
+ LLAMA_API bool llama_set_ctx_state_src(struct llama_context * ctx, struct llama_context * ctx_src);
+
+ // The paired context (llama_context_params::ctx_other), e.g. the target context of a draft context; may be nullptr
+ LLAMA_API struct llama_context * llama_get_ctx_other(struct llama_context * ctx);
+
//
// backend sampling API [EXPERIMENTAL]
// note: use only if the llama_context was created with at least one llama_sampler_seq_config
@@ -1238,31 +1259,6 @@ extern "C" {
LLAMA_API llama_token llama_vocab_fim_rep(const struct llama_vocab * vocab);
LLAMA_API llama_token llama_vocab_fim_sep(const struct llama_vocab * vocab);
- DEPRECATED(LLAMA_API const char * llama_token_get_text(const struct llama_vocab * vocab, llama_token token), "use llama_vocab_get_text instead");
- DEPRECATED(LLAMA_API float llama_token_get_score(const struct llama_vocab * vocab, llama_token token), "use llama_vocab_get_score instead");
- DEPRECATED(LLAMA_API enum llama_token_attr llama_token_get_attr(const struct llama_vocab * vocab, llama_token token), "use llama_vocab_get_attr instead");
- DEPRECATED(LLAMA_API bool llama_token_is_eog(const struct llama_vocab * vocab, llama_token token), "use llama_vocab_is_eog instead");
- DEPRECATED(LLAMA_API bool llama_token_is_control(const struct llama_vocab * vocab, llama_token token), "use llama_vocab_is_control instead");
- DEPRECATED(LLAMA_API llama_token llama_token_bos(const struct llama_vocab * vocab), "use llama_vocab_bos instead");
- DEPRECATED(LLAMA_API llama_token llama_token_eos(const struct llama_vocab * vocab), "use llama_vocab_eos instead");
- DEPRECATED(LLAMA_API llama_token llama_token_eot(const struct llama_vocab * vocab), "use llama_vocab_eot instead");
- DEPRECATED(LLAMA_API llama_token llama_token_cls(const struct llama_vocab * vocab), "use llama_vocab_cls instead");
- DEPRECATED(LLAMA_API llama_token llama_token_sep(const struct llama_vocab * vocab), "use llama_vocab_sep instead");
- DEPRECATED(LLAMA_API llama_token llama_token_nl (const struct llama_vocab * vocab), "use llama_vocab_nl instead");
- DEPRECATED(LLAMA_API llama_token llama_token_pad(const struct llama_vocab * vocab), "use llama_vocab_pad instead");
- DEPRECATED(LLAMA_API bool llama_add_bos_token(const struct llama_vocab * vocab), "use llama_vocab_get_add_bos instead");
- DEPRECATED(LLAMA_API bool llama_add_eos_token(const struct llama_vocab * vocab), "use llama_vocab_get_add_eos instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_pre(const struct llama_vocab * vocab), "use llama_vocab_fim_pre instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_suf(const struct llama_vocab * vocab), "use llama_vocab_fim_suf instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_mid(const struct llama_vocab * vocab), "use llama_vocab_fim_mid instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_pad(const struct llama_vocab * vocab), "use llama_vocab_fim_pad instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_rep(const struct llama_vocab * vocab), "use llama_vocab_fim_rep instead");
- DEPRECATED(LLAMA_API llama_token llama_token_fim_sep(const struct llama_vocab * vocab), "use llama_vocab_fim_sep instead");
-
- // CLS is equivalent to BOS
- DEPRECATED(LLAMA_API llama_token llama_vocab_cls(const struct llama_vocab * vocab), // classification
- "use llama_vocab_bos instead");
-
//
// Tokenization
//
@@ -1534,17 +1530,6 @@ extern "C" {
const char * grammar_str,
const char * grammar_root);
- DEPRECATED(LLAMA_API struct llama_sampler * llama_sampler_init_grammar_lazy(
- const struct llama_vocab * vocab,
- const char * grammar_str,
- const char * grammar_root,
- const char ** trigger_words,
- size_t num_trigger_words,
- const llama_token * trigger_tokens,
- size_t num_trigger_tokens),
- "use llama_sampler_init_grammar_lazy_patterns instead");
-
-
/// @details Lazy grammar sampler, introduced in https://github.com/ggml-org/llama.cpp/pull/9639
/// @param trigger_patterns A list of patterns that will trigger the grammar sampler. Pattern will be matched from the start of the generation output, and grammar sampler will be fed content starting from its first match group.
/// @param trigger_tokens A list of tokens that will trigger the grammar sampler. Grammar sampler will be fed content starting from the trigger token included.
diff --git a/src/llama-context.cpp b/src/llama-context.cpp
index 12db2068e..9066e061e 100644
--- a/src/llama-context.cpp
+++ b/src/llama-context.cpp
@@ -207,7 +207,6 @@ llama_context::llama_context(
cparams.embeddings_nextn_masked = false;
cparams.offload_kqv = params.offload_kqv;
cparams.no_perf = params.no_perf;
- cparams.warmup = false;
// +1: id n_layer() taps the output of the last layer ("input" of the head)
cparams.embeddings_layer_inp.resize(hparams.n_layer() + 1, false);
@@ -1652,11 +1651,11 @@ bool llama_context::set_h_nextn_rows(int64_t row0, int64_t n_rows, const float *
return true;
}
-bool llama_context::set_state_src(llama_context * src) {
- if (cparams.ctx_state_src != src) {
+bool llama_context::set_ctx_state_src(llama_context * ctx_src) {
+ if (cparams.ctx_state_src != ctx_src) {
sched_need_reserve = true;
}
- cparams.ctx_state_src = src;
+ cparams.ctx_state_src = ctx_src;
return supports_state_row();
}
@@ -1699,14 +1698,6 @@ bool llama_context::get_causal_attn() const {
return cparams.causal_attn;
}
-void llama_context::set_warmup(bool value) {
- LLAMA_LOG_DEBUG("%s: value = %d\n", __func__, value);
-
- // no scheduler reserve needed because warmups are usually with small batches
-
- cparams.warmup = value;
-}
-
bool llama_context::set_sampler(llama_seq_id seq_id, llama_sampler * sampler) {
if (!sampler && sampling.samplers.count(seq_id) == 0) {
return true;
@@ -4444,7 +4435,6 @@ llama_context_params llama_context_default_params() {
/*.yarn_beta_fast =*/ -1.0f,
/*.yarn_beta_slow =*/ -1.0f,
/*.yarn_orig_ctx =*/ 0,
- /*.defrag_thold =*/ -1.0f,
/*.cb_eval =*/ nullptr,
/*.cb_eval_user_data =*/ nullptr,
/*.type_k =*/ GGML_TYPE_F16,
@@ -4613,13 +4603,6 @@ llama_context * llama_init_from_model(
return nullptr;
}
-// deprecated
-llama_context * llama_new_context_with_model(
- llama_model * model,
- llama_context_params params) {
- return llama_init_from_model(model, params);
-}
-
void llama_free(llama_context * ctx) {
delete ctx;
}
@@ -4695,10 +4678,6 @@ bool llama_get_causal_attn(const llama_context * ctx) {
return ctx->get_causal_attn();
}
-void llama_set_warmup(llama_context * ctx, bool warmup) {
- ctx->set_warmup(warmup);
-}
-
void llama_synchronize(llama_context * ctx) {
ctx->synchronize();
}
@@ -4757,8 +4736,8 @@ bool llama_set_embeddings_nextn_rows(llama_context * ctx, int64_t row0, int64_t
return ctx->set_h_nextn_rows(row0, n_rows, data);
}
-bool llama_set_embd_state_src(llama_context * ctx, llama_context * src) {
- return ctx->set_state_src(src);
+bool llama_set_ctx_state_src(llama_context * ctx, llama_context * ctx_src) {
+ return ctx->set_ctx_state_src(ctx_src);
}
void llama_set_embeddings_layer_inp_dev(llama_context * ctx, bool value) {
@@ -4993,31 +4972,6 @@ bool llama_memory_can_shift(llama_memory_t mem) {
// llama state API
-// deprecated
-size_t llama_get_state_size(llama_context * ctx) {
- return llama_state_get_size(ctx);
-}
-
-// deprecated
-size_t llama_copy_state_data(llama_context * ctx, uint8_t * dst) {
- return llama_state_get_data(ctx, dst, -1);
-}
-
-// deprecated
-size_t llama_set_state_data(llama_context * ctx, const uint8_t * src) {
- return llama_state_set_data(ctx, src, -1);
-}
-
-// deprecated
-bool llama_load_session_file(llama_context * ctx, const char * path_session, llama_token * tokens_out, size_t n_token_capacity, size_t * n_token_count_out) {
- return llama_state_load_file(ctx, path_session, tokens_out, n_token_capacity, n_token_count_out);
-}
-
-// deprecated
-bool llama_save_session_file(llama_context * ctx, const char * path_session, const llama_token * tokens, size_t n_token_count) {
- return llama_state_save_file(ctx, path_session, tokens, n_token_count);
-}
-
// Returns the *actual* size of the state.
// Intended to be used when saving to state to a buffer.
size_t llama_state_get_size(llama_context * ctx) {
diff --git a/src/llama-context.h b/src/llama-context.h
index d7f1123bb..45eca4566 100644
--- a/src/llama-context.h
+++ b/src/llama-context.h
@@ -133,12 +133,11 @@ struct llama_context {
bool get_h_nextn_rows(int64_t row0, int64_t n_rows, float * out);
bool set_h_nextn_rows(int64_t row0, int64_t n_rows, const float * data);
- // state rows read from the h_nextn device buffer of src, see llama_set_embd_state_src()
- bool set_state_src(llama_context * src);
+ // state rows read from the h_nextn device buffer of ctx_src, see llama_set_ctx_state_src()
+ bool set_ctx_state_src(llama_context * ctx_src);
bool supports_state_row() const;
void set_nextn_layer_offset(int32_t offset);
void set_causal_attn(bool value);
- void set_warmup(bool value);
void set_adapters_lora(llama_adapter_lora ** adapters, size_t n_adapters, float * scales);
diff --git a/src/llama-cparams.h b/src/llama-cparams.h
index 2b38e73d5..52c85bdd2 100644
--- a/src/llama-cparams.h
+++ b/src/llama-cparams.h
@@ -50,7 +50,6 @@ struct llama_cparams {
bool fused_kv_rows; // unified cache: attend to the cells of each sequence only (ggml_flash_attn_ext_rows)
bool auto_fkvr;
bool no_perf;
- bool warmup; // TODO: remove [TAG_LLAMA_GRAPH_NO_WARMUP]
bool op_offload;
bool kv_unified;
bool pipeline_parallel;
@@ -72,6 +71,6 @@ struct llama_cparams {
llama_context * ctx_other;
- // context whose h_nextn device buffer holds the state rows of a batch, see llama_set_embd_state_src()
+ // context whose h_nextn device buffer holds the state rows of a batch, see llama_set_ctx_state_src()
llama_context * ctx_state_src;
};
diff --git a/src/llama-ext.h b/src/llama-ext.h
index a9a08e97e..3ac617b0f 100644
--- a/src/llama-ext.h
+++ b/src/llama-ext.h
@@ -123,16 +123,6 @@ LLAMA_API std::vector<ggml_backend_buffer_t> llama_memory_get_buffers(const llam
// Useful for testing purposes.
LLAMA_API void llama_model_set_attn_rot(struct llama_model * model, bool value);
-// Set whether the context outputs nextn embeddings or not
-// If masked == true, output the embeddings only for the tokens with batch.logits != 0
-// If masked == false, output the embeddings for all tokens in the batch regardless of batch.logits
-LLAMA_API void llama_set_embeddings_nextn(struct llama_context * ctx, bool value, bool masked);
-
-// Select which appended NextN block the DECODER_MTP graph runs (offset past
-// the trunk: il = n_layer() + offset). Used by the speculative NextN driver to
-// chain multiple trained NextN heads. Default 0 (first head).
-LLAMA_API void llama_set_nextn_layer_offset(struct llama_context * ctx, int32_t offset);
-
// Marks the entries that a decision head (clef, vllm-decision2) reads, the default is 0
// See https://github.com/ggml-org/llama.cpp/pull/29831 for details
// A run of entries with the same value is one span, spans must be separated by entries with value 0
@@ -150,64 +140,10 @@ LLAMA_API bool llama_batch_ext_set_decision_order(struct llama_batch_ext * batch
// Label of option i of a decision model ("<arch>.decision.labels"), nullptr past the last one
LLAMA_API const char * llama_model_decision_label(const struct llama_model * model, uint32_t i);
-// mirrors:
-// LLAMA_API float * llama_get_embeddings(struct llama_context * ctx);
-LLAMA_API float * llama_get_embeddings_nextn(struct llama_context * ctx);
-
-// LLAMA_API float * llama_get_embeddings_ith(struct llama_context * ctx, int32_t i);
-LLAMA_API float * llama_get_embeddings_nextn_ith(struct llama_context * ctx, int32_t i);
-
-// Set whether the context outputs the input embeddings of a specific layer
-LLAMA_API void llama_set_embeddings_layer_inp(struct llama_context * ctx, uint32_t lid, bool value);
-
-// mirrors:
-// LLAMA_API float * llama_get_embeddings(struct llama_context * ctx);
-LLAMA_API float * llama_get_embeddings_layer_inp(struct llama_context * ctx, uint32_t lid);
-
-// Write the enabled layer inputs to a device buffer [n_layer_inp*n_embd, n_batch] instead of host memory.
-// Row r holds the token at batch index r, layers in ascending layer id order.
-LLAMA_API void llama_set_embeddings_layer_inp_dev(struct llama_context * ctx, bool value);
-
-// Whether decode accepts entries added with llama_batch_ext_add_embd_row()
-// (needs a DFlash/DSpark decoder context whose ctx_other has a layer input device buffer).
-LLAMA_API bool llama_supports_embd_row(const struct llama_context * ctx);
-
-// Add an entry whose embedding is row `row` of the layer input device buffer of ctx_other.
-// All entries of the batch must be of this kind. Positions are set with llama_batch_ext_set_pos(), n_pos_per_embd of them.
-// Returns the batch index (>= 0), or the llama_batch_ext_add() error codes.
-LLAMA_API int32_t llama_batch_ext_add_embd_row(struct llama_batch_ext * batch, llama_seq_id seq_id, int32_t row);
-
-LLAMA_API llama_context * llama_get_ctx_other(struct llama_context * ctx);
-
-// Write the unmasked h_nextn rows (see llama_set_embeddings_nextn) of each decode to a device buffer
-// [n_embd_out, n_batch + n_seq_max] instead of host memory: row r < n_batch is the token at batch index r of the last decode,
-// row n_batch + s is free for the caller, e.g. for seq s (see llama_set_embeddings_nextn_rows()).
-// Returns false if the buffer cannot be used, the rows are then extracted to host memory.
-LLAMA_API bool llama_set_embeddings_nextn_dev(struct llama_context * ctx, bool value);
-
-// Copy rows of the h_nextn device buffer to or from host memory, ordered after the last decode and its readers
-LLAMA_API bool llama_get_embeddings_nextn_rows(struct llama_context * ctx, int64_t row0, int64_t n_rows, float * out);
-LLAMA_API bool llama_set_embeddings_nextn_rows(struct llama_context * ctx, int64_t row0, int64_t n_rows, const float * data);
-
-// Read the state rows of batches (see llama_batch_ext_set_embd_state_row()) from the h_nextn device buffer of src.
-// Returns whether decode accepts batches with state rows.
-LLAMA_API bool llama_set_embd_state_src(struct llama_context * ctx, struct llama_context * src);
-
-// The state of entry idx is row `row` of the h_nextn device buffer of the context set with llama_set_embd_state_src().
-// All entries of a batch have a state row, or none.
-LLAMA_API bool llama_batch_ext_set_embd_state_row(struct llama_batch_ext * batch, int32_t idx, int32_t row);
-
//
// model/context data extraction
//
-LLAMA_API int32_t llama_model_dflash_selector_top_k(const struct llama_model * model);
-
-// returns pointer to the target-model layer indices
-LLAMA_API const int32_t * llama_model_target_layer_ids (const struct llama_model * model);
-// returns the number of extracted layers from target model
-LLAMA_API uint32_t llama_model_target_layer_ids_n(const struct llama_model * model);
-
// retrieves the whole token embedding matrix in F32 format (n_embd * n_vocab)
// returns total number of elements or 0 on error
// if out is nullptr, returns the number of tokens without writing to out
diff --git a/src/llama-graph.cpp b/src/llama-graph.cpp
index 50a76f691..3cee72df0 100644
--- a/src/llama-graph.cpp
+++ b/src/llama-graph.cpp
@@ -1569,7 +1569,7 @@ llm_graph_context::llm_graph_context(const llm_graph_params & params) :
n_embd_head_v (hparams.n_embd_head_v()),
n_embd_v_gqa (hparams.n_embd_v_gqa()),
n_expert (hparams.n_expert),
- n_expert_used (cparams.warmup ? hparams.n_expert : hparams.n_expert_used()),
+ n_expert_used (hparams.n_expert_used()),
freq_base (cparams.rope_freq_base),
freq_scale (cparams.rope_freq_scale),
ext_factor (cparams.yarn_ext_factor),
diff --git a/src/llama-graph.h b/src/llama-graph.h
index 7eb6bf3d2..d3b527dce 100644
--- a/src/llama-graph.h
+++ b/src/llama-graph.h
@@ -1267,7 +1267,7 @@ struct llm_graph_context {
// tok_scale: applied to token rows only
ggml_tensor * build_inp_embd(ggml_tensor * tok_embd, float tok_scale = 1.0f) const;
- // the state input of an MTP graph: rows of the h_nextn device buffer of ctx_state_src (see llama_set_embd_state_src()),
+ // the state input of an MTP graph: rows of the h_nextn device buffer of ctx_state_src (see llama_set_ctx_state_src()),
// or uploaded from ubatch.embd_state
ggml_tensor * build_inp_embd_state(llm_graph_input_embd_h * inp, int64_t n_embd_state) const;
diff --git a/src/llama-model.cpp b/src/llama-model.cpp
index edcf69124..7c75ab55e 100644
--- a/src/llama-model.cpp
+++ b/src/llama-model.cpp
@@ -3578,10 +3578,6 @@ const llama_vocab * llama_model_get_vocab(const llama_model * model) {
return &model->vocab;
}
-void llama_free_model(llama_model * model) {
- llama_model_free(model);
-}
-
void llama_model_free(llama_model * model) {
delete model;
}
@@ -3652,26 +3648,6 @@ const char * llama_model_decision_label(const struct llama_model * model, uint32
return nullptr;
}
-// deprecated
-int32_t llama_n_ctx_train(const llama_model * model) {
- return llama_model_n_ctx_train(model);
-}
-
-// deprecated
-int32_t llama_n_embd(const llama_model * model) {
- return llama_model_n_embd(model);
-}
-
-// deprecated
-int32_t llama_n_layer(const llama_model * model) {
- return llama_model_n_layer(model);
-}
-
-// deprecated
-int32_t llama_n_head(const llama_model * model) {
- return llama_model_n_head(model);
-}
-
llama_rope_type llama_model_rope_type(const llama_model * model) {
switch (model->arch) {
// these models do not use RoPE
diff --git a/src/llama-sampler.cpp b/src/llama-sampler.cpp
index 9004efa20..d8cd441a5 100644
--- a/src/llama-sampler.cpp
+++ b/src/llama-sampler.cpp
@@ -2697,8 +2697,6 @@ static struct llama_sampler * llama_sampler_init_grammar_impl(
const char * grammar_str,
const char * grammar_root,
bool lazy,
- const char ** trigger_words,
- size_t num_trigger_words,
const llama_token * trigger_tokens,
size_t num_trigger_tokens,
const char ** trigger_patterns,
@@ -2727,7 +2725,7 @@ static void llama_sampler_grammar_reset(struct llama_sampler * smpl) {
static struct llama_sampler * llama_sampler_grammar_clone(const struct llama_sampler * smpl) {
const auto * ctx = (const llama_sampler_grammar *) smpl->ctx;
- auto * result = llama_sampler_init_grammar_impl(ctx->vocab, nullptr, nullptr, false, nullptr, 0, nullptr, 0, nullptr, 0);
+ auto * result = llama_sampler_init_grammar_impl(ctx->vocab, nullptr, nullptr, false, nullptr, 0, nullptr, 0);
GGML_ASSERT(result);
// copy the state
@@ -2775,8 +2773,6 @@ static struct llama_sampler * llama_sampler_init_grammar_impl(
const char * grammar_str,
const char * grammar_root,
bool lazy,
- const char ** trigger_words,
- size_t num_trigger_words,
const llama_token * trigger_tokens,
size_t num_trigger_tokens,
const char ** trigger_patterns,
@@ -2784,26 +2780,7 @@ static struct llama_sampler * llama_sampler_init_grammar_impl(
auto * ctx = new llama_sampler_grammar;
if (grammar_str != nullptr && grammar_str[0] != '\0') {
- std::string trigger_pattern;
- llama_grammar * grammar = nullptr;
- // TODO: remove trigger_words support.
- if (trigger_words != nullptr && num_trigger_words > 0) {
- GGML_ASSERT(trigger_patterns == nullptr && num_trigger_patterns == 0);
- trigger_pattern = "[\\s\\S]*?(";
- for (size_t i = 0; i < num_trigger_words; ++i) {
- static const std::regex special_chars("[.^$|()*+?\\[\\]{}\\\\]");
- if (i > 0) {
- trigger_pattern += "|";
- }
- trigger_pattern += std::regex_replace(trigger_words[i], special_chars, "\\$0");
- }
- trigger_pattern += ")[\\s\\S]*";
-
- std::array<const char *, 1> tmp_trigger_patterns = { trigger_pattern.c_str() };
- grammar = llama_grammar_init_impl(vocab, grammar_str, grammar_root, lazy, tmp_trigger_patterns.data(), tmp_trigger_patterns.size(), trigger_tokens, num_trigger_tokens);
- } else {
- grammar = llama_grammar_init_impl(vocab, grammar_str, grammar_root, lazy, trigger_patterns, num_trigger_patterns, trigger_tokens, num_trigger_tokens);
- }
+ llama_grammar * grammar = llama_grammar_init_impl(vocab, grammar_str, grammar_root, lazy, trigger_patterns, num_trigger_patterns, trigger_tokens, num_trigger_tokens);
*ctx = {
/* .vocab = */ vocab,
/* .grammar_str = */ grammar_str,
@@ -2833,18 +2810,7 @@ struct llama_sampler * llama_sampler_init_grammar(
const struct llama_vocab * vocab,
const char * grammar_str,
const char * grammar_root) {
- return llama_sampler_init_grammar_impl(vocab, grammar_str, grammar_root, /* lazy= */ false, nullptr, 0, nullptr, 0, nullptr, 0);
-}
-
-struct llama_sampler * llama_sampler_init_grammar_lazy(
- const struct llama_vocab * vocab,
- const char * grammar_str,
- const char * grammar_root,
- const char ** trigger_words,
- size_t num_trigger_words,
- const llama_token * trigger_tokens,
- size_t num_trigger_tokens) {
- return llama_sampler_init_grammar_impl(vocab, grammar_str, grammar_root, /* lazy= */ true, trigger_words, num_trigger_words, trigger_tokens, num_trigger_tokens, nullptr, 0);
+ return llama_sampler_init_grammar_impl(vocab, grammar_str, grammar_root, /* lazy= */ false, nullptr, 0, nullptr, 0);
}
struct llama_sampler * llama_sampler_init_grammar_lazy_patterns(
@@ -2855,7 +2821,7 @@ struct llama_sampler * llama_sampler_init_grammar_lazy_patterns(
size_t num_trigger_patterns,
const llama_token * trigger_tokens,
size_t num_trigger_tokens) {
- return llama_sampler_init_grammar_impl(vocab, grammar_str, grammar_root, /* lazy= */ true, nullptr, 0, trigger_tokens, num_trigger_tokens, trigger_patterns, num_trigger_patterns);
+ return llama_sampler_init_grammar_impl(vocab, grammar_str, grammar_root, /* lazy= */ true, trigger_tokens, num_trigger_tokens, trigger_patterns, num_trigger_patterns);
}
// penalties
diff --git a/src/llama-vocab.cpp b/src/llama-vocab.cpp
index 229a051e0..e90f1bd11 100644
--- a/src/llama-vocab.cpp
+++ b/src/llama-vocab.cpp
@@ -4720,11 +4720,6 @@ int32_t llama_vocab_n_tokens(const struct llama_vocab * vocab) {
return vocab->n_tokens();
}
-// deprecated
-int32_t llama_n_vocab(const struct llama_vocab * vocab) {
- return llama_vocab_n_tokens(vocab);
-}
-
enum llama_vocab_type llama_vocab_type(const struct llama_vocab * vocab) {
return vocab->get_type();
}
@@ -4761,11 +4756,6 @@ llama_token llama_vocab_eot(const struct llama_vocab * vocab) {
return vocab->token_eot();
}
-// deprecated
-llama_token llama_vocab_cls(const struct llama_vocab * vocab) {
- return vocab->token_bos();
-}
-
llama_token llama_vocab_sep(const struct llama_vocab * vocab) {
return vocab->token_sep();
}
@@ -4826,107 +4816,6 @@ llama_token llama_vocab_mask(const struct llama_vocab* vocab) {
return vocab->token_mask();
}
-// deprecated
-const char * llama_token_get_text(const struct llama_vocab * vocab, llama_token token) {
- return llama_vocab_get_text(vocab, token);
-}
-
-// deprecated
-float llama_token_get_score(const struct llama_vocab * vocab, llama_token token) {
- return llama_vocab_get_score(vocab, token);
-}
-
-// deprecated
-enum llama_token_attr llama_token_get_attr(const struct llama_vocab * vocab, llama_token token) {
- return llama_vocab_get_attr(vocab, token);
-}
-
-// deprecated
-bool llama_token_is_eog(const struct llama_vocab * vocab, llama_token token) {
- return llama_vocab_is_eog(vocab, token);
-}
-
-// deprecated
-bool llama_token_is_control(const struct llama_vocab * vocab, llama_token token) {
- return llama_vocab_is_control(vocab, token);
-}
-
-// deprecated
-llama_token llama_token_bos(const struct llama_vocab * vocab) {
- return llama_vocab_bos(vocab);
-}
-
-// deprecated
-llama_token llama_token_eos(const struct llama_vocab * vocab) {
- return llama_vocab_eos(vocab);
-}
-
-// deprecated
-llama_token llama_token_eot(const struct llama_vocab * vocab) {
- return llama_vocab_eot(vocab);
-}
-
-// deprecated
-llama_token llama_token_cls(const struct llama_vocab * vocab) {
- //return llama_vocab_cls(vocab);
- return llama_vocab_bos(vocab); // avoid deprecation warning
-}
-
-// deprecated
-llama_token llama_token_sep(const struct llama_vocab * vocab) {
- return llama_vocab_sep(vocab);
-}
-
-// deprecated
-llama_token llama_token_nl (const struct llama_vocab * vocab) {
- return llama_vocab_nl(vocab);
-}
-
-// deprecated
-llama_token llama_token_pad(const struct llama_vocab * vocab) {
- return llama_vocab_pad(vocab);
-}
-
-// deprecated
-bool llama_add_bos_token(const struct llama_vocab * vocab) {
- return llama_vocab_get_add_bos(vocab);
-}
-
-// deprecated
-bool llama_add_eos_token(const struct llama_vocab * vocab) {
- return llama_vocab_get_add_eos(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_pre(const struct llama_vocab * vocab) {
- return llama_vocab_fim_pre(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_suf(const struct llama_vocab * vocab) {
- return llama_vocab_fim_suf(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_mid(const struct llama_vocab * vocab) {
- return llama_vocab_fim_mid(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_pad(const struct llama_vocab * vocab) {
- return llama_vocab_fim_pad(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_rep(const struct llama_vocab * vocab) {
- return llama_vocab_fim_rep(vocab);
-}
-
-// deprecated
-llama_token llama_token_fim_sep(const struct llama_vocab * vocab) {
- return llama_vocab_fim_sep(vocab);
-}
-
//
// tokenization
//
diff --git a/src/llama.cpp b/src/llama.cpp
index e3699ea1d..cee6a7dc4 100644
--- a/src/llama.cpp
+++ b/src/llama.cpp
@@ -455,12 +455,6 @@ struct llama_model * llama_model_init_from_user(
params.use_extra_bufts = false;
return llama_model_load_from_file_impl(metadata, set_tensor_data, set_tensor_data_ud, path_model, splits, /*file*/ nullptr, params);
}
-// deprecated
-struct llama_model * llama_load_model_from_file(
- const char * path_model,
- struct llama_model_params params) {
- return llama_model_load_from_file(path_model, params);
-}
struct llama_model * llama_model_load_from_file(
const char * path_model,
diff --git a/tests/test-tokenizer-random.py b/tests/test-tokenizer-random.py
index 8fc476b63..7f5ea3f45 100644
--- a/tests/test-tokenizer-random.py
+++ b/tests/test-tokenizer-random.py
@@ -80,7 +80,7 @@ class LibLlamaModel:
raise RuntimeError("error: failed to load model '%s'" % path_model)
if isinstance(cparams, dict):
cparams = libllama.context_default_params(**cparams)
- self.ctx = self.lib.llama_new_context_with_model(self.model, cparams)
+ self.ctx = self.lib.llama_init_from_model(self.model, cparams)
if not self.ctx:
raise RuntimeError("error: failed to create context for model '%s'" % path_model)
n_tokens_max = self.lib.llama_n_ctx(self.ctx)
diff --git a/tools/cli/README.md b/tools/cli/README.md
index 98fdef318..475becd2e 100644
--- a/tools/cli/README.md
+++ b/tools/cli/README.md
@@ -52,7 +52,6 @@
| `--no-host` | bypass host buffer allowing extra buffers to be used<br/>(env: LLAMA_ARG_NO_HOST) |
| `-ctk, --cache-type-k TYPE` | KV cache data type for K<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_K) |
| `-ctv, --cache-type-v TYPE` | KV cache data type for V<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_V) |
-| `-dt, --defrag-thold N` | KV cache defragmentation threshold (DEPRECATED)<br/>(env: LLAMA_ARG_DEFRAG_THOLD) |
| `-np, --parallel N` | number of parallel sequences to decode (default: 1)<br/>(env: LLAMA_ARG_N_PARALLEL) |
| `--rpc SERVERS` | comma-separated list of RPC servers (host:port)<br/>(env: LLAMA_ARG_RPC) |
| `-lm, --load-mode MODE` | model loading mode (default: auto)<br/>- auto: mmap, unless a device does not support it<br/>- none: no special loading mode<br/>- mmap: memory-map model (if mmap disabled, slower load but may reduce pageouts if not using mlock)<br/>- mlock: force system to keep model in RAM rather than swapping or compressing<br/>- mmap+mlock: mmap + force system to keep model in RAM rather than swapping or compressing<br/>- dio: use DirectIO if available<br/><br/>(env: LLAMA_ARG_LOAD_MODE) |
diff --git a/tools/completion/README.md b/tools/completion/README.md
index c50d14bae..cc6aae3d0 100644
--- a/tools/completion/README.md
+++ b/tools/completion/README.md
@@ -135,7 +135,6 @@ llama-completion.exe -m models\gemma-1.1-7b-it.Q4_K_M.gguf --ignore-eos -n -1
| `--no-host` | bypass host buffer allowing extra buffers to be used<br/>(env: LLAMA_ARG_NO_HOST) |
| `-ctk, --cache-type-k TYPE` | KV cache data type for K<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_K) |
| `-ctv, --cache-type-v TYPE` | KV cache data type for V<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_V) |
-| `-dt, --defrag-thold N` | KV cache defragmentation threshold (DEPRECATED)<br/>(env: LLAMA_ARG_DEFRAG_THOLD) |
| `-np, --parallel N` | number of parallel sequences to decode (default: 1)<br/>(env: LLAMA_ARG_N_PARALLEL) |
| `--rpc SERVERS` | comma-separated list of RPC servers (host:port)<br/>(env: LLAMA_ARG_RPC) |
| `-lm, --load-mode MODE` | model loading mode (default: auto)<br/>- auto: mmap, unless a device does not support it<br/>- none: no special loading mode<br/>- mmap: memory-map model (if mmap disabled, slower load but may reduce pageouts if not using mlock)<br/>- mlock: force system to keep model in RAM rather than swapping or compressing<br/>- mmap+mlock: mmap + force system to keep model in RAM rather than swapping or compressing<br/>- dio: use DirectIO if available<br/><br/>(env: LLAMA_ARG_LOAD_MODE) |
diff --git a/tools/fit-params/fit-params.cpp b/tools/fit-params/fit-params.cpp
index 3dc46069c..99082e51b 100644
--- a/tools/fit-params/fit-params.cpp
+++ b/tools/fit-params/fit-params.cpp
@@ -1,5 +1,4 @@
#include "llama.h"
-#include "../src/llama-ext.h"
#include "arg.h"
#include "common.h"
diff --git a/tools/imatrix/imatrix.cpp b/tools/imatrix/imatrix.cpp
index 2122bf594..7abd83ead 100644
--- a/tools/imatrix/imatrix.cpp
+++ b/tools/imatrix/imatrix.cpp
@@ -1,5 +1,4 @@
#include "llama.h"
-#include "../src/llama-ext.h"
#include "arg.h"
#include "common.h"
diff --git a/tools/server/README.md b/tools/server/README.md
index 03439c5e0..27d141751 100644
--- a/tools/server/README.md
+++ b/tools/server/README.md
@@ -70,7 +70,6 @@ For the full list of features, please refer to [server's changelog](https://gith
| `--no-host` | bypass host buffer allowing extra buffers to be used<br/>(env: LLAMA_ARG_NO_HOST) |
| `-ctk, --cache-type-k TYPE` | KV cache data type for K<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_K) |
| `-ctv, --cache-type-v TYPE` | KV cache data type for V<br/>allowed values: f32, f16, bf16, f8_e4m3, q8_0, q4_0, q4_1, iq4_nl, q5_0, q5_1<br/>(default: f16)<br/>(env: LLAMA_ARG_CACHE_TYPE_V) |
-| `-dt, --defrag-thold N` | KV cache defragmentation threshold (DEPRECATED)<br/>(env: LLAMA_ARG_DEFRAG_THOLD) |
| `--rpc SERVERS` | comma-separated list of RPC servers (host:port)<br/>(env: LLAMA_ARG_RPC) |
| `-lm, --load-mode MODE` | model loading mode (default: auto)<br/>- auto: mmap, unless a device does not support it<br/>- none: no special loading mode<br/>- mmap: memory-map model (if mmap disabled, slower load but may reduce pageouts if not using mlock)<br/>- mlock: force system to keep model in RAM rather than swapping or compressing<br/>- mmap+mlock: mmap + force system to keep model in RAM rather than swapping or compressing<br/>- dio: use DirectIO if available<br/><br/>(env: LLAMA_ARG_LOAD_MODE) |
| `-lzm, --lazy-mode MODE` | on-demand reading of certain tensors, for example per-layer embeddings (default: auto)<br/>- on: read the rows of such tensors from disk on demand instead of keeping them resident (requires mmap)<br/>- auto: on, but only for tensors larger than 4 GiB<br/>- off: always keep them resident<br/>(env: LLAMA_ARG_LAZY_MODE) |