针对大模型

落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了…节前我们组织了一场算法岗技术面试讨论会邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

针对大模型

落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。

总结链接如下

喜欢记得点赞、收藏、关注。

更多技术交流面经学习可以文末加入我们。

Microsoft

Phi-3-vision这是一种将语言和视觉功能结合在一起的多模态模型。

Phi-3家族

(SLM)在各种语言、推理、编码和数学基准测试中效果优异。

它们使用高质量的训练数据进行训练。

Phi-3

模型系列共有四种模型每种模型都经过安全保障进行指令调整和开发以确保可以直接使用目前均已开源。

4.2B

模型种类模型名称模型链接Phi-3-visionPhi-3-vision-128k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-vision-128k-instructPhi-3-miniPhi-3-mini-128k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-mini-128k-instructPhi-3-mini-4k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-mini-4k-instructPhi-3-mini-128k-instruct-onnxhttps://modelscope.cn/models/LLM-Research/Phi-3-mini-128k-instruct-onnxPhi-3-mini-4k-instruct-onnxhttps://modelscope.cn/models/LLM-Research/Phi-3-mini-4k-instruct-onnxPhi-3-mini-4k-instruct-onnx-webhttps://modelscope.cn/models/LLM-Research/Phi-3-mini-4k-instruct-onnx-webPhi-3-smallPhi-3-small-8k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-small-8k-instruct/summaryPhi-3-small-8k-instruct-onnx-cudahttps://modelscope.cn/models/LLM-Research/Phi-3-small-8k-instruct-onnx-cuda/summaryPhi-3-small-128k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-small-128k-instructPhi-3-small-128k-instruct-onnx-cudahttps://modelscope.cn/models/LLM-Research/Phi-3-small-128k-instruct-onnx-cudaPhi-3-mediumPhi-3-medium-128k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-128k-instructPhi-3-medium-4k-instructhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-4k-instructPhi-3-medium-4k-onnx-directmlhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-4k-instruct-onnx-directmlPhi-3-medium-4k-onnx-cudahttps://modelscope.cn/models/LLM-Research/Phi-3-medium-4k-instruct-onnx-cudaPhi-3-medium-4k-onnx-cpuhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-4k-instruct-onnx-cpuPhi-3-medium-128k-onnx-directmlhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-128k-instruct-onnx-directmlPhi-3-medium-128k-onnx-cudahttps://modelscope.cn/models/LLM-Research/Phi-3-medium-128k-instruct-onnx-cudaPhi-3-medium-128k-onnx-cpuhttps://modelscope.cn/models/LLM-Research/Phi-3-medium-128k-instruct-onnx-cpu

Phi-3

DirectML提供优化过的模型权重为开发人员提供跨各种设备和平台包括移动和

Web

GPUhttps://blogs.nvidia.com/blog/microsoft-build-optimized-ai-developers/和Intel

加速器Microsoft

系列中的第一个多模态模型它将文本和图像结合在一起并具有推理现实世界图像以及从图像中提取和推理文本的能力。

它还针对图表和图解理解进行了优化可用于生成见解和回答问题。

Phi-3-vision

Phi-3-mini

的语言功能为基础继续在小型模型中整合强大的语言和图像推理质量。

模型推理

多模态模型推理Phi-3-vision-128k-instruct

推理代码

snapshot_download(LLM-Research/Phi-3-vision-128k-instruct

)model

AutoModelForCausalLM.from_pretrained(model_id,

device_mapcuda,

AutoProcessor.from_pretrained(model_id,

messages

该图表显示了同意有关会议准备情况的各种陈述的受访者的百分比。

它显示了五个类别“有明确和预先定义的会议目标”、“知道在哪里可以找到会议所需的信息”、“在受邀时了解我的确切角色和职责”、“拥有管理工具”

诸如记笔记或总结之类的管理任务”以及“有更多的专注时间来充分准备会议”。

每个类别都有一个关联的条形图指示一致程度按

100%

https://assets-c4akfrf5b4d3f4b7.z01.azurefd.net/assets/2024/04/BMDataViz_661fb89f3845e.png

image

processor.tokenizer.apply_chat_template(messages,

tokenizeFalse,

add_generation_promptTrue)inputs

processor(prompt,

eos_token_idprocessor.tokenizer.eos_token_id,

**generation_args)

processor.batch_decode(generate_ids,

clean_up_tokenization_spacesFalse)[0]

print(response)显存占用

跨平台推理Phi-3-medium-4k-instruct-onnx-cpu

step1:

https://www.modelscope.cn/LLM-Research/Phi-3-medium-4k-instruct-onnx-cpu.gitstep2安装依赖

pip

https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/phi3-qa.py

phi3-qa.py

Phi-3-medium-4k-instruct-onnx-cpu/cpu-int4-rtn-block-32-acc-level-4体验对话效果

模型微调

SWIFT已经支持Phi3系列模型的微调包括纯文本模型如Phi3-mini-128k-instruct、Phi3-small-128k-instruct、Phi3-middle-128k-instruct等也包括了Phi3的多模态模型Phi-3-vision-128k-instruct。

Experimental

nproc_per_node4PYTHONPATH../../..

torchrun

\--nproc_per_node$nproc_per_node

\--master_port

Phi3-vision支持多个图片传入在训练后我们可以使用ckpt进行多图片推理

显存占用

技术要学会分享、交流不建议闭门造车。

一个人可以走的很快、一堆人可以走的更远。

成立了算法面试和技术交流群相关资料、技术交流答疑均可加我们的交流群获取群友已超过2000人添加时最好的备注方式为来源兴趣方向方便找到志同道合的朋友。

技术交流

用通俗易懂的方式讲解我的大模型岗位面试总结共24家9个offer

RAG