AI热门任务概览 - 生成

任务	描述	应用	例子
10-shot image generation	允许模型在仅有10张示例图像的基础上生成新的图像，通常用于提高生成图像的多样性和真实性。	常用于图像创作、个性化设计（如艺术品、头像生成）以及为特定需求生成样式一致的图像，在少量数据上训练的场景中尤其有用。	OpenAI的DALL-E 和 Stability AI 的Stable Diffusion 都提供了图像生成的在线试用。talking face generation
Image Generation	基于文字描述、现有图像或预定义的样式生成新内容。	艺术创作（如DALL-E生成艺术作品）、广告设计、虚拟世界建设（如游戏或电影场景生成）以及内容创作（如自定义头像或角色设计）。	OpenAI的DALL-E和Stability AI的Stable Diffusion，midjourney, deepAI
3D Reconstruction	通过从多个视角获取的2D图像，恢复出场景或物体的三维结构	在虚拟现实（VR）和增强现实（AR）中创建真实感场景、建筑设计中的模型构建、医学影像（如CT或MRI扫描）的三维重建	Open3D，Sketchfab
Super-Resolution	从低分辨率图像中恢复出更高分辨率的细节，从而提升图像的清晰度和细节层次	在卫星图像、医学影像、监控视频处理和老旧照片恢复等领域有广泛应用，尤其是当高质量图像数据不可获得时，超分辨率能够显著提升图像质量。众多以号称4k修复视频恰饭的博主	ESRGAN，Let’s Enhance
Visual Question Answering	使机器能够理解图像并回答与之相关的自然语言问题。模型需要在理解图像内容的基础上进行推理，以生成合理的答案。	用户可以通过向智能设备提问图像中的细节，获得图像内容的回答。	Microsoft的Visual Dialog API
视频生成	从图像、文本或其他输入数据中创建动态视频序列。模型能够学习视频的时序特性和空间结构，从而生成流畅的动画或短片。	电影制作（如虚拟场景生成）、游戏开发（如动态角色动画）、教育和培训（如模拟视频生成），以及在增强现实（AR）和虚拟现实（VR）中用于创建沉浸式内容	Runway VideoGAN
Image Reconstruction，Image Inpainting	从不完整或损坏的图像中恢复出清晰、完整的图像。它通过算法填补缺失部分，或者通过增强现有的图像细节来实现更高的图像质量。	广泛应用于医学影像（如从不完整的CT扫描重建高分辨率图像）、卫星图像处理（如恢复因云层遮挡而丢失的地面数据）、数字艺术（如图像修复与增强）以及旧照片修复等领域	Adobe的Photoshop以及DeepAI的图像修复工具都提供了图像重建和修复的功能
Style Transfer	将一种图像的风格应用到另一张图像的内容上，生成一种结合了两者特点的新图像。常见的方式是通过神经网络提取图像的风格（如某位艺术家的画风）和内容（如拍摄的照片）特征，然后结合它们生成新的艺术作品。	艺术创作（例如将一幅照片转变成类似梵高风格的画作）、图像增强（如将老旧照片转化为现代艺术风格）以及虚拟现实和增强现实（为虚拟物体添加不同的艺术风格）等领域	DeepArt.io 和 Prisma RunwayML
Deblurring	消除图像中的模糊，使图像恢复到更清晰的状态。模糊通常由于相机抖动、焦距不准或运动造成，通过去除模糊，可以恢复图像的细节和锐度。	摄影（如清晰化拍摄模糊的照片）、医学影像（如改善模糊的X光或MRI图像）、视频监控（提高模糊视频中的细节）、以及卫星图像处理（改善因天气等因素导致的模糊图像）等领域。	在线平台如Fotor和PineTools提供了简单的图像去模糊工具；Adobe Photoshop的锐化工具也具有去模糊功能；深度学习平台如RunwayML也提供了去模糊模型
Prompt Engineering	设计和优化输入给人工智能（尤其是大型语言模型）的提示（prompt）文本，以便获得最佳的输出结果。通过精确调整提示的措辞和结构，能够引导AI生成更准确、更符合预期的回答或内容。	生成对话、内容创作、代码编写、翻译等任务。它也用于优化AI在任务特定领域的表现，如问答系统、虚拟助手和个性化推荐等。	OpenAI的GPT模型是最广泛使用的Prompt Engineering平台，用户可以通过不同的提示语调整模型的输出。Hugging Face也提供了多种预训练模型，并支持通过调整提示进行优化。Stable Diffusion等生成模型也涉及到针对图像生成的提示工程。BTW这篇文章的顺利输出就和我定制的prompt直接相关
Video Captioning	为视频生成描述性的文字标签或字幕。通过理解视频中的视觉和语言内容，AI能够生成对视频场景、动作和对话的准确描述。	应用于视频内容分析（如自动生成视频字幕）、社交媒体平台（为用户上传的视频自动生成描述）、视频监控（为安全视频生成自动摘要）以及教育（为教学视频提供自动字幕）等领域。	DeepAI，YouTube，B站总结视频内容的bot
Image Manipulation	使用各种技术和工具对图像进行编辑和修改，以达到预期的视觉效果或修复。它包括裁剪、旋转、滤镜应用、对象删除、颜色调整等操作，通常用于提升图像质量或实现艺术创作。	广告设计、社交媒体内容创建、照片修复、艺术创作等领域。它也被用于生成虚假图像（如假新闻和深度伪造技术），因此也涉及到图像真实性验证。	Canva是一个在线设计工具，提供简单的图像编辑功能；DeepArt和RunwayML提供基于AI的艺术风格转移和图像操作
Colorization	将黑白或灰度图像自动转化为彩色图像。通过使用深度学习和其他算法，AI能够推测并填充图像中每个区域的颜色，以恢复或创造逼真的彩色效果。	广泛应用于历史图像和视频的修复、电影的彩色化（如经典黑白电影的彩色版本）、医学影像（如将灰度X光片转换为彩色图像便于诊断）、以及艺术创作（为黑白照片或插图添加色彩）等领域。	DeOldify， AI Gahaku，DeepAI， B站彩色视频修复
Image Editing	对图像进行裁剪、调整颜色、添加或删除元素、改变背景等操作，以达到理想的视觉效果或修复图像缺陷。	广告设计、摄影后期处理、社交媒体内容制作、电子商务产品图像优化、以及艺术创作等领域。它也用于视频游戏、电影制作中的视觉效果创作和图像特效实现。	Adobe Photoshop和GIMP，Fotor和Pixlr canva
Image-to-Image Translation	将一种图像转换为另一种风格或格式，通常使用深度学习方法。例如，将线条草图转化为彩色图像，或将白天的图像转化为夜晚风格。	艺术创作（如风格迁移、图像风格转化）、增强现实（如虚拟试衣、虚拟化妆）、医学影像（如将CT扫描图像转换为更易于理解的格式）和自动驾驶（如生成不同天气条件下的图像）等领域	NVIDIA的pix2pix和CycleGAN
Virtual Try-on	增强现实技术，允许用户在虚拟环境中试穿服装、配饰或化妆品等商品，而无需实际穿戴。这项技术通常结合计算机视觉和深度学习，模拟商品在用户身上的外观和效果。	广泛应用于在线零售平台，尤其是服装、电商网站和化妆品品牌，让用户在购物前体验产品效果，减少退货率，提升用户购物体验。此外，它也被用于增强现实应用中，如虚拟试衣间和虚拟化妆。	Zara和L’Oreal，Snapchat和Instagram提供了虚拟化妆和配饰试戴的AR功能；FittingBox和Wannaby等公司也专注于提供虚拟试穿解决方案
Large Language Model	通过深度学习训练的大规模自然语言处理模型，旨在理解、生成和翻译文本。它通过学习海量的文本数据，能够捕捉语言中的复杂模式，并生成与上下文一致的内容。	广泛应用于智能助手（如Siri、Google Assistant）、文本生成（如自动写作、创作小说或代码）、机器翻译、情感分析、摘要生成和信息检索等领域，极大提高了文本处理的自动化和智能化。	GPT
Knowledge Graph	（知识图谱）是一种结构化的图形化表示，用于存储和组织有关实体及其相互关系的信息。它通过节点（表示实体）和边（表示实体之间的关系）构建一个语义网络，旨在实现数据之间的关联和推理。	广泛应用于搜索引擎（如Google Knowledge Graph，提高搜索精度）、推荐系统（如电影、商品推荐）、语义分析（如聊天机器人、智能问答系统）、以及数据整合和决策支持（如企业知识管理和医疗知识库）等领域。	Google的Knowledge Graph用于搜索引擎中提供丰富的结构化信息；Wikidata是一个开源的知识图谱项目
RAG	Retrieval-Augmented Generation）是一种结合信息检索和文本生成的技术，旨在提升生成模型的表现。通过首先从外部文档或数据库中检索相关信息，然后结合这些信息生成更准确、信息丰富的回答或文本。	智能问答系统（如基于知识库的问答）、搜索引擎优化（通过结合外部文献生成高质量的答案）、以及文档生成（如为用户提供基于搜索结果的定制化内容）	gpt
AI Agent	AI Agent指的是一种能够感知环境并采取行动的智能系统，通常具备自主决策和执行任务的能力。它可以通过与环境的互动和学习，不断改进自己的决策策略，完成特定任务或目标。	智能助手（如Siri、Alexa）、自动驾驶（如Waymo）、机器人（如工业机器人、服务机器人）、虚拟客服（如聊天机器人）等领域，用于自动化任务执行、决策支持和用户交互。	OpenAI的GPT系列和Google Assistant等虚拟助手提供了强大的AI Agent功能，可以理解用户指令并作出反应，DeepMind开发的AlphaGo和MuZero展示了AI Agent在复杂决策中的能力。
Code Generation	通过自然语言描述或特定需求的输入，生成相应的源代码。它利用模型理解程序的语义和结构，输出符合需求的代码片段或完整程序。	自动化开发工具、编程助手（如GitHub Copilot）、代码补全、代码重构、以及生成特定任务的脚本或函数等，帮助开发者提高编码效率，减少手动编写代码的工作量	Copilot，Codex，Tabnine
Mathematical Reasoning	通过逻辑推理和数学原理解决问题的过程，通常涉及定理证明、公式推导和数学概念的理解。在AI中，数学推理可以帮助模型理解和解决涉及数学推理的任务，如符号推理、定理证明等。	广泛应用于自动定理证明、数学题自动解答、符号计算、以及一些需要高层次推理的AI系统，如逻辑推理系统和自动化数学辅助工具。它在教育领域、科研领域（如自动数学研究）中也有重要应用。	DeepMind的AlphaFold应用于生物学中的蛋白质折叠问题，但也展示了AI在推理和计算方面的强大能力；Google的Turing Test、Mathematica等数学工具中也嵌入了数学推理能力；Hugging Face等平台提供了部分与数学推理相关的预训练模型。
Text-to-Image Generation	输入的文本描述自动生成对应的图像。通过理解文本中的细节和背景，模型将文字转化为视觉内容，创造出符合描述的图像。	创意设计、广告制作、游戏开发、虚拟现实以及为视觉障碍者提供图像描述的场景。它还被用于自动生成产品图片、概念艺术以及为故事或文本生成插图。	DALL·E（由OpenAI推出）是最知名的文本生成图像模型，提供了高质量的图像生成服务；MidJourney是另一个广受欢迎的图像生成平台，允许用户通过简单的文本描述生成创意图像；Stable Diffusion是开源的文本到图像生成模型，广泛被开发者和艺术家使用。
Speech Synthesis	将文本转换为语音的技术。通过计算机生成的语音合成，用户可以听到计算机“说话”。该技术通过将文本中的字词和语法规则转换为自然流畅的语音。	语音助手（如Siri、Alexa）、导航系统、电子书阅读、无障碍技术	Google Cloud Text-to-Speech和Microsoft Azure Text-to-Speech
Voice Conversion	将一种说话者的声音转换为另一种说话者的声音的技术，同时保持原始语音的内容和语调。它通过对说话者声音特征进行建模和转换，使得转换后的语音听起来像是目标说话者。	广泛应用于虚拟助手、语音定制、娱乐（如角色配音）、隐私保护（隐藏个人身份）等领域。例如，在虚拟助手中，用户可以选择不同的语音模型来个性化语音交互；在娱乐和影视制作中，Voice Conversion能够为角色配音，甚至让明星的声音“复刻”在新的内容中。	Google的WaveNet和OpenAI的VQ-VAE是较为知名的语音合成技术，支持多种声音风格的转换；Vocoder和AutoVC是开源项目 voice deepfake
Audio Generation	基于给定的输入条件（如音符、音频样本或语音指令），生成自然流畅的音频输出。它可以用于音乐创作、语音合成、声音效果生成等。	音乐创作、游戏声音设计、自动化语音生成、广告音频制作等领域。例如，AI可以生成特定风格的音乐曲目，用于背景音乐	OpenAI的Jukedeck和Magenta是开源工具，可以生成音乐和音效；Amper Music是一个基于AI的音乐生成平台，用户可以自定义风格和情感；AIVA（Artificial Intelligence Virtual Artist）是一个基于AI的作曲平台
Music Generation	根据特定的输入（如旋律、节奏、风格等）自动创作出完整的音乐作品。AI模型学习大量音乐样本后，能够模仿不同风格、情感和结构创作新的音乐。	音乐创作、游戏音效生成、电影配乐、广告音乐制作等领域	OpenAI的MuseNet和Jukedeck Amper Music Magenta