AIGC
继续聊聊AI。这篇聊聊AIGC。AIGC的全称是AI Generated Content,也就是AI生成内容。这个能聊的就比较多了,有文字,有图片,有音频,有视频等等。其实广义上来说,AI coding也算是AIGC的一种,只是我单独领出来聊了。那接下来就根据生成内容的不同分别聊聊。
AI文学
所实话,现在这种视频平台上的文学作品,文案很多都是AI扩写。当有一个非常详细的框架、人物、大纲等信息,大模型确实能逐步扩写。但依旧受限于上下文,触发了上下文压缩后,文字的连贯性就会受到影响,会出现牛头不对马嘴的情况。其次就是推理性质小说,因为需要很多伏笔、人物刻画,也因此文学作品中的不经意伏笔在AI文学上是比较难实现的。
以目前主流大模型1M的上下文来看,去除掉一些必要的提示词、大纲等信息,按照ds给我的答案,大概是80w字文本输出,但我认为实际上可能还需要打个折。也就是说长篇小说目前的AI还无法驾驭。
不仅如此,我认为AI文学很致命的一点还有容易胡编还有拼接其他的作品,有时候扯两句很有文学色彩的语句,结果一查竟然是从不同地方拼接而来。
回到我的日常,前段时间,在电脑上部署了7B的小模型,没有伦理限制,想尝试让AI编写颜色小说,但失败了,输出了大概几千字后,AI开始陷入循环,不断重复一段话,无法停止,开始陷入了幻觉。这也是我对AI文学作品不看好的一点。当然也是本地模型效果不行导致的。
但AI文学真的一无是处吗?不是的。前面说过,长篇小说AI无法驾驭,但是写篇作文或者几万字的文学作品,又或者是每个篇章关联性不那么强的文学作品,我想AI的发挥空间确实比较大。短剧行业应该已经大规模在使用了吧。
AI生图
这个我略懂一二。51假期前开始学习comfyUI,实际上手后发现,入门确实不难!只需要加载一个checkpoint,然后加上正负提示词,再使用ksampler,一张图就画好了。然后接下来就是各种找LoRa,所谓Lora可以简单理解成画风,外挂在基模上,lora真的是一个非常伟大的发明。
我想AI生图其实不必多说了,现在很多画师其实也在说AI生图挤占了他们的生存空间,从一些游戏从业者也能得知,AI生图在游戏行业已经是大规模在应用了,尤其是demo阶段,不必再画草图,直接让AI进行生成,遇到好的图片后期只需要简单精修就可以上线使用了。说实话我觉得画图这个行业确实冲击也挺大的,但我并不知道这个行业的真实现状,人脉有限。其实高中同学还有之前有个表姐是画画的,但是都没咋联系,不太好意思问。之后如果有机会的话还是想了解下这个行业的现状。
AI生图(修图)我记得应该是在高中还是大学的时候,有个利用AI来实现照片中的人物nude,那时候好像还经常有新闻爆出来。作为学习,我也尝试了下,但说实话完全不行。画面各种撕裂,部位无法融入到现有照片当中。后面这个项目好像也就销声匿迹了。
至于为什么我要学习AI生图,懂得都懂,目前本地生图可以无限制生图,不过我还是遵守法律法规的。整体研究下来还挺有意思的,入门很简单,但你要做精其实没那么容易,如果要自己训练lora,花费的精力更多。
AI生图目前除了在游戏行业外,据我观察,还在广告(网购平台模特换姿势,物品),短剧上应用的比较多,模特也变成一次性的了。令人感慨。所以很多模特其实也在抵触AI。能理解。
AI音频
我第一次接触tts(text-to-speech)应该是在大学的时候,那时候是研究啥来着,应该是某个二次元角色语音,也是跟着教程一步步搞,但那时候生成的语言其实有点粗糙,很多语气词没法去复现,像是一个没有感情的机器。后面其实AI语音一直在发展,我没怎么关注,我的B站主页也经常给我推送某个角色的语音说书等等的视频。
前段时间,应该也是刷到某个视频,决定重新研究下tts。结果一搜资料发现这些年AI语言的发展远比我想象的更远,逛了一些开源项目和论文,没想到目前竟然只要30s的语音,就可以模仿出一个类似的声音出来,可怕可怕。能理解前段时间国内的各种声优工作室发表声明,说抵制一切AI模仿声线的行为。很明显他们急了,毕竟砸了自己的饭碗。
此外B站的一篇论文和项目还说明了是可以训练出感情,这个就牛逼了,不知不觉中AI其实已经深入到这种程度了。但这也属于正常发展,毕竟人类从很早开始就开始研究深度学习,虽然AI语言和大模型关系不大,但这也不妨碍他逐步发展。
回到我自己尝试用二次元角色AI语音上来,我下载了一些大佬训练的模型,确实牛逼,翻看他们的训练文档,训练仅需要几句台词,越多台词训练效果越好。对于现有游戏或者动画来说,弄个一两分钟的语音实在是太简单了,因此训练出来的效果其实不错。安装成tts来听书试了下,当然还是无法和人声真正相比,包括句子的连贯性,顿挫,感情等等,但有一个喜欢的角色声音好像已经很不错了。
未完待续
本来我还想聊聊AI视频,但说实话正儿八经我其实没怎么体验过,只是直到seedance很强,happyhouse吹得太过,后续有机会的话体验体验再详细聊聊。