[Feature] 建议加入ai自动生成标题

[ohotto]

如题

感谢作者开发这个应用，非常棒

有一个idea，将识别出的字幕丢给支持长上下文的大语言模型，自动识别切片中最有节目效果的一个总结作为标题

可能的技术需求：

• 接入openai格式api调用方法
• 一个提示词工程

[timerring]

首先非常感谢您的建议，这个想法我早期做过测试了，效果不是很好。

目前本地 GPU 显存支持的参数大概是 small 对一些带有口音的语音识别还不是那么准确，我试过结合识别的字幕和弹幕结合分析，效果比直接用视频模态分析还要差。所以最后权衡之下，还是选用了用视频模态的模型生成标题。

至于如果找到准确率高并且便宜的 api，我可能还会尝试文字结合分析。🤔

[tophtab]

首先非常感谢您的建议，这个想法我早期做过测试了，效果不是很好。

目前本地 GPU 显存支持的参数大概是 small 对一些带有口音的语音识别还不是那么准确，我试过结合识别的字幕和弹幕结合分析，效果比直接用视频模态分析还要差。所以最后权衡之下，还是选用了用视频模态的模型生成标题。

至于如果找到准确率高并且便宜的 api，我可能还会尝试文字结合分析。🤔

prompt写好了，不知道实测效果如何

切片AI标题，貌似是通过已生成好的切片视频和prompt生成标题
感觉还要把弹幕丢给AI去分析，来生成标题

PS：如果能把整段视频丢给AI，让他自动切片就好了

[timerring]

首先非常感谢您的建议，这个想法我早期做过测试了，效果不是很好。
目前本地 GPU 显存支持的参数大概是 small 对一些带有口音的语音识别还不是那么准确，我试过结合识别的字幕和弹幕结合分析，效果比直接用视频模态分析还要差。所以最后权衡之下，还是选用了用视频模态的模型生成标题。
至于如果找到准确率高并且便宜的 api，我可能还会尝试文字结合分析。🤔

prompt写好了，不知道实测效果如何

可以测试一下，其实很多视频模态的模型也考虑到了语音，因为它本身就是抽帧成图像，然后结合音频分析的，例如目前效果最好的 gemini。当然如果只用字幕分析的话能采用的模型就更多了。你可以尝试用 bilitool 将切片下载下来，找个能用的 tts api 识别出字幕然后分析即可。感觉不见得比能综合两个维度的模型效果好，但是也不一定，毕竟很多模型还是很有意思的。

切片AI标题，貌似是通过已生成好的切片视频和prompt生成标题 感觉还要把弹幕丢给AI去分析，来生成标题

这个我有在考虑，目前部分视频模态模型能识别出弹幕的语义，当然效果如何还是未知的。所以弹幕+视频或者弹幕+字幕这是个可行的办法，我下个版本应该会考虑这个方向，也欢迎大家感兴趣的一起做，提的每个 PR 我都会认真看并且修改 merge 的。

PS：如果能把整段视频丢给AI，让他自动切片就好了

至于这个就不是很乐观了，大部分视频直接上传就需要消耗一部分带宽，并且其实视频模态模型限制很多，一般是限制时长和 size 的，这也是很多时候你虽然能传 3 分钟的视频，但是模型前的 gate 就直接截断只取前 30s，剩下的长度都是无效的。浪费的可能性很大，这个即使能实现，占用的推理资源应该也会很多，所以预计短时间内能出现便宜可用的视频模态 Aha moments 不是很乐观。

[tophtab]

看好弹幕方案。
期待未来更强的大模型

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. The resources of team are limited, and so we are asking for your help.
If this is a bug and you can still reproduce this error on the main branch, please reply with all of the information you have about it in order to keep the issue open.
If this is a feature request, and you feel that it is still relevant and valuable, please tell us why.
This issue will automatically be closed in the near future if no further activity occurs. Thank you for all your contributions.