删除别人在你的抖音视频下的评论一般不会直接影响你的视频流量。根据现有信息，少量删除不适当或者违规的评论通常是被允许的，并且这种管理行为本身不会对视频的推荐流量产生直接的负面影响。平台更关注的是内容的质量、用户互动的真实性和积极度，以及账号的合规情况。
然而，频繁或大规模无理由删除评论可能引起平台算法或人工审核的注意，如果这种行为被误解为操纵互动数据或影响用户体验，长远来看可能间接对账号的评价产生影响。特别是，如果账号因其他违规行为已受到平台的关注，这种操作可能被视作账号管理不当的一部分，从而在一定程度上影响账号的信誉和平台给予的流量支持。
总结来说，合理管理评论，删除确实有问题的评论，是维护内容质量和社区氛围的必要措施，通常不会导致流量下降。但应避免过度或不正当的评论管理行为，以免给账号带来不必要的风险。