根据《列异传》记载，武都故道县（今陕西宝鸡市西南）有祭祀牛神的怒特祠。传说该牛神原来是一棵大梓树。秦文公二十七年（公元前739年），秦文公派人砍伐。但是树砍了又合。秦文公就派了四十人轮流砍伐，但还是砍不断。这些人只好离去。一个人因为脚伤暂时无法行走，就躺在树下休息。他突然听见有人在说话。

一个问：“这样挨砍下去，你疲劳吗？”另一个回答说：“是够疲劳的。”一个又说：“秦公一定不会罢休的。”第二个回答道：“他能奈我何？”又问：“拿灰敷在你身上怎么办？”另一个沉默不语。躺在树下的人听到后，回去禀告了秦文公。秦文公就让砍树的人光着上身，边砍边用灰敷在树上。树断后，化成了一头牛，钻入了水中。秦文公于是在这个地方建造了怒特祠，以祭祀牛神。后人认为这是“牛王庙”的开始。

宋代，出现了将保护耕牛责任于一身的牛王的记载。宋何薳撰写的《春渚纪闻》记载了这样一个故事。一个人在梦中被人追到了一个悬着“牛王之宫”匾额的地方，看见了自己已经去世的姨母。姨母说：“我生前喜欢吃牛肉，因此多杀了不少牛，现在在这里受苦，最苦的是每天被迫吃一升铁蒺藜饭。”刚说完，就有牛首人拿着铁蒺藜饭走了進来。

宋代以后，民间又奉冉伯牛为牛王。冉伯牛为春秋时孔子的门生，以其字“伯牛”而奉为牛王。

民间风俗要在牛王生日这一天祭牛王。《新搜神记》记载，清代时，人们多在十月初一这天祭牛王。按照《大玉匣记》：牛王生辰在七月二十五日，今用十月初一者，以七月农方收获，故相沿改期，以便民也。